Vai al contenuto
ITEN

Validazione

Una stima del traffico che non si vede non si può confrontare con la realtà: la realtà, appunto, non si vede. Si può però costruire un sito finto di cui si conosce tutto, nascondere allo stimatore la parte senza consenso e controllare se la ritrova.

Come si verifica una stima

Un generatore simula ogni singolo visitatore: arriva da un canale, accetta, rifiuta o ignora il banner, torna un certo numero di volte, compra oppure no. Da qui escono due cose:

  • un export identico a quello di GA4, con le sole visite di chi ha accettato;
  • la risposta giusta: il traffico totale, che lo stimatore non vede.

Il generatore lavora per visitatore e lo stimatore per totali, con formule diverse: se usassero le stesse, la prova sarebbe circolare. Ogni scenario viene ripetuto 500 volte con dati diversi. Si misura quante volte il valore vero cade dentro l’intervallo dichiarato.

Calibrazione: «8 volte su 10» è vero?

In queste prove le ipotesi dello stimatore sono giuste in media: i comportamenti veri sono pescati dagli stessi margini che lo stimatore assume. Qui la copertura deve tornare: circa 80 volte su 100 per l’intervallo «probabilmente», 95 per «quasi certamente». Con 500 prove il margine d’errore della misura è di circa ±4 punti sul primo numero e ±2 sul secondo.

Quante volte su 100 il valore vero cade nell’intervallo «8 su 10» / «19 su 20». Dovrebbe essere vicino a 80 / 95. 500 prove per scenario, 1000 simulazioni per stima.
CodiceScenarioSessioniEventi chiaveTransazioniEntrateCanali: sessioni
A1Sito medio: 50.000 sessioni, consenso 60% indicato come stima79 / 9579 / 9481 / 9681 / 9579 / 95
A2Canali minuscoli: 8.000 sessioni, canali con 0–5 conversioni78 / 9580 / 9582 / 9779 / 9677 / 93
A3Sito piccolo: 2.000 sessioni76 / 9581 / 9481 / 9775 / 9373 / 91
A4Consenso molto basso: 20%78 / 9579 / 9580 / 9479 / 9478 / 94
A5Consenso molto alto: 92%, conosciuto con precisione80 / 9579 / 9581 / 9681 / 9577 / 94
A6Sito medio con ordini reali, pubblico «misto / non lo so»77 / 9578 / 9379 / 9580 / 9478 / 95

Torna in tutti gli scenari, compresi i canali con pochissime conversioni e i tassi di consenso estremi. Il sito molto piccolo (2.000 sessioni) è al limite sulle entrate e, per singolo canale, sulle sessioni.

Errore mediano della stima centrale sul totale: sessioni / transazioni. 500 prove per scenario, 1000 simulazioni per stima.
CodiceScenarioErrore della stima centrale
A1Sito medio: 50.000 sessioni, consenso 60% indicato come stima+1% / +1%
A2Canali minuscoli: 8.000 sessioni, canali con 0–5 conversioni+0% / +1%
A3Sito piccolo: 2.000 sessioni+1% / +0%
A4Consenso molto basso: 20%+2% / +3%
A5Consenso molto alto: 92%, conosciuto con precisione+0% / +0%
A6Sito medio con ordini reali, pubblico «misto / non lo so»+1% / +0%

Robustezza: quanto costa un’ipotesi sbagliata

Qui un’ipotesi è volutamente sbagliata. La copertura scende, ed è inevitabile: nessun intervallo protegge da un’ipotesi falsa. Lo scopo è sapere di quanto.

Quante volte su 100 il valore vero cade nell’intervallo «8 su 10» / «19 su 20». Dovrebbe essere vicino a 80 / 95. 500 prove per scenario, 1000 simulazioni per stima.
CodiceScenarioSessioniEventi chiaveTransazioniEntrateCanali: sessioni
B6«Quanto converte» vero 1,0 invece di 0,478 / 9554 / 8941 / 7944 / 8279 / 95
B7«Quanto converte» vero 0,15 invece di 0,479 / 9544 / 8834 / 7235 / 7479 / 95
B8a«Quanto converte» vero 1,0, con ordini reali78 / 95100 / 100100 / 100100 / 10079 / 94
B8b«Quanto converte» vero 0,15, con ordini reali79 / 95100 / 100100 / 100100 / 10079 / 95
B9Consenso molto diverso tra canali (dal 30% all’85%)79 / 9477 / 9476 / 9472 / 9130 / 44
B10aTasso «per banner» dichiarato «per visitatore»57 / 9675 / 9371 / 9372 / 9371 / 93
B10bTasso «per banner» dichiarato correttamente99 / 10085 / 9789 / 9888 / 9895 / 100
B11aTasso che esclude chi ignora il banner, dichiarato completo58 / 8377 / 9374 / 9275 / 9264 / 87
B11bTasso che esclude chi ignora il banner, dichiarato tale94 / 9984 / 9788 / 9786 / 9790 / 99
B12aCambio di banner a metà periodo, dichiarato89 / 9882 / 9685 / 9683 / 9685 / 97
B12bCambio di banner a metà periodo, non dichiarato87 / 9882 / 9685 / 9683 / 9685 / 98
B14Eventi chiave molto irregolari (a grappoli)78 / 9577 / 9481 / 9581 / 9578 / 95
B16aConsenso diverso tra mobile e desktop, solo tasso globale76 / 9478 / 9480 / 9580 / 9480 / 95
B16dCome B16a, tasso globale dichiarato preciso77 / 9478 / 9581 / 9480 / 9480 / 95
B16bCome B16a, con i tassi per dispositivo80 / 9680 / 9580 / 9580 / 9481 / 96
B16cConsenso diverso, stesse visite tra dispositivi (controllo)79 / 9579 / 9581 / 9581 / 9580 / 95
Errore mediano della stima centrale sul totale: sessioni / transazioni. 500 prove per scenario, 1000 simulazioni per stima.
CodiceScenarioErrore della stima centrale
B6«Quanto converte» vero 1,0 invece di 0,4+1% / −20%
B7«Quanto converte» vero 0,15 invece di 0,4+1% / +13%
B8a«Quanto converte» vero 1,0, con ordini reali+1% / −0%
B8b«Quanto converte» vero 0,15, con ordini reali+1% / +0%
B9Consenso molto diverso tra canali (dal 30% all’85%)+0% / +5%
B10aTasso «per banner» dichiarato «per visitatore»+19% / +10%
B10bTasso «per banner» dichiarato correttamente+6% / +4%
B11aTasso che esclude chi ignora il banner, dichiarato completo−12% / −5%
B11bTasso che esclude chi ignora il banner, dichiarato tale+3% / +2%
B12aCambio di banner a metà periodo, dichiarato+0% / +1%
B12bCambio di banner a metà periodo, non dichiarato+1% / +1%
B14Eventi chiave molto irregolari (a grappoli)+1% / +0%
B16aConsenso diverso tra mobile e desktop, solo tasso globale+4% / +3%
B16dCome B16a, tasso globale dichiarato preciso+4% / +2%
B16bCome B16a, con i tassi per dispositivo+0% / +1%
B16cConsenso diverso, stesse visite tra dispositivi (controllo)+1% / +1%

Cosa dicono queste righe:

  • «Quanto converte» sbagliato (1,0 oppure 0,15 invece di 0,4): le sessioni restano corrette, le transazioni sbagliano del 13–20% e l’intervallo contiene il vero circa una volta su tre. Con gli ordini reali l’errore sparisce.
  • Consenso molto diverso tra canali: i totali reggono, ma l’intervallo delle sessioni del singolo canale contiene il vero solo 30 volte su 100.
  • Tasso dichiarato male: «per banner» dichiarato «per visitatore» gonfia le sessioni del 19%; un tasso che esclude chi ignora il banner, dichiarato completo, le riduce del 12%. Dichiarati correttamente, la stima torna corretta e prudente.
  • Consenso diverso tra mobile e desktop: con differenze come quelle provate (consenso 50% su mobile e 75% su desktop, una volta e mezza le visite su desktop), con il solo tasso globale le sessioni risultano più alte di circa il 4%, anche con il tasso dichiarato preciso, ma la copertura cambia poco (76–77 su 100 invece di 79); con differenze maggiori l’errore cresce. Con i tassi per dispositivo l’errore sparisce; con un numero di visite simile tra dispositivi non c’è errore nemmeno senza.
  • Cambio di banner non dichiarato ed eventi chiave irregolari: nessun danno sui totali.

Ad blocker e ordini reali

Con gli ordini reali il risultato dipende dalla quota di ordini che GA4 perde per cause diverse dal consenso, cioè dal tipo di pubblico indicato.

Quante volte su 100 il valore vero cade nell’intervallo «8 su 10» / «19 su 20». Dovrebbe essere vicino a 80 / 95. 500 prove per scenario, 1000 simulazioni per stima.
CodiceScenarioSessioniEventi chiaveTransazioniEntrateCanali: sessioni
B13Ordini reali, altre perdite vere 20%, pubblico «misto / non lo so»79 / 9549 / 9666 / 10062 / 10079 / 95
B13bOrdini reali, altre perdite vere 20%, pubblico dichiarato «largo consumo»79 / 9523 / 560 / 320 / 3379 / 95
B15aAd blocker al 12% che rifiutano di più, senza ordini reali86 / 9782 / 9685 / 9684 / 9584 / 97
B15bAd blocker al 12% che rifiutano di più, con ordini reali85 / 9791 / 99100 / 100100 / 10084 / 97
B15cPubblico tecnico, ad blocker al 35%, dichiarato «tecnico», con ordini reali76 / 9595 / 100100 / 100100 / 10077 / 95
Errore mediano della stima centrale sul totale: sessioni / transazioni. 500 prove per scenario, 1000 simulazioni per stima.
CodiceScenarioErrore della stima centrale
B13Ordini reali, altre perdite vere 20%, pubblico «misto / non lo so»+1% / +14%
B13bOrdini reali, altre perdite vere 20%, pubblico dichiarato «largo consumo»+1% / +16%
B15aAd blocker al 12% che rifiutano di più, senza ordini reali−2% / −1%
B15bAd blocker al 12% che rifiutano di più, con ordini reali−2% / −1%
B15cPubblico tecnico, ad blocker al 35%, dichiarato «tecnico», con ordini reali−9% / +1%
  • Quota vera 20%, risposta «misto / non lo so»: il valore vero resta sempre dentro l’intervallo «quasi certamente», ma la stima centrale delle transazioni è alta del 14%.
  • Quota vera 20%, risposta sbagliata «largo consumo»: stima alta del 16% e valore vero fuori dall’intervallo due volte su tre. La risposta sul pubblico conta.
  • Ad blocker che rifiutano più spesso e in parte nascondono il banner: con gli ordini reali le transazioni restano corrette. Le sessioni risultano un po’ sotto il traffico reale (del 2% con il 12% di visitatori che bloccano GA, del 9% con il 35%): lo stimatore non stima i visitatori che GA4 non vedrebbe nemmeno con il consenso.

Cosa portarsi a casa

  1. Quando le ipotesi sono ragionevoli, gli intervalli mantengono ciò che promettono.
  2. Le sessioni totali sono la stima più robusta; dipendono dal tasso di accettazione e da come è misurato.
  3. Ordini ed entrate dipendono da un’ipotesi debole («quanto converte»): gli ordini reali la sostituiscono, ma introducono la domanda sul pubblico.
  4. Il dettaglio per canale va letto come indicazione, non come misura.

Come rifare le prove

Generatore, scenari e risultati sono nel codice, pubblico e consultabile nel repository su GitHub (si apre in una nuova scheda). Per rifare le prove scarica il repository, installa le dipendenze con npm ci e lancia npm run validazione: rifà tutto da zero (circa mezz’ora) e rigenera sia questa pagina sia il file VALIDAZIONE.md. Un test automatico controlla inoltre che il motore di calcolo dia sempre gli stessi numeri, cifra per cifra, a parità di dati e ipotesi.

Inizia