Validazione
Una stima del traffico che non si vede non si può confrontare con la realtà: la realtà, appunto, non si vede. Si può però costruire un sito finto di cui si conosce tutto, nascondere allo stimatore la parte senza consenso e controllare se la ritrova.
Come si verifica una stima
Un generatore simula ogni singolo visitatore: arriva da un canale, accetta, rifiuta o ignora il banner, torna un certo numero di volte, compra oppure no. Da qui escono due cose:
- un export identico a quello di GA4, con le sole visite di chi ha accettato;
- la risposta giusta: il traffico totale, che lo stimatore non vede.
Il generatore lavora per visitatore e lo stimatore per totali, con formule diverse: se usassero le stesse, la prova sarebbe circolare. Ogni scenario viene ripetuto 500 volte con dati diversi. Si misura quante volte il valore vero cade dentro l’intervallo dichiarato.
Calibrazione: «8 volte su 10» è vero?
In queste prove le ipotesi dello stimatore sono giuste in media: i comportamenti veri sono pescati dagli stessi margini che lo stimatore assume. Qui la copertura deve tornare: circa 80 volte su 100 per l’intervallo «probabilmente», 95 per «quasi certamente». Con 500 prove il margine d’errore della misura è di circa ±4 punti sul primo numero e ±2 sul secondo.
| Codice | Scenario | Sessioni | Eventi chiave | Transazioni | Entrate | Canali: sessioni |
|---|---|---|---|---|---|---|
| A1 | Sito medio: 50.000 sessioni, consenso 60% indicato come stima | 79 / 95 | 79 / 94 | 81 / 96 | 81 / 95 | 79 / 95 |
| A2 | Canali minuscoli: 8.000 sessioni, canali con 0–5 conversioni | 78 / 95 | 80 / 95 | 82 / 97 | 79 / 96 | 77 / 93 |
| A3 | Sito piccolo: 2.000 sessioni | 76 / 95 | 81 / 94 | 81 / 97 | 75 / 93 | 73 / 91 |
| A4 | Consenso molto basso: 20% | 78 / 95 | 79 / 95 | 80 / 94 | 79 / 94 | 78 / 94 |
| A5 | Consenso molto alto: 92%, conosciuto con precisione | 80 / 95 | 79 / 95 | 81 / 96 | 81 / 95 | 77 / 94 |
| A6 | Sito medio con ordini reali, pubblico «misto / non lo so» | 77 / 95 | 78 / 93 | 79 / 95 | 80 / 94 | 78 / 95 |
Torna in tutti gli scenari, compresi i canali con pochissime conversioni e i tassi di consenso estremi. Il sito molto piccolo (2.000 sessioni) è al limite sulle entrate e, per singolo canale, sulle sessioni.
| Codice | Scenario | Errore della stima centrale |
|---|---|---|
| A1 | Sito medio: 50.000 sessioni, consenso 60% indicato come stima | +1% / +1% |
| A2 | Canali minuscoli: 8.000 sessioni, canali con 0–5 conversioni | +0% / +1% |
| A3 | Sito piccolo: 2.000 sessioni | +1% / +0% |
| A4 | Consenso molto basso: 20% | +2% / +3% |
| A5 | Consenso molto alto: 92%, conosciuto con precisione | +0% / +0% |
| A6 | Sito medio con ordini reali, pubblico «misto / non lo so» | +1% / +0% |
Robustezza: quanto costa un’ipotesi sbagliata
Qui un’ipotesi è volutamente sbagliata. La copertura scende, ed è inevitabile: nessun intervallo protegge da un’ipotesi falsa. Lo scopo è sapere di quanto.
| Codice | Scenario | Sessioni | Eventi chiave | Transazioni | Entrate | Canali: sessioni |
|---|---|---|---|---|---|---|
| B6 | «Quanto converte» vero 1,0 invece di 0,4 | 78 / 95 | 54 / 89 | 41 / 79 | 44 / 82 | 79 / 95 |
| B7 | «Quanto converte» vero 0,15 invece di 0,4 | 79 / 95 | 44 / 88 | 34 / 72 | 35 / 74 | 79 / 95 |
| B8a | «Quanto converte» vero 1,0, con ordini reali | 78 / 95 | 100 / 100 | 100 / 100 | 100 / 100 | 79 / 94 |
| B8b | «Quanto converte» vero 0,15, con ordini reali | 79 / 95 | 100 / 100 | 100 / 100 | 100 / 100 | 79 / 95 |
| B9 | Consenso molto diverso tra canali (dal 30% all’85%) | 79 / 94 | 77 / 94 | 76 / 94 | 72 / 91 | 30 / 44 |
| B10a | Tasso «per banner» dichiarato «per visitatore» | 57 / 96 | 75 / 93 | 71 / 93 | 72 / 93 | 71 / 93 |
| B10b | Tasso «per banner» dichiarato correttamente | 99 / 100 | 85 / 97 | 89 / 98 | 88 / 98 | 95 / 100 |
| B11a | Tasso che esclude chi ignora il banner, dichiarato completo | 58 / 83 | 77 / 93 | 74 / 92 | 75 / 92 | 64 / 87 |
| B11b | Tasso che esclude chi ignora il banner, dichiarato tale | 94 / 99 | 84 / 97 | 88 / 97 | 86 / 97 | 90 / 99 |
| B12a | Cambio di banner a metà periodo, dichiarato | 89 / 98 | 82 / 96 | 85 / 96 | 83 / 96 | 85 / 97 |
| B12b | Cambio di banner a metà periodo, non dichiarato | 87 / 98 | 82 / 96 | 85 / 96 | 83 / 96 | 85 / 98 |
| B14 | Eventi chiave molto irregolari (a grappoli) | 78 / 95 | 77 / 94 | 81 / 95 | 81 / 95 | 78 / 95 |
| B16a | Consenso diverso tra mobile e desktop, solo tasso globale | 76 / 94 | 78 / 94 | 80 / 95 | 80 / 94 | 80 / 95 |
| B16d | Come B16a, tasso globale dichiarato preciso | 77 / 94 | 78 / 95 | 81 / 94 | 80 / 94 | 80 / 95 |
| B16b | Come B16a, con i tassi per dispositivo | 80 / 96 | 80 / 95 | 80 / 95 | 80 / 94 | 81 / 96 |
| B16c | Consenso diverso, stesse visite tra dispositivi (controllo) | 79 / 95 | 79 / 95 | 81 / 95 | 81 / 95 | 80 / 95 |
| Codice | Scenario | Errore della stima centrale |
|---|---|---|
| B6 | «Quanto converte» vero 1,0 invece di 0,4 | +1% / −20% |
| B7 | «Quanto converte» vero 0,15 invece di 0,4 | +1% / +13% |
| B8a | «Quanto converte» vero 1,0, con ordini reali | +1% / −0% |
| B8b | «Quanto converte» vero 0,15, con ordini reali | +1% / +0% |
| B9 | Consenso molto diverso tra canali (dal 30% all’85%) | +0% / +5% |
| B10a | Tasso «per banner» dichiarato «per visitatore» | +19% / +10% |
| B10b | Tasso «per banner» dichiarato correttamente | +6% / +4% |
| B11a | Tasso che esclude chi ignora il banner, dichiarato completo | −12% / −5% |
| B11b | Tasso che esclude chi ignora il banner, dichiarato tale | +3% / +2% |
| B12a | Cambio di banner a metà periodo, dichiarato | +0% / +1% |
| B12b | Cambio di banner a metà periodo, non dichiarato | +1% / +1% |
| B14 | Eventi chiave molto irregolari (a grappoli) | +1% / +0% |
| B16a | Consenso diverso tra mobile e desktop, solo tasso globale | +4% / +3% |
| B16d | Come B16a, tasso globale dichiarato preciso | +4% / +2% |
| B16b | Come B16a, con i tassi per dispositivo | +0% / +1% |
| B16c | Consenso diverso, stesse visite tra dispositivi (controllo) | +1% / +1% |
Cosa dicono queste righe:
- «Quanto converte» sbagliato (1,0 oppure 0,15 invece di 0,4): le sessioni restano corrette, le transazioni sbagliano del 13–20% e l’intervallo contiene il vero circa una volta su tre. Con gli ordini reali l’errore sparisce.
- Consenso molto diverso tra canali: i totali reggono, ma l’intervallo delle sessioni del singolo canale contiene il vero solo 30 volte su 100.
- Tasso dichiarato male: «per banner» dichiarato «per visitatore» gonfia le sessioni del 19%; un tasso che esclude chi ignora il banner, dichiarato completo, le riduce del 12%. Dichiarati correttamente, la stima torna corretta e prudente.
- Consenso diverso tra mobile e desktop: con differenze come quelle provate (consenso 50% su mobile e 75% su desktop, una volta e mezza le visite su desktop), con il solo tasso globale le sessioni risultano più alte di circa il 4%, anche con il tasso dichiarato preciso, ma la copertura cambia poco (76–77 su 100 invece di 79); con differenze maggiori l’errore cresce. Con i tassi per dispositivo l’errore sparisce; con un numero di visite simile tra dispositivi non c’è errore nemmeno senza.
- Cambio di banner non dichiarato ed eventi chiave irregolari: nessun danno sui totali.
Ad blocker e ordini reali
Con gli ordini reali il risultato dipende dalla quota di ordini che GA4 perde per cause diverse dal consenso, cioè dal tipo di pubblico indicato.
| Codice | Scenario | Sessioni | Eventi chiave | Transazioni | Entrate | Canali: sessioni |
|---|---|---|---|---|---|---|
| B13 | Ordini reali, altre perdite vere 20%, pubblico «misto / non lo so» | 79 / 95 | 49 / 96 | 66 / 100 | 62 / 100 | 79 / 95 |
| B13b | Ordini reali, altre perdite vere 20%, pubblico dichiarato «largo consumo» | 79 / 95 | 23 / 56 | 0 / 32 | 0 / 33 | 79 / 95 |
| B15a | Ad blocker al 12% che rifiutano di più, senza ordini reali | 86 / 97 | 82 / 96 | 85 / 96 | 84 / 95 | 84 / 97 |
| B15b | Ad blocker al 12% che rifiutano di più, con ordini reali | 85 / 97 | 91 / 99 | 100 / 100 | 100 / 100 | 84 / 97 |
| B15c | Pubblico tecnico, ad blocker al 35%, dichiarato «tecnico», con ordini reali | 76 / 95 | 95 / 100 | 100 / 100 | 100 / 100 | 77 / 95 |
| Codice | Scenario | Errore della stima centrale |
|---|---|---|
| B13 | Ordini reali, altre perdite vere 20%, pubblico «misto / non lo so» | +1% / +14% |
| B13b | Ordini reali, altre perdite vere 20%, pubblico dichiarato «largo consumo» | +1% / +16% |
| B15a | Ad blocker al 12% che rifiutano di più, senza ordini reali | −2% / −1% |
| B15b | Ad blocker al 12% che rifiutano di più, con ordini reali | −2% / −1% |
| B15c | Pubblico tecnico, ad blocker al 35%, dichiarato «tecnico», con ordini reali | −9% / +1% |
- Quota vera 20%, risposta «misto / non lo so»: il valore vero resta sempre dentro l’intervallo «quasi certamente», ma la stima centrale delle transazioni è alta del 14%.
- Quota vera 20%, risposta sbagliata «largo consumo»: stima alta del 16% e valore vero fuori dall’intervallo due volte su tre. La risposta sul pubblico conta.
- Ad blocker che rifiutano più spesso e in parte nascondono il banner: con gli ordini reali le transazioni restano corrette. Le sessioni risultano un po’ sotto il traffico reale (del 2% con il 12% di visitatori che bloccano GA, del 9% con il 35%): lo stimatore non stima i visitatori che GA4 non vedrebbe nemmeno con il consenso.
Cosa portarsi a casa
- Quando le ipotesi sono ragionevoli, gli intervalli mantengono ciò che promettono.
- Le sessioni totali sono la stima più robusta; dipendono dal tasso di accettazione e da come è misurato.
- Ordini ed entrate dipendono da un’ipotesi debole («quanto converte»): gli ordini reali la sostituiscono, ma introducono la domanda sul pubblico.
- Il dettaglio per canale va letto come indicazione, non come misura.
Come rifare le prove
Generatore, scenari e risultati sono nel codice, pubblico e consultabile nel repository su GitHub (si apre in una nuova scheda). Per rifare le prove scarica il repository, installa le dipendenze con npm ci e lancia npm run validazione: rifà tutto da zero (circa mezz’ora) e rigenera sia questa pagina sia il file VALIDAZIONE.md. Un test automatico controlla inoltre che il motore di calcolo dia sempre gli stessi numeri, cifra per cifra, a parità di dati e ipotesi.