Sull'errore della media, ovvero del perché raddoppiare i dati non basta per dimezzare le incertezze

Nell'articolo precedente raccontavo dell'arresto prematuro della presa dati di LHC di quest'anno. Alla fine del pezzo menzionavo come questa cosa potrebbe essere problematica per chi, come studenti di dottorato o post-doc che abbiamo appena iniziato il loro contratto, speravano di usare i dati del Run 3 per le loro misure. In questo articolo cercherò di spiegare perché la quantità ridotta di dati sia potenzialmente problematica, e per farlo proverò a fare qualche calcoletto di statistica. Prima di iniziare, consiglierei ai digiuni della materia di andare a rileggersi questa serie di articoli che avevo pubblicato nel 2011: alcuni dei concetti sono già spiegati (persino meglio) lì.

Prendiamo molto alla lontana. Iniziamo col dire che ogni fenomeno fisico che vogliamo misurare è soggetto a fluttuazioni statistiche: semplificando molto, diciamo che ogni volta che facciamo una misura di una quantità il cui valore "vero" vogliamo conoscere, la misura restituisce un valore prossimo al valore vero, ma diverso da questo. Le ragioni di queste fluttuazioni possono essere molteplici, hanno a che fare sia con il fenomeno stesso che vogliamo misurare, sia con le proprietà dello strumento che usiamo per misurarlo. Trascuriamo qui tutti i dettagli, che ci richiederebbero di definire cosa vogliamo misurare e come vogliamo farlo, e facciamo un esempio ultra-semplificato. Diciamo che vogliamo misurare una certa quantità (la larghezza di un tavolo, la massa del bosone di Higgs, poco importa) che ha un valore vero , e che ogni volta che facciamo una misura (per esempio, ogni volta che usiamo un metro per misurare quanto è larga mano tra scrivania, o ogni registriamo una collisione a LHC che abbia le caratteristiche che cerchiamo) troviamo un valore per la quantità che ci interessa. Nel caso più semplice che possiamo immaginare, i valori che misuriamo vengono da un distribuzione a campana (per i più esperti, una Gaussiana) centrata sul valore "vero" , e cha ha una certa larghezza che gli statistici chiamano deviazione standard. Per fare un esempio concreto, se immaginiamo che che = 10 e = 3 (nell'unità di misura rilevante per il nostro esperimento, che qui ignoro), la distribuzione attesa delle misura avrà questa forma:

Immaginiamo adesso di fare 100 misure, e di mettere i loro valori in un istogramma. Questa è la nostra prima approssimazione della distribuzione "vera" della misure che otterremmo se ne facessimo un numero infinito:

Che cosa possiamo dire del valore vero di a partire da queste prima 100 misure? Possiamo calcolarne la media , sommando tutte le misure fatte e dividendo la somma per il numero di misure:

che possiamo generalizzare per misure come:

dove il simbolo significa "somma di tutti i valori". è in qualche modo legato al valore vero che vogliamo misurare , e vedremo tra un attimo come. Diciamo però che a partire dalle 100 misure possiamo anche calcolare il parametro che approssima la deviazione standard della distribuzione vera:

Qui stiamo prendendo la differenza di ognuno delle misure dalla loro media, ne facciamo il quadrato per considerare sullo stesso piano tanto le differenze positive che quelle negative, e ne facciamo a loro volta una (sorta di) media. Credetemi sulla parola quando vi dico che è uno "stimatore corretto" di .

Che cosa possiamo a questo punto dire di (e ), e che relazione ha con il valore vero che vogliamo misurare? Una discussione rigorosa richiederebbe una trattazione matematica che esula dello scopo di questo articolo, dovrete dunque nuovamente credermi sulla parola quando vi dico che è affetto da un'incertezza statistica pari a:

In questo caso "incertezza statistica" vuol dire che, se ripetessimo le 100 misure ancora e ancora, e ogni volta calcolassimo la media per ognuno di questi gruppi di 100 misure, i valori di sarebbero a loro volta distribuiti come una curva a campana, centrata in con una deviazione standard .

Queste informazioni (e le ipotesi che stanno dietro alla trattazione matematica su cui ho bellamente sorvolato) ci permettono di stabilire quello che in gergo di chiama un intervallo di confidenza. Qui serve prima di proseguire un disclaimer grosso come una casa: quello che sto per scrivere è corretto, ma deliberatamente vago per evitare le eventuali ire degli statistici che potrebbero passare da queste parti! Immaginiamo di costruire un intervallo pari a:

dove può assumere il valore che vogliamo: 1, 2, 3, ... Se prendiamo = 2 (o meglio, 1.96, ma di nuovo sorvoliamo) possiamo dire (senza attirarci le ire degli statistici in sala) di avere il 95% di confidenza che quell'intervallo sia rappresentativo del valore vero (noterete che ho accuratamente evitato di scrivere che l'intervallo ha il 95% di probabilità di contenere il valore vero , perché questa frase è tecnicamente falsa, e potrebbe scatenare una guerra di semantica statistica che preferirei evitare!).

Veniamo dunque alla parte che ci interessa veramente: come faccio a ridurre l'intervallo di confidenza che mi permette di dire qualcosa su ? Se guardate con attenzione le formule che vi ho propinato, capirete in fretta che se aumento la quantità di misure (o di collisioni!) il valore di diventerà sempre più piccolo, riducendo progressivamente la taglia del mio intervallo di confidenza, e di fatto migliorando la mia conoscenza di . Sembra banale, ma questa è la ragione primaria per cui più misure (ovvero, nel nostro caso, più collisioni a LHC) portano a misure più precise.

Come si riduce in funzione dell'aumentare delle misure? Non linearmente, ed è qui che le cose si complicano! La dipendenza va con l'inverso della radice quadrata del numero di misure, che è la ragione per cui raddoppiare il numero di misure non migliora del doppio l'incertezza della misura, ma solo di un fattore !

Torniamo dunque allo stop di LHC da cui siamo partiti. Nel corso del Run 2 abbiamo raccolto una quantità di collisioni pari a circa 140 femtobarn inversi. Tra il 2022 e il 2023 abbiamo raccolto una luminosità pari a circa 70 femtobarn inversi. Trascuriamo il fatto che l'energia dei fasci del Run 2 era leggermente diversa da quella delle collisioni del Run 3: se una certa misura è stata fatta con i dati del Run 2 con un errore , aggiungendo di dati del Run 3 l'errore migliorerà di un fattore:

ovvero, si ridurrà solo del 20%!

Capirete allora che per i dottorandi che speravano di poter migliorare sensibilmente con il loro lavoro le misure già pubblicate, o le chance di scoprire una nuova particella, le prospettive non sono esattamente rosee. Che cosa resta loro da fare? Da una parte certamente sperare che il 2024 porti una compensazione dei dati non presi durante il 2023, dall'altra lavorare al miglioramento delle loro analisi, qualcosa che nel nostro esempio corrisponderebbe si fatto a una riduzione diretta del paramento : un'impresa difficile e impegnativa!

Per finire, compito a casa per verificare se avete seguito fino a qui: date tutte le ipotesi e le approssimazioni dell'articolo, quanti dati servirebbero (in femtobarn inversi) per migliorare di un fattore 2 (ovvero, per dimezzare) le incertezze delle misure fatte con i dati del Run 2?