Mi sono messo in testa di insegnarvi un po' di statistica. O meglio, di fare finta di insegnarvi un po' di statistica: in realtà farò solo degli esempietti approssimati, senza darvi nessuna dimostrazione, e senza pretesa di rigore matematico alcuno. L'idea sarebbe quella di tentare di spiegarvi come si isola un segnale da un rumore di fondo, quando lo si può fare, e perché avere pochi dati può non permette di esprimersi in modo certo rispetto alla presenza di un nuovo fenomeno, mentre invece aumentarne la quantità migliora questa capacità fino a un livello che può essere considerato sufficientemente attendibile. Siete pronti? Mi ci vorranno almeno un paio di articoli, se non di più. E, se mi impegno, magari ce la facciamo entro il 13 dicembre.
Useremo uno scenario di fisica delle particelle estremamente semplificato. Stiamo facendo un esperimento per la ricerca del puzzone di Piggs: questa fantomatica particella, nel caso in effetti esista in natura, si manifesterebbe nel nostro sofisticato rivelatore con l'accensione di una lucina rossa. Il nostro collega teorico ci ha informati che la produzione del puzzone di Piggs è un evento molto raro: se le previsioni sono corrette si manifesterà in media una volta ogni 10000 interazioni. Segnatevi sui vostri quadernetti che questo ritmo di produzione e apparizione nel rivelatore è un valore medio, soggetto a fluttuazioni statistiche: torneremo su questo punto tra un momento.
Il principale problema del nostro esperimento è quello del rumore di fondo. La natura, notoriamente burlona, ha previsto l'esistenza di un altro processo, che per l'occasione chiameremo bruglione di Yan, che si manifesta nel nostro rivelatore anch'esso con l'accensione della stessa lucina rossa, in modo assolutamente indistinguibile dalla (possibile) manifestazione del puzzone di Piggs. Il fenomeno del bruglione di Yan è stato scoperto parecchi anni fa e da allora misurato in lungo e in largo, e rappresenta uno dei tanti aspetti della natura di cui conosciamo tutti i dettagli. Sappiamo per esempio che è un fenomeno raro, ma più frequente dell'apparizione presunta del puzzone: in 10000 interazioni si manifesta infatti in media 10 volte.
Facciamo ora una digressione sulla questione dei valori medi e delle fluttuazioni statistiche. Immaginate di lanciare due dadi a 6 facce, di quelli normali e comuni (per i giocatori di D&D prima o poi faremo un serie dedicata) e di sommare le cifre sulle facce superiori. Il valore più probabile che potete ottenere è 7, perché si tratta della cifra che potete ottenere con il maggior numero di combinazioni (nello specifico: 1+6, 2+5, 3+4, 4+3, 5+2, 6+1). Ottenere 6 o 8 è ancora abbastanza probabile, ma meno che ottenere 7 (vi lascio calcolare da soli le combinazioni possibili), mentre ottenere 2 o 12 è molto meno probabile (potete ottenerli rispettivamente solo facendo 1+1 o 6+6). Prendete un pezzo di carta, e provate a disegnare un grafico, mettendo sull'asse orizzontale il valore che ottenete lanciando due dadi, e sull'asse verticale il numero di combinazioni che permettono di realizzare quel particolare valore. Otterrete qualcosa del genere:
Adesso fate un passaggio ulteriore, e trasformate i valori sull'asse verticale in percentuali. Per farlo, dovete contare tutte le combinazioni possibili (sono 36), e poi dividere ognuno dei valori che avevate sul grafico precedente per questo valore. Ecco qui:
Complimenti! Avete disegnato la vostra prima distribuzione di probabilità, una funzione che vi indica quanto è probabile che un certo fenomeno (il lancio di due dadi, per esempio) produca un certo risultato (un certo valore della somma delle facce superiori). A seconda del fenomeno che state studiando (il lancio di due dadi, la produzione del puzzone di Piggs), questa distribuzione avrà forme e caratteristiche diverse che si possono studiare matematicamente. Quando studiate una distribuzione di probabilità, ci sono alcune informazioni (matematiche) che vi aiutano a capirne le proprietà. La principale è il suo valore medio, che, perlomeno nel caso di distribuzioni simmetriche, vi dice qual è il risultato più probabile che potete ottenere se osservate un certo fenomeno. Immediatamente dopo viene un numerello che si chiama deviazione standard o anche scarto quadratico medio, che vi da una misura di quanto i possibili risultati del vostro esperimento possono assumere dei valori diversi e lontani dal valore medio. Nel caso del lancio di due dadi, il valore medio della distribuzione di probabilità dei valori attesi è 7, mentre la deviazione standard è circa 2.4 (come si calcola non ve lo spiego, se siete curiosi è un'informazione facile da trovare):
La media viene solitamente indicata con il simbolo "mu" (
Conoscere il valore medio e la sigma della distribuzione di probabilità di un certo fenomeno, e la forma della distribuzione di probabilità, permette di stimare quali risultati ci si può attendere, quanto questi siano probabili quando si esegue un esperimento, e soprattutto di valutare quanto un certo risultato sia compatibile con l'ipotesi di un certo fenomeno. Per esempio, se conoscete la distribuzione di probabilità del risultato del lancio di due dadi, potrete scegliere in modo intelligente dove piazzare i vostri insediamenti quando giocate ai Coloni di Catan, in modo da massimizzare la probabilità di produrre risorse e vincere il gioco. Oppure, lanciando due dadi un certo numero di volte e confrontando la distribuzione dei risultati sperimentali con la distribuzione attesa, potete provare a stabilire se i dadi che state usando sono stati truccati.
Nel caso della ricerca del puzzone di Piggs, vista la necessità di distinguere la sua apparizione in mezzo al rumore di fondo generato dal fenomeno del bruglione di Yan, siete in una situazione simile. Se riuscite a farvi un'idea di quale sia la distribuzione di probabilità del manifestarsi dell'uno e dell'altro fenomeno, potete tentare di valutare quanto il risultato del vostro esperimento supporti l'ipotesi dell'esistenza del puzzone, o piuttosto il solo manifestarsi del già noto bruglione. Per rendere più concreto l'esempio, ci servirà sapere quali siano le caratteristiche delle distribuzioni di probabilità dei due fenomeni in questione (puzzone e bruglione), cosa che vedremo alla prossima puntata.
Compito a casa. Mentre aspettate la prossima puntata, provate a costruire la distribuzione di probabilità della somma della facce di tre dadi. Qual è il valore più probabile? E se invece ne lancio quattro?
Molto interessante, soprattutto per chi si avvicina alla statistica per la prima volta. Un solo appunto: il puzzone di Piggs alla fine diventa di Biggs. Ha subito qualche oscillazione non prevista dal modello Stampard oppure si tratta di un semplice errore di battitura.
@Paolo: accidenti, ma allora leggete veramente fino al fondo! Corretto, grazie, niente oscillazione bizzarra: il puzzone è strano abbastanza da sé...
Grazie Marco!
i tuoi articoli divulgativi sono veramente molto utili
continua così e tanti complimenti!!!
@Marco: dovere.
Bell'articolo complimenti! Interessante e davvero chiaro e facile da seguire. Nell'attesa della prossima puntata si fa un po' d'allenamento con Catan.
Che bello Marco, uno di quegli articoli che adoro per il contenuto ed ancor più per la forma!
Una curiosità da profano...Che software usi per generare i grafici dell' articolo? Io al momento mi trovo abbastanza bene con python e matplotlib, ma non si finisce mai di imparare e di cercare di semplificarsi la vita
Grazie mille!
@Erik: uso un software che si chiama ROOT, che è di fatto lo standard per le analisi dei dati nel mio campo. Probabilmente avrei potuto semplicemente usare Gnuplot o R per dei plot così, ma è stata la forza dell'abitudine...
ti leggo sempre, il tuo sito mi piace un sacco e qualche volta ho commentato i tuoi post.. ma ti chiedo scusa, è bastato l'incipit per non farmi leggere l'intero articolo.. sono alle prese con l'esame di elaborazione statistica dei segnali che sto odiando con tutto il cuore, per cui questa volta passo.. ci vediamo al prossimo post
Questo e' un ottimo articolo divulgativo, sei il Brian Greene italiano! Una cosa che pero' non ho mai capito e' come mai quasi tutti i matematico-fisici pronuncino la lettera greca ? "Mu" e non "Mi".
@pier
ci sono anche quelli che dicono "mi", ma sono una minoranza (almeno tra quelli che ho incontrato io)
Questo è il mio primo commento da quando leggo questo blog (da alcuni mesi) e voglio assolutamente complimentarmi con Marco!! E' un blog fantastico e ricco di contenuti!!
Ho solo due domande per Marco:
1) Io sapevo già cos'era la deviazione standard, ma c'è una cosa che non capisco: la percentuale di combinazioni per ogni numero di sigma attorno al valore medio è legato solo al tipo di distribuzione in esame, giusto? Per esempio le percentuali di combinazioni possibili in un intervallo più o meno 2 sigma sarà diverso a seconda del fenomeno in esame, giusto? Oppure in entrambi i casi il 95% delle combinazioni sarà compresa nell'intervallo? E' la prima vero?
2) stavo pensando che se vuoi mettere qualche formula potresti fare come con le FORMULETTE. E' solo un suggerimento, so che hai molto da fare
Termino con una curiosità: perchè il nome BORBORIGMI?
@Bigalfry: dipende esclusivamente dalla forma della distribuzione, se i fenomeni sono descritti dalla stessa (per esempio una gaussiana), la frazione di risultati compresi in un certo intervallo definito da un certo numero di sigma sarà la stessa. Lo vedremo al prossimo giro (dove credo che mi scapperà qualche formuletta).
Borborigmi? Forse perché in fondo sono un brontolone?
Ottimo, Marco. Ci posso arrivare anch'io...
Se però invece del Puzzone di Piggs ti basta il Puzzone di Moena, basta fare un salto in Val di Fassa, o preferisci la toma del Vaud ?
Grazie mille Marco!
Questa spiegazione mi va bene anche per giocare a dadi con gli amici.
Ammettiamo che abbia soldi infiniti da spendere e puntassi sempre su 2 e 12. Ogni puntata spendo un euro. I miei amici (due) invece puntano, più o meno, sul valore medio. Secondo quel che ho capito nel 33% dei casi dovrei vincere. Mentre nel 67% la "fortuna" darebbe ragione a loro.
Quindi ogni 100 puntate perdo 67 euro, mentre vincendo 2 euro ogni volta che esce 2 e 12 recupererei 33x2=66; quindi alla fine avrei perso solo un euro puntando su un valore raro dopo 100 puntate. Raddoppiando le puntate le mie perdite però diventerebbero il doppio. Quindi il "segnale" che sono alla presenza di un fattore costante è dovuto alla perdita costante di denaro? Se con questo gioco io vincessi costantemente si evincerebbe che i miei dadi sarebbero truccati?!!?
@My_May: santo cielo, che confusione! Innanzi tutto i dettagli: se punti su 2 e 12 (contemporaneamente) hai 2/36 di possibilità di vincere, chiunque punti sul 7 da solo ne ha 6/36, ergo 3 volte tanto le tue. Se possa esistere una strategia per recuperare le tue puntate giocando all'infinito dipende da come il gioco è retribuito (ogni giocata è pagata uguale? O i numeri più probabili sono pagato di più, in modo inversamente proporzionale alla probabilità di uscire? In questo secondo caso, se avessi risorse infinite non farebbe differenza su che cosa punti. Ma tieni conto che ci fa soldi con l'azzardo raramente propone giochi equi (in senso statistico), e che raddoppiare all'infinito è vietato nei casinò!
@My_May: per rispondere alla tua domanda sull'uso della statistica per fare soldi (cioe' insomma per il gioco di azzardo) credo che buon Marco ti risponderebbe laconicamente solo con la celeberrima frase di A.Einstein "God doesn't play dice" implicando cosi' piu' semplicemente che l'universo non e' minimamente interessato al fatto che possiamo scoprire o no l'Higgs, cioè che non ci ricompenserebbe maggiormente a fronte di una bassissima probabilita' di vincita (cioe' di scoperta del bosone/puzzone). Tornando invece al caso che proponi, quando da una probabilità realizzi una vincita, devi moltiplicare la sua probabilità per la cifra che realizzi e questo puo' servire a compensare la tua possibilità di insuccesso. Puoi trovare maggiori informazioni cercando su google le definizioni e le formule di "gioco equo" e "speranza matematica".
@Alberto aiutami a capire meglio, vorresti dire che non posso scoprire se i dadi sono truccati o meno?
O meglio, se la statistica mi aiuterà a comprendere che le vincite o le perdite siano legate al "puzzone" e no alla "sfortuna/fortuna"?
Ho letto un articolo di Marco (l'ho perso, quindi non sarò preciso, ma Marco dovrebbe ricordarselo) dove si fa riferimento ad una conferenza di un teorico (il nome non ricordo, ma aveva una maglietta con un cervello disegnato) come il "puzzone" potrebbe giocare a "nascondino". Che sia un nascondino che assomiglia alla differenza fra fortuna e puzzone? Se fosse racchiusa tutta qui la difficoltà sarebbe difficile da scovare il puzzone anche aumentando i dati all'infinito.
@Marco si è vero i dettagli sono importanti e quindi hai ragione su tutta la linea.
Io volevo solo, dall'esempio con i dadi, paragonare il "puzzone" ad un tipo di segnale che per "noi" giocatori d'azzardo vuol dire "trucco". Non so, prendiamo ad esempio il poker e il solito asso nella manica. Per "Vedere" un trucco basterebbe guardare all'interno della manica del giocatore. Nel nostro caso invece il segnale è nascosto e possiamo dedurlo solo dalle vincite del giocatore che sta barando. Se questo segnale fosse troppo debole però, potrebbe essere confuso con la "fortuna" (in questo caso sarebbe il "rumore di fondo") quindi un baro non potrà essere mai dedotto con la statistica.
Se il discorso fatto è troppo diverso da quello che stavi facendo (a proposito di dadi...ed in tanto che il 13 si avvicina) mi spargo il capo di ceneri
@Marco: Aspetta Marco, l'approccio di My_May non e' poi così male e ti puo' permettere di introdurre anche altri interessanti argomenti di QM come la questione delle "variabili nascoste". Il problema e' solo che con queste analogie tra statistica e azzardo, bosone e puzzone sembra che ci siamo persi per strada ma lui sta solo chiedendo se a mezzo della statistica si può identificare l'Higgs così come per una giocata di dadi (in teoria probabilistica) si può riscontrare una netta anomalia tra probabilità e frequenza che evidenzi una "deformazione deterministica ad hoc" (qualcuno bara). Il caso del tentativo di rilevare l'Higgs e' al contrario: non sappiamo se un certo fenomeno esiste, non conosciamo la sua esatta frequenza statistica e temiamo errori sistematici sulla misura. Forse il "compito a casa" che hai assegnato era troppo difficile...
Qualcuno ha mai usato la statistica per contarsi le dita? Come diventerebbe la curva di distribuzione? E perché mi potrei sbagliare?
@My_May: tornando a quello che chiedi di appurare (cioe' se il baro e' distinguibile), ti darò questa volta una risposta meno matematica di quell'ultima data dall'ottimo Marco. Non si può accertare se una variabile casuale sia perfettamente casuale perché per definizione dovresti fare un infinito numero di tentativi; solo in questo modo potresti verificare gli scostamenti tra la probabilità calcolata e la frequenza reale misurata dell'evento. Ma i casino' si accontentano di molto meno e chiudono il banco (o ti buttano fuori) semplicemente se la frequenza volge troppo a tuo favore ed anche tu penseresti che io sto barando usando dadi truccati se - per sfiga/fortuna - facessi tre volte 12 giocando a soldi con te! Come diceva Marco - i giochi d'azzardo raramente sono equi, compresi soprattutto quelli legalizzati, tipo il lotto che e' noto a tutti gli studenti di statistica. Beh, da questo punto di vista il fisico sperimentale si sente un po' più al sicuro, sapendo che l'Universo non ha interesse a nascondere i suoi meccanismi più segreti (Pierluigi Campana, coordinatore di LHCb, in un suo saggio sui risultati della macchina parla al limite di "benevolenza della Natura")!
@Alberto, per questo mi ero soffermato sulla "costanza". Cioè se i conti che avevo fatto inizialmente fossero stati giusti, sarebbe bastato notare che invece di perdere un euro ogni cento mani (che si poteva confondere con la sfortuna) avessi incominciato a vincere costantemente un euro ogni cento mani. Chiaramente ci saremmo trovati difronte ad un baro "modesto", ma pur sempre un baro. Quel che volevo dire è quindi che il "segnale" dovrebbe emergere dal rumore di fondo; per farlo dovrebbe aver la forma di un segnale e no di rumore di fondo (lapalissiano). Ma che forma deve avere un segnale per essere un segnale? Io ho pensato alla "costanza", che per un giocatore che bara equivale a vincere sempre anche se cifre modeste (per non farsi scoprire).
Un'altra cosa che mi viene in mente mentre penso a questi "puzzoni" (vengo quindi alla tua osservazione sulle scelte fatte dall'universo), è il meccanismo. Il puzzone dovrebbe essere più stupido di un giocatore di baro. Se il baro non volesse farsi beccare infatti non sarebbe "costante". Ovvero ogni tanto farebbe credere di essere sfortunato (non siete mai andati a Napoli e non avete mai visto i bari delle tre carte? La prima te la fanno sempre vincere :D).
@My_May: purtroppo la "costanza" o un qualunque altro numero indice che ti permetta di testare sommariamente (cioè in qualche modo ridotto o rapido) il rilievo della variabile probabilistica che intendi valutare non ti puo' (almeno teoricamente) essere d'aiuto nemmeno se conosci la sua probabilita' teorica. Facciamo l'esempio dei dadi: la probabilità che esca una faccia o un'altra e' sempre pari ad 1/6 ma se anche se ti uscisse il 3 per 10 volte di seguito non potresti eccepire (matematicamente) un errore; l'universo ti potrebbe rispondere che nei restanti lanci (da qui all'infinito) le eguali probabilità di uscire delle altre facce verrebbero prima o poi compensate. Ecco perche' la statistica distingue la probabilità dalla frequenza ed afferma che esse coincidono solo ai "grandi numeri" (teorema di bernoulli). Diverso e' invece il caso in cui tu NON conosca il sistema che ti origina un certo risultato e volessi appurarlo con metodi statistici: e' il caso delle ricerche della fisica alle alte energie a cui Marco sta partecipando, nel qual caso si stabilisce un valore "di fede" a cui l'insorgenza statistica di un dato rilievo deve manifestarsi per potersi definire "scoperta" (cioe' affermare che e' in qualche modo invariante e ripetibile); tale valore viene prudentemente ed universalmente fissato a 5 sigma. Ma parlare di questi argomenti spetterà solo al padrone di casa nella seconda parte di questo articolo...
@Alberto, nel caso specifico Marco credo avesse voluto spiegare introdurre i problemi riguardanti la statistica, ed io me ne sono fatto un'immagine mia personale paragonando il baro al puzzone. Ma se volessi rimanere all'interno della statistica dei dadi (due tre, quattro ecc.) e paragonando il puzzone al caso raro, più aumentano i dadi e più sarà difficile che il caso raro (3 e 18 nel caso di tre dadi ad esempio) venga fuori. Se i dadi fossero 3000 il caso raro, di avere tutti i dadi con la faccia rivolta verso 1, sarà praticamente impossibile verificare, o meglio basterebbe aspettare a lungo....
Non so però quale sia il paragone migliore tra questi due casi (il baro o l'aumento dei dadi) con il puzzone.
Oppure (il terzo caso, mi è venuto ora, prima di uscire a fare la manifestazione :D) il puzzone è una faccia con un valore. Noi però non sappiamo se esiste questa faccia e nemmeno siamo sicuri del valore che dovrebbe avere. Se avessimo 3000 dadi con 6 facce sicure, sta da scoprire se esiste una settima faccia e il suo valore (potrebbe essere 7, e forse sarebbe più facile, ma potrebbe avere il valore di 1,5). Azzarola, com'è difficile
@My_May: devi considerare ce il tuo segnale possa essere come un dado aggiuntivo, come se i dadi li lanciassi senza vedere se ce n sono due o tre, e qualcuno tu dicesse solo il risultato. Quanti lanci ti servirebbero per sapere se ci sono tre dadi invece che due? Leggi la nuova puntata!
Catan!
Che bel gioco ...
Marco, dal tuo ultimo commento dove dici "devi considerare ce il tuo segnale possa essere come un dado aggiuntivo, come se i dadi li lanciassi senza vedere se ce n sono due o tre", intuitivamente potremmo ipotizzare l'evento del bruglione di Yan come il lancio di 3 dadi a sei facce e quello del puzzone di Piggs come un dado a due facce?
Avremo una distribuzione del puzzone con alta probabilità intorno a 14, con un piccola perturbazione dovuta al puzzone e una quantita' di "lanci" abbastanza grande ci permetterebbe di individuare l'anomalia con la confidenza necessaria.
Ah, ho fatto i compiti. Per chi vuole vedere come si comportano 3 e 4 dadi:
)
https://sites.google.com/site/gnssinfoarc/dadi
(ok, non ho curato molot l'aspetto delle immagini
Ma si vedono cose interessanti:
ad esempio che aggiungendo coppie di dadi, si aggiunge 7 alla somma piu' probabile.
Mentre se i dadi sono dispari, ci sono 2 somme equiprobabili.
Ecco, adesso ho capito perché a Coloni ho la percezione che il brigante esca sempre più spesso di tutte le altre combinazioni che danno risorse! Che poi lo abbia scoperto cercando aggiornamenti sul puzzone di Piggs è fantastico
@Grimmo: il brigante in effetti è l'evento più probabile in Catan. È una sorta di meccanismo antitrust che deve essere (potenzialmente) molto frequente per rendere il gioco equilibrato (sono un piccolo nerd anche dei giochi da tavolo).
Non sono particolarmente abile in matematica, ma proprio non riesco a trovare un 2,4 come deviazione std.
Dove sbaglio ?
Dimensioni della popolazione:11
Media aritmetica (?): 7
Mediana: 7
Moda: No
Valore minimo: 2
Valore massimo: 12
Range: 10
Scarto interquartile: 6
Primo quartile: 4
Terzo quartile: 10
Varianza (?2): 10
Deviazione standard (?): 3.1622776601684
Semidifferenza interquartile: 3
Deviazione media assoluta (MAD): 2.7272727272727
@Umberto: Non so come tu abbia fatto i calcoli e dunque non posso aiutarti a trovare l'errore
, ma per quanto riguarda varianza e deviazione standard c'è qualcosa che non va nei tuoi numeri. Puoi calcolare la varianza sia dai singoli elementi della distribuzione, sia dalle frequenze per ogni valore. In questo secondo caso, la formula da usare è:
dove
Se poi vuoi fare le cose in modo più elegante, puoi parametrizzare questa particolare distribuzione di probabilità come una distribuzione binomiale, e calcolarne i momenti dalle sue proprietà.
Grazie!
Non ti dico l'errore che ho fatto....
Mi vergogno...
Umbe
per trovare il numero delle combinazioni si può usare il principio di enumerazione.
Bell'articolo!
Prima di affrontare la seconda parte segnalo due refusi:
"lancio di due dati"
e la barra verticale prima della lettera greca sigma
@Fabio: grazie, corretti!