C'è "pratica" e "pratica", (un report veramente ben fatto.)

Sempre con riferimento al post numero 2, mettiamo che qualcuno voglia dimostrare che tubi dipinti in avorio funzionano meglio che se dipinti in altri colori. Ovviamente sarà un tipo di colore avorio-raro-della-mesopotamia e che costa un occhio della testa (questo serve sempre a creare un alone di aspettativa) e che non si può dare sul legno (tie!).

A domanda su quale motivo dovrebbe mai giustificare ciò, chi avanza la tesi risponde brevemente che "di teoria se ne fa tanta, ma ciò che conta è "provare"".

E dunque, in forza di questa ovvia verità, il nostro prende un tubo in avorio e qualche altro tubo di altri colori. I tubi sono diversi anche in altri "dettagli" come le ottiche, ma in forza del bias di conferma questo fatto non viene realizzato.

Sorprendentemente il risultato prova in maniera inconfutabile che effettivamente il tubo di avorio funziona meglio degli altri. Una corretta analisi dovrebbe ovviamente identificare la corretta relazione causa-effetto ma questo passo viene saltato così come non si fa l'unico test che potrebbe confutare l'ipotesi che è quello di confrontare due tubi identici eccetto per il dettaglio che costituisce la premessa della tesi (nel i tubi dovrebbero essere diversi solo per il colore).
Secondo il meccanismo previsto dal bias di conferma chi conduce il test si concentrerà solo negli esperimenti che possono convalidare la propria tesi, e cioè continuerà a confrontare tubi di altro colore, senza realizzare che sarebbe sufficiente confrontare tubi identici eccetto per il colore per scoprire che il colore proprio non c'entra.

Assurdo vero? Eppure cose simili succedono molto più spesso di quanto si pensi. Certo, anche qua, considerare la teoria invece di liquidarla, avrebbe forzato colui che esegue il test a cercare una giustificazione, che avrebbe a sua volta facilmente suggerito quali esperimenti si potevano fare per dimostrare la falsità della tesi, condotti i quali la tesi sarebbe stata falsificata.

Una buona prova pratica non è mai quella in cui ci si sforza di provare che una tesi è vera, ma quella in cui si dimostra che sono state pensate ed eseguite tutte le prove che potevano dimostrare che era falsa e nessuna l'ha falsificata.