• Principale
  • Notizia
  • L'esperimento di Facebook causa molte storie per pochi risultati

L'esperimento di Facebook causa molte storie per pochi risultati

Uno studio in cui Facebook ha manipolato i feed di notizie a più di 600.000 utenti ha mandato gli utenti dei social media in un cyber-svenimento questa settimana e si è riversato sui media mainstream: 'Facebook Tinkers With Users' Emotions ', ha iniziato il titolo sul New York Times sito web.


Ma la controversia su ciò che questi ricercatori hanno fatto potrebbe mettere in ombra altre discussioni importanti, in particolare conversazioni su ciò che hanno trovato davvero - non molto, in realtà - e il modo giusto e sbagliato di pensare e riportare i risultati sulla base di analisi statistiche dei big data. (Tra un momento arriveremo all'etica del loro esperimento.)

Poiché sono così grandi, gli studi basati su campioni di grandi dimensioni possono produrre risultati statisticamente significativi ma allo stesso tempo sostanzialmente banali. È semplice matematica: maggiore è la dimensione del campione, minore deve essere qualsiasi differenza per essere statisticamente significativa, vale a dire, è molto probabile che sia veramente diversa l'una dall'altra. (In questo studio, le differenze esaminate erano tra coloro che hanno visto di più e coloro che hanno visto meno post carichi di emozioni rispetto a un gruppo di controllo i cui feed di notizie non sono stati manipolati.)

E quando hai un enorme campione casuale di 689.003, come hanno fatto questi ricercatori, anche piccole differenze superano i test standard di significatività. (Per prospettiva, una dimensione tipica del campione in un sondaggio dell'opinione pubblica rappresentativo a livello nazionale è 1.000.)

Ecco perché generazioni di insegnanti di statistica avvertono i loro studenti che 'statisticamente significativo' non significa necessariamente 'davvero,veramenteimportante'.


Esperimento di Facebook sulla manipolazione dei feed di notizieConsidera i risultati dello studio di Facebook in cui variavano il numero di post positivi e negativi di soggetti di test amici che potevano vedere. I post sono stati determinati come positivi o negativi se contenevano una singola parola positiva o negativa. Quindi, l'uso da parte del soggetto del test di parole positive e negative nei loro aggiornamenti di stato è stato monitorato per una settimana. In totale, i soggetti del test hanno pubblicato un totale di 122 milioni di parole, quattro milioni delle quali positive e 1,8 milioni negative.



Come riportato dagli autori, il numero di parole negative utilizzate negli aggiornamenti di stato è aumentato, in media, dello 0,04% quando i post positivi dei loro amici nei feed di notizie sono stati ridotti. Ciò significa solo circa quattro parole negative in più per ogni 10.000 scritte da questi partecipanti allo studio. Allo stesso tempo, il numero di parole positive è diminuito solo dello 0,1%, ovvero circa una parola in meno per ogni 1.000 parole scritte. (Come punto di riferimento, questo post è lungo poco più di 1.000 parole.)


Al contrario, quando i post negativi sono stati ridotti, sono state utilizzate sette parole negative in meno per 10.000 e il numero di parole positive è aumentato di circa sei per 10.000.

Sulla base di questi risultati, gli autori hanno concluso nel loro studio pubblicato che i loro 'risultati indicano che le emozioni espresse da altri su Facebook influenzano le nostre stesse emozioni, costituendo prove sperimentali per il contagio su larga scala attraverso i social network'.


Ma questi piccoli cambiamenti, anche se reali, costituiscono la prova di un allarmante 'contagio su vasta scala'? Naturalmente, l'importanza è negli occhi di chi guarda. Per alcuni, questi minuscoli cambiamenti possono essere motivo di allarme. Ma per altri, probabilmente sono solomeh.

Uno degli autori sembra aver avuto dei ripensamenti sul linguaggio usato per descrivere il proprio lavoro. In un post di Facebook scritto in risposta alla controversia, Adam D. I. Kramer ha riconosciuto: 'I miei coautori e io siamo molto dispiaciuti per il modo in cui il documento ha descritto la ricerca'.

Ha anche suggerito che, anche con il loro enorme campione, non hanno trovato un effetto particolarmente ampio. I risultati, ha scritto, si basavano sulla 'quantità minima per rilevarlo statisticamente - il risultato è stato che le persone hanno prodotto in media una parola emotiva in meno, ogni mille parole, nella settimana successiva'.

I critici hanno sollevato altre domande, in particolare la rivista The Atlantic e Wired, che si chiedeva se la lettura di post positivi avesse causato direttamente all'utente di Facebook l'uso di parole più positive nei loro successivi aggiornamenti.


Ma ciò che Facebook ha fatto è etico? C'è una buona quantità di discussioni sul fatto che Facebook sia stato abbastanza trasparente con i suoi utenti su questo tipo di sperimentazione. Non hanno informato direttamente i partecipanti allo studio che sarebbero stati usati come topi da laboratorio umani. Nella ricerca accademica, questo si chiama non ottenere il 'consenso informato' ed è quasi sempre un enorme no-no. (Facebook afferma che tutti coloro che si uniscono a Facebook accettano di essere inclusi in tali studi come parte del suo accordo con l'utente.)

La domanda ora è su come, sedendo su reperti di nuovi social media e altri dati digitali da estrarre per lo stesso tipo di analisi comportamentale, le nuove regole dovranno essere scritte.

La ricerca sperimentale è ricca di esempi di come i partecipanti allo studio sono stati manipolati, ingannati o apertamente mentiti in nome della scienza sociale. E mentre molte di queste pratiche sono state frenate o vietate nel mondo accademico, continuano ad essere utilizzate nella ricerca commerciale e in altri tipi di ricerca.

Considera il caso del 'Verifacitor', il più nuovo e migliore rilevatore di bugie al mondo, o almeno questo è ciò che è stato detto ad alcuni partecipanti in questo studio condotto dai ricercatori del National Opinion Research Center dell'Università di Chicago a metà degli anni '90.

I soggetti del test sono stati divisi in due gruppi. Ai membri del gruppo di controllo è stato chiesto di sedersi a una scrivania dove un intervistatore ha posto domande sulle abitudini di esercizio, il fumo, l'uso di droghe, le pratiche sessuali e il bere eccessivo.

Gli altri soggetti del test hanno risposto alle stesse domande mentre erano collegati tramite elettrodi al Verifacitor, descritto dall'operatore come un nuovo tipo di rilevatore di bugie. (In effetti, era solo una raccolta di vecchi componenti di computer che i ricercatori avevano in giro.)

Per migliorare ulteriormente la narrazione della verità, a ogni partecipante è stato detto prima dell'inizio del colloquio formale che l'operatore doveva calibrare la macchina. Quindi al partecipante è stato detto di mentire a caso in risposta a domande demografiche su se stesso che erano state poste in precedenza su un questionario di screening. (Domande come: sei sposato? Hai finito il liceo? Ecc.).

Ovviamente all'intervistatore erano state ignorate le risposte corrette, quindi ha immediatamente identificato una risposta fasulla, con grande stupore del soggetto del test.

Bene, puoi indovinare cosa è successo. Il 44% completo di quelli nel gruppo Verifacitor ha ammesso di aver mai usato cocaina rispetto al 26% nel gruppo di controllo. Completamente il doppio della proporzione riportata utilizzando anfetamine (39% vs 19%), altri farmaci (39% vs 19%) e bevendo più alcol di quanto dovrebbero (34% vs 16%).

In altre parole, la ricerca nelle scienze sociali ha una lunga storia di manipolazione. Imparerà dal suo passato?