Quanto sono diverse le persone che non rispondono ai sondaggi?

di Evans Witt e Jonathan Best, Princeton Survey Research Associates


per il Pew Internet & American Life Project

A metà del 2007, Princeton Survey Research Associates ha condotto un'importante indagine per il Pew Internet Project e l'Università dell'Illinois-Urbana-Champaign su come le persone risolvono certi tipi di problemi.1Il finanziamento per questo sondaggio è stato fornito da un'agenzia federale chiamata Institute for Museum and Library Services.2Tutti i sondaggi supportati dal governo federale vengono esaminati dall'Office of Management and Budget della Casa Bianca. Nel processo di valutazione del nostro sondaggio, i funzionari dell'OMB hanno chiesto se potevamo fare ulteriore lavoro per vedere se i non rispondenti al sondaggio iniziale erano diversi da quelli che hanno risposto. Il seguente articolo riassume i principali risultati di tale analisi aggiuntiva.

Riepilogo dei risultati

Negli ultimi due decenni, la professione di ricerca ha dovuto affrontare un numero crescente di americani che non riescono a completare le interviste. I livelli di tale mancata risposta sollevano interrogativi sulla rappresentatività e la validità delle indagini e dei dati che forniscono. L'analisi aggiuntiva prodotta su richiesta dell'Office of Management and Budget (OMB) della Casa Bianca aveva tre elementi.


In primo luogo, è stato raddoppiato lo sforzo di intervista su un sottocampione dei numeri di telefono generati tramite metodi computerizzati Random Digit Dialing (RDD). RDD è la pratica dei sondaggisti per generare risultati da un sottoinsieme casuale e rappresentativo di una popolazione. Il progetto originale del sondaggio prevedeva un massimo di 10 chiamate a ciascun numero. Abbiamo selezionato 1.500 dei numeri di telefono che non hanno prodotto interviste complete al sondaggio dopo 10 chiamate e li abbiamo chiamati almeno 20 volte. I risultati di questo sforzo extra sono stati confrontati con i risultati dello sforzo standard di 10 chiamate.



In secondo luogo, è stata condotta un'analisi dei risultati del sondaggio dal progetto di 10 chiamate in base segmentando le interviste in base alla quantità di sforzo effettivamente richiesta per ottenere risultati.


In terzo luogo, sono stati analizzati il ​​campione totale di numeri di telefono e il sottoinsieme che ha fornito interviste completate utilizzando il disegno a 10 chiamate per determinare quali tipi di comunità sono sottorappresentati e sovrarappresentati nelle interviste completate.

I risultati dell'analisi hanno trovato:


    • Raddoppiando lo sforzo di intervista a 20 chiamate ha prodotto 84 interviste aggiuntive. I risultati di queste interviste extra-sforzo variavano solo occasionalmente e marginalmente dai risultati dello studio di base.
    • Lo sforzo extra di intervista ha ottenuto risposte da coloro che di solito sono più difficili da raggiungere nei sondaggi: i giovani adulti, gli adulti che lavorano e quelli con lauree hanno rappresentato una quota maggiore delle interviste completate dallo sforzo extra.
    • L'analisi dell'indagine originale in base al livello di impegno richiesto per ottenere un'intervista ha rivelato poche differenze statisticamente significative. In altre parole, c'erano poche differenze significative tra coloro che erano stati raggiunti nella prima ondata di chiamate, rispetto a coloro che erano stati raggiunti al nono o decimo tentativo di un numero di telefono. L'analisi del campione RDD completo e delle interviste completate 'extra-sforzo' in base alle caratteristiche della comunità ha mostrato che le interviste sono più difficili da completare nelle aree urbane e più facili da completare nelle aree rurali. Sebbene non sembrino esserci variazioni significative tra le comunità in base al reddito familiare medio, le aree con popolazioni di minoranze più elevate (sia ispaniche che afroamericane) sono state meno produttive in termini di interviste, parallelamente ai risultati delle aree urbane.

    Il problema della mancata risposta al sondaggio

    Meno persone rispondono ai sondaggi oggi rispetto al passato. Questi fallimenti nel completare le interviste derivano da una varietà di fattori, ma i componenti più importanti sono l'assenza di contatto (ovvero il mancato raggiungimento di una persona nella posizione o il numero di telefono designato come parte del campione) e il rifiuto (il risultato di attività attive o passive per evitare di completare il sondaggio). Quindi, la domanda: in che modo le persone che non hanno completato il sondaggio differiscono da quelle che lo hanno fatto?

    Ci sono stati una serie di eccellenti riassunti della ricerca sulla mancata risposta e potenziali bias da non risposta nei sondaggi, l'ultimo dei quali èOpinione pubblica trimestrale, numero speciale: bias da mancata risposta nelle indagini sulle famiglie.3IlPOQIl numero speciale include un rapporto sul più recente grande esperimento per valutare l'impatto di uno sforzo supplementare per completare le interviste telefoniche.4Una caratteristica centrale di ciascuno di questi due esperimenti era confrontare un sondaggio RDD standard completato in un periodo di cinque giorni, con un sondaggio RDD utilizzando lo stesso questionario, lo stesso disegno del campione, la casa sul campo del campione ma un periodo di chiamata che si estendeva per più di sei mesi. PSRAI ha partecipato a ciascuno di questi esperimenti. Sulla base di questi modelli, questo esperimento è stato progettato con i tre elementi descritti nel sommario sopra.


    Analisi di base dello sforzo 1: l'impatto dello sforzo di intervista

    È stata calcolata una variabile di tre categorie per aiutare nell'analisi dell'impegno richiesto per completare le interviste.

      • 'Difficile da raggiungere:Numeri di telefono che erano stati composti sei o più volte nel campione originaleedove i potenziali intervistati hanno rifiutato di essere intervistati, sono stati definiti come 'difficili', il che significa che per completare un'intervista era necessario il massimo livello di effettivo sforzo di intervista.
      • 'Facile da raggiungere:I numeri di telefono che erano stati chiamati cinque o meno volte nel campione originale e dove nessun potenziale rispondente si rifiutava di partecipare, sono stati definiti 'facili', il che significa che il livello più basso di sforzo di intervista era necessario per completare un'intervista.
      • Impegno 'medio' richiesto:Tutti gli altri numeri di telefono sono stati definiti come impegno 'medio', compresi gli intervistati che sono stati chiamati seiopiù volte o si era rifiutato di partecipare a un colloquio, ma non entrambe.

      La tabella seguente mette a confronto i dati demografici campione degli intervistati in base all'impegno richiesto per completare un'intervista. Mostra che compiere maggiori sforzi si è rivelato positivo nel raggiungere gli intervistati più giovani, in particolare quelli di età compresa tra i 18 ei 29 anni. Gli intervistati più anziani (di età pari o superiore a 65 anni) definiti come facili da raggiungere erano sovrarappresentati rispetto alla loro prevalenza nella popolazione generale; i tassi di completamento sono significativamente e precipitosamente inferiori per gli intervistati di medio o difficile raggiungimento.

      Lo sforzo maggiore speso per completare le interviste con i bianchi è stato più produttivo nel ricontattare gli intervistati nel gruppo facile (che non aveva rifiutato la partecipazione o erano stati chiamati meno di sei volte in precedenza) in cui il 69% del campione era bianco. Gli intervistati nelle categorie medio o difficile avevano un po 'meno probabilità di essere bianchi. Un maggiore impegno ha portato a un maggior numero di interviste completate con afroamericani. C'era poca differenza nello sforzo nel raggiungere gli ispanici.

      figura

      Si è rivelato più difficile completare le interviste con gli intervistati nelle categorie medio e difficile che erano impiegati a tempo pieno o part-time, rispetto agli intervistati che hanno affermato di essere in pensione. Mentre il maggiore sforzo è stato ripagato in tassi di completamento più elevati tra gli occupati nelle categorie medio e difficile, gli sforzi extra sono stati meno fruttuosi nel completare i colloqui con i pensionati nelle categorie medio e difficile (30% tra facili contro una media del 22% per un aggregato di medio e duro).

      Impatti degli sforzi sulle distribuzioni demografiche a livello comunitario

      Abbiamo anche testato per vedere se un maggiore impegno ha aiutato a completare le interviste nelle comunità più difficili da raggiungere. Tipicamente, nei campioni di telefoni RDD, le famiglie nelle aree urbane densamente popolate sono sottorappresentate. Queste famiglie hanno anche maggiori probabilità di avere residenti di minoranza.

      La tabella seguente confronta i tre sottocampioni in relazione alla densità di popolazione e alla percentuale della popolazione di una comunità che è minoritaria. Non ci sono state differenze significative tra i tassi di completamento rispetto ai livelli di impegno spesi per convincere gli intervistati a partecipare. Non c'è stata alcuna variazione significativa nel raggiungere gli intervistati nelle aree ad alta densità rispetto al livello di impegno impiegato per completare le interviste.

      figura

      Impatti dello sforzo sulla distribuzione di risposte sostanziali alle domande

      Di particolare interesse per questa o qualsiasi altra ricerca è il possibile effetto che uno sforzo supplementare potrebbe avere sui risultati sostanziali. Per questa analisi, abbiamo selezionato un sottoinsieme di domande su cui indagare. Le prime domande che abbiamo analizzato sono state una serie di visite a varie istituzioni locali negli ultimi 12 mesi. C'è poca variazione tra le risposte affermative in questa serie. Nessuna delle differenze è statisticamente significativa.

      figura

      Allo stesso modo, confrontando i risultati di una serie di domande sull'uso del computer e di Internet tra gli intervistati nei sottogruppi, non abbiamo osservato differenze statisticamente significative nelle risposte tra i segmenti di sforzo.

      figura

      Infine, abbiamo esaminato le differenze in una serie di domande che ponevano una decina di situazioni o decisioni che le persone avrebbero potuto affrontare negli ultimi due anni. C'erano differenze statisticamente significative tra i tre sottogruppi solo su due dei 10 elementi nell'elenco. Gli intervistati più difficili da raggiungere avevano più probabilità di altri nelle categorie facile e medio di aver preso una decisione sulla scolarizzazione o sull'istruzione (46% contro 40% per media e 34% per facile). L'età e lo stato genitoriale sono probabilmente i fattori che influenzano questi risultati. Gli intervistati più giovani sono in genere più difficili da raggiungere, compaiono nel campione dello sforzo maggiore in proporzioni più elevate rispetto allo studio originale ed è intrinsecamente più probabile che abbiano preso decisioni di recente sulla loro istruzione.

      La maggiore probabilità tra gli intervistati di categoria facile (48%) e media (51%) di aver affrontato una grave malattia o condizione di salute è attribuibile al fatto che gli intervistati più anziani e in pensione siano più facili da contattare.

      figura

      Il passo successivo è stato quello di analizzare i risultati delle domande poste sulle fonti utilizzate dalle persone per ottenere informazioni o assistenza. Qui i risultati erano generalmente uniformi tra le categorie di sforzo. C'erano lievi differenze statisticamente significative in termini di coloro che usavano Internet per trovare informazioni o assistenza per risolvere i loro problemi. Gli intervistati medi e difficili da raggiungere erano leggermente più propensi degli intervistati facili da raggiungere a utilizzare Internet (57% per difficile / medio contro 53% per facile). Ciò è correlato al maggiore utilizzo di Internet da parte dei giovani, che a loro volta sono più difficili da raggiungere.

      figura

      Analisi dello sforzo di base II: dati demografici e rifiuti della comunità

      La seconda parte dell'analisi del potenziale bias di mancata risposta include un esame delle disposizioni del campione finale dei numeri composti dalla comunità per valutare la sovrarappresentazione o la sottorappresentazione nel campione originale. Le categorie di disposizione includono interviste completate (completate), una combinazione di rifiuti e richiamate (rifiuti / richiamate) e numeri composti dove nessun potenziale rispondente è stato contattato (non contatti). La tabella seguente confronta l'effetto della regione, del tipo di comunità e se coloro che sono stati campionati vivono in un'area statistica metropolitana (MSA)5o no, in risposta.

      figura

      Come si può vedere nella tabella sopra, le differenze di risposta si riscontrano principalmente tra le regioni geografiche rappresentate nel campione.

      È stata completata una percentuale relativa più elevata di interviste con gli intervistati del Midwest (23%), rispetto al solo 15% dell'Occidente. Ben un terzo del campione nella regione occidentale non è stato in grado di essere contattato dagli intervistatori PSRAI. Allo stesso modo, gli intervistatori non sono stati in grado di contattare un potenziale rispondente per il 33% del campione proveniente dalle aree urbane. Lo stesso campione occidentale era significativamente sbilanciato verso le comunità urbane, rappresentando il 54% del campione totale della regione.

      Reddito, densità di minoranza e risposta

      La tabella seguente confronta le categorie di disposizione con il reddito familiare medio e la densità percentuale di ispanici e afroamericani all'interno di blocchi campione utilizzati per l'intervista. C'è pochissima differenza tra le distribuzioni del reddito per i tre segmenti campione. Tra il 35% e il 40% di ciascun segmento proveniva da aree con redditi familiari inferiori e meno del 10% di ciascun gruppo proveniva dalle aree a reddito più elevato.

      figura

      Le interviste erano più facili da condurre nelle aree con meno famiglie ispaniche. Quasi due terzi di tutte le interviste completate (63%) provenivano da aree con la più bassa incidenza di famiglie ispaniche. Solo circa la metà del campione negli altri gruppi proveniva da queste aree ispaniche a bassa incidenza (53% dei rifiuti / richiami e 46% dei non contatti). La stessa tendenza non si osserva quando si confrontano le aree afroamericane ad alta e bassa densità. Completi, rifiuti e non contatti sono stati distribuiti più o meno allo stesso modo tra gli strati afroamericani.

      Analisi dello sforzo extra III: sforzo extra, chiamate extra

      Nel tentativo di analizzare il potenziale bias di mancata risposta nei risultati del sondaggio, un campione di 1.500 numeri di telefono che erano stati chiamati 10 volte ed erano ancora numeri attivi è stato inserito in un nuovo progetto e composto fino a 10 altre volte per provare a completare un colloquio. I numeri inclusi nella composizione dello sforzo extra rientrano in tre categorie.

        • Non contatti:Numeri che non avevano prodotto alcun contatto con una persona nel sondaggio iniziale. Questi numeri erano una combinazione di nessuna risposta / occupato / segreterie telefoniche per tutti i tentativi.
        • Rifiuti:Numeri che hanno prodotto un rifiuto in uno dei primi 10 tentativi ma non sono stati convertiti in un'intervista completata.6
        • Interruzioni:Numeri in cui gli intervistati avevano iniziato un'intervista ma non l'hanno terminata.

        Altre 13.742 chiamate sono state fatte al campione extra-sforzo e sono state completate altre 84 interviste. Ciò si traduce in un'intervista completata ogni 164 tentativi di chiamata.7

        È difficile completare un colloquio una volta che un numero di telefono è stato composto 10 volte senza successo. La tabella confronta il risultato dei numeri dello sforzo extra al decimo tentativo (le colonne) con il risultato dopo 20 o più chiamate (le righe).

        figura

        Come si può vedere dalla tabella, la percentuale di successo era bassa, con solo il 6% dei casi di sforzi extra che hanno prodotto interviste completate. Il tasso di conversione è stato più elevato per le interruzioni e le richiamate, con rispettivamente il 16% e il 14% convertito. I numeri che non erano contatti per i primi 10 tentativi avevano il tasso di conversione più basso (3%). Il 7% dei rifiuti è stato convertito dopo il decimo tentativo.

        Effetto dello sforzo extra sui dati demografici a livello personale8

        Un modo per valutare il potenziale bias di mancata risposta è confrontare i dati demografici degli intervistati intervistati con lo sforzo extra con quelli intervistati senza alcuno sforzo aggiuntivo. La tabella seguente confronta i dati demografici del campione di base dei due gruppi. I parametri della popolazione sono anche rappresentati nella tabella per contestualizzare i numeri.

        figura

        La distribuzione per sesso dei due campioni era quasi identica, 39% e 40% maschi. Come è comune nella maggior parte dei sondaggi telefonici, i maschi sono sottorappresentati. C'era una differenza nella distribuzione per età dei due campioni con il campione dello sforzo extra che faceva un lavoro leggermente migliore nel raggiungere gli intervistati più giovani, in particolare il gruppo di 30-49 anni. Inoltre, lo sforzo supplementare ha prodotto una percentuale più appropriata di intervistati più anziani (13%) rispetto al campione normale (25%).

        Entrambi i campioni sovrarappresentano i laureati e le persone sottorappresentate con meno istruzione. Tuttavia, nel complesso il campione regolare ha ottenuto una distribuzione dell'istruzione complessiva leggermente migliore.

        La razza / etnia dei due campioni era comparabile. Tuttavia, lo sforzo extra è stato ripagato nel raggiungere un maggior numero di intervistati ispanici rispetto al campione standard. Il campione extra-sforzo ha anche raggiunto più intervistati occupati rispetto al campione standard (66% contro 55%) e non rappresentava in modo eccessivo i pensionati come il campione standard.

        Effetto di uno sforzo supplementare su domande sostanziali selezionate

        Abbiamo studiato le differenze nelle risposte alle domande sulle fonti di informazione utilizzate dalle persone quando hanno affrontato i problemi per vedere se c'erano differenze tra i campioni iniziali e quelli extra-sforzo. I risultati per i due campioni erano molto simili, ad eccezione dell'uso di Internet per trovare informazioni o assistenza nella risoluzione dei problemi. Un numero significativamente maggiore di persone nel campione di sforzi extra ha riferito di utilizzare Internet per ottenere informazioni o assistenza sulla loro recente decisione o situazione (68% contro 55%).

        figura

        Una nota finale sul potenziale bias

        Lo sforzo extra di intervista ha avuto l'impatto previsto: quelli che sono più difficili da raggiungere in generale sono stati quelli raggiunti con uno sforzo extra. Gli adulti più giovani, gli adulti che lavorano e quelli con diplomi universitari sono più difficili da raggiungere e quindi una quota maggiore dello sforzo extra viene completata. In termini di domande sostanziali, l'impatto dello sforzo supplementare è parallelo alle differenze demografiche. Quelli raggiunti con uno sforzo supplementare erano più propensi a dire di aver affrontato un problema di istruzione (riflettendo gli adulti più giovani) e meno probabilità di aver affrontato un problema di salute o Medicare (riflettendo la quota maggiore di adulti più anziani nel campione normale). Anche quando i risultati erano significativamente diversi con il gruppo extra-sforzo, l'impatto sui risultati complessivi era piccolo. Considera che il campione di 1.500 numeri di sforzi extra ha prodotto solo 84 interviste completate. Poiché solo circa 3.000 numeri si sono qualificati per lo studio dello sforzo extra, anche se tutti fossero stati composti altre 10 volte, si sarebbero aggiunti circa 170 completamenti al campione principale di oltre 2.000. Anche se i risultati dello sforzo extra differissero sostanzialmente dal campione principale, semplicemente non sarebbero sufficienti per spostare i risultati complessivi del sondaggio.


        1 Ricerche di informazioni che risolvono i problemi. Leigh Estabrook, Evans Witt e Lee Rainie 12/30/2007 https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 12/30/2007.

        2Numero di autorizzazione OMB, 3137-0070, data di scadenza 06.30.2010.

        3 Opinione pubblica trimestrale, Numero speciale: Distorsione da mancata risposta nei sondaggi sulle famiglie, 2006, vol. 70, n. 5.

        4 Valutazione dell'impatto della crescente mancata risposta sulle stime di un'indagine telefonica nazionale RDD, Keeter e. al.POQ, 70: 759-779. Questo ha aggiornato una recensione fatta inConseguenze della riduzione della mancata risposta in un ampio sondaggio telefonico nazionale, Keeter e. al.,POQ64: 125-48.

        5Gli MSA sono delineati sulla base di un'area urbanizzata centrale, un'area contigua di densità di popolazione relativamente elevata. Le contee che contengono il nucleo dell'area urbanizzata sono conosciute come le contee centrali della MSA. Ulteriori contee circostanti (note come contee periferiche) possono essere incluse nell'MSA se queste contee hanno forti legami sociali ed economici con le contee centrali, misurate dal pendolarismo e dall'occupazione. Si noti che alcune aree all'interno di queste contee periferiche potrebbero effettivamente essere di natura rurale.

        6Rifiuti duri sono stati esclusi dallo studio sugli sforzi extra. Si tratta di numeri di telefono dove i potenziali intervistati si sono rifiutati di collaborare senza mezzi termini.

        7La differenza nella produttività delle chiamate tra i due campioni è ancora più pronunciata se si considera che molti dei numeri di telefono non funzionanti sono stati identificati al primo tentativo prima ancora che iniziasse lo sforzo extra.

        8Per tutti i confronti in questo rapporto sono stati utilizzati dati non ponderati.