Напредък в извадката на телефонно проучване

Снимка от BernardaSv чрез iStockphoto

Забележка: Този доклад е актуализиран на 30 декември 2015 г., за да отрази оценките на Националното проучване на здравното интервю за януари-юли 2015 г., публикувано на 1 декември 2015 г.


Телефонните проучвания са изправени пред многобройни предизвикателства, но се появяват някои положителни развития, главно по отношение на вземането на проби. Компаниите, които предоставят телефонни проби, са разработили няколко продукта, които имат потенциал да подобрят ефективността на проучванията както в стационарния, така и в мобилния телефон и позволяват по-точно географско и демографско насочване на разговорите в рамката на мобилния телефон. С тези продукти са проведени редица тестове и относителните разходи и ползи за всеки от тях стават все по-ясни. Този доклад описва някои от тези нововъведения и представя резултатите от експериментите, проведени с всяко от тях.

Мобилните телефони са опора на съвременните телефонни анкети

Делът на интервютата през мобилен телефон продължава да се увеличаваНай-важната промяна в телефонните проучвания през последното десетилетие беше приемането на дизайни на двукадрово проучване, които включват номера на мобилни телефони. Понастоящем много национални проучвания провеждат поне толкова интервюта по мобилен телефон, колкото по стационарен телефон. Към 2015 г. типичната анкета на Pew Research Center интервюира 65% от респондентите си на мобилни телефони и 35% на стационарни телефони. Делът на мобилните телефони нараства с течение на времето, тъй като делът на населението, използващо само мобилен телефон, се е увеличил.1

Мострите за мобилни телефони достигат до по-разнообразна проба от обществеността, отколкото стационарните телефони. Но тази полза се компенсира частично от факта, че по-малко се знае предварително за пробите на мобилни телефони - по-специално там, където хората всъщност живеят. Нещо повече, проучванията на мобилни телефони са особено скъпи поради изискването на правителството номера да се набират ръчно. Следователно всяко подобрение в точността и ефективността, с които тези проби достигат до целевите респонденти, може да доведе до значителни ползи по отношение на разходите за проучване. За щастие новите продукти помагат на изследователите да използват по-ефективно пробите от мобилни телефони.

Подобряване на ефективността с флагове за активност

Един фактор, допринасящ за разходите за интервюиране на мобилни телефони, е значителният дял на номерата, взети на проби и набрани от интервюиращите, които се оказват неработещи, което води до загуба на интервюиращо време. Към 2015 г. средната честота на неработещи номера в рамката за набиране на произволни цифри (RDD) в САЩ е била 38%. За да намалят тази неефективност, доставчиците на проби от RDD са разработили услуги за идентифициране и изхвърляне на номера на мобилни телефони, които вероятно не работят, преди да бъдат набрани.

Тези услуги използват „флагове за активност“, които показват дали изваден номер на мобилен телефон в момента е активен (и вероятно работи) въз основа на скорошна активност на повикване или тест в реално време на работното състояние на номера. Флагът обикновено се предлага за 95% или повече от номера на мобилни телефони. През 2012 г. доставчиците започнаха да предлагат тези флагове, за да могат дизайнерите на анкети да премахнат предварително идентифицираните неработещи номера от своите проби и от своя страна да спестят пари, като намалят времето, което интервюиращите прекарват за набиране на непродуктивни номера. Един екип от изследователи2изчислява, че изключването на маркирани неактивни номера може да намали количеството работни часове, необходими за телефонни интервюта, с до 20%.


Знамената за скорошна активност имат както фалшиви положителни, така и фалшиви отрицателни резултатиЗа съжаление флаговете не са перфектни, съдържат както фалшиви положителни резултати (числа, които са маркирани като активни, но всъщност не работят), така и фалшиви отрицателни (числа, които са маркирани като неактивни, но в действителност работят). Фалшивите положителни резултати са основно безвредни, освен загубата на ефективност. Фалшивите негативи обаче имат потенциала да намалят степента на обхват на проучването и да увеличат риска от грешки без покритие.



Изследователският център Pew, в сътрудничество с Abt SRBI, добави два различни знамена за активност (Cell-WINS и Targus) в голямо (n = 10,013) национално изследване с двойно рамково RDD през 2014 г. Половината от интервютата в това проучване бяха проведени на мобилни телефони и половината на стационарни телефони. С флага Cell-WINS бе установено, че 15% от маркираните неактивни номера на мобилни телефони са работещи и жилищни (фалшиви отрицателни), а един от десетте маркирани активни номера са неработещи или нежилищни (фалшиви положителни). С флага на Targus и двата процента грешки бяха по-високи.


По отношение на покритието, ние изчисляваме, че 8% от всички работещи мобилни телефони в САЩ са погрешно маркирани като неактивни с Cell-WINS, което е с няколко процентни пункта по-високо от предишното проучване.1За национална извадка от мобилни телефони това намалява очакваната нетна степен на покритие на възрастни в САЩ от около 91% на 83%. Тези нетни ставки се основават на изчисленията на Националното проучване на интервютата за здравни интервюта на Центровете за контрол и превенция на заболяванията, че 3% от възрастните нямат телефон, докато други 6% имат стационарен телефон, но нямат мобилен телефон (или неизвестен статус на мобилен телефон). За националните проучвания с двойно рамково проучване на възрастни, включването на извадка от стационарен телефон значително намалява очакваното намаляване на нетното покритие от изключване на сигнализираните неактивни числа (от 97% на 93%, а не на 83%).

Макар че изключването на неактивни мобилни телефони с флаг води до нежелано намаляване на степента на покритие на проучването, изглежда не оказва съществен ефект върху пристрастията, поне за проучванията на общественото мнение. Възрастни с мобилни телефони, погрешно маркирани като неактивни, се различават систематично в няколко измерения от тези с маркирани активни мобилни телефони (напр. По-млади, по-разнообразни от расова принадлежност, по-малко образовани, с по-ниски доходи, по-малко вероятно да бъдат регистрирани за гласуване), но те представляват твърде малък част от популацията, за да премести смислено оценките. В проучването от 2014 г. 2% от интервютата за клетъчни телефони и 1% от комбинираните интервюта са с възрастни, достигнати до числа, погрешно маркирани като неактивни, използвайки флага Cell-WINS.


Изследователският център на Pew реши да се откаже от използването на знамена за скорошна активност като стандартна практика при своето допитване - не поради загриженост относно пристрастията (открихме много малко), а поради загриженост за степента на покритие на населението. Поддържането на възможно най-висок процент на покритие винаги е било приоритет в работата на Pew Research Center. Понастоящем потенциалните увеличения на ефективността не оправдават намаляването на степента на покритие в нашите проучвания. Ще продължим да преглеждаме тази политика, тъй като компромисите за разходи / грешки при работата с RDD по телефона продължават да се развиват.

Идентифициране на предплатени телефонни номера

Друга нова услуга, която тестваха изследователите на телефонно проучване, идентифицира номера на мобилни телефони, които принадлежат на предплатени или мобилни телефони „плати като отидеш“. Една от причините, поради които предплатените телефони представляват потенциален интерес за изследователите, е, че те са непропорционално използвани от демографски групи, които често са недостатъчно представени в телефонните проучвания. Неотдавнашно проучване на Pew Research Center установи, че потребителите на предплатени телефони са по-склонни от другите потребители на мобилни телефони да не са бели, с по-ниски доходи, по-малко образовани и да живеят в градски райони.3

Делът на номерата на мобилни телефони, които са маркирани като предплатени, е сравнително голям. Изследването на Pew Research Center, което използва данни от национално проучване на RDD, проведено на 18-22 февруари 2015 г., с 526 възрастни, интервюирани на стационарни телефони и 978 интервюирани на мобилни телефони, установи, че 12,4% от всички набрани номера на мобилни телефони за проучването и 15,4% от завършените интервюта за мобилни телефони бяха маркирани като предплатени.

Докато знамето може да се използва за идентифициране на традиционно труднодостъпни групи, логистичните фактори ограничават неговата полезност. Най-забележителното е, че в момента флагът за предплатен телефон не се предлага като самостоятелен продукт; човек трябва да закупи гореспоменатия флаг за скорошна активност, за да го добави. Фактът, че този флаг се добавя след извадката на пробата, намалява нейната рентабилност за целите на демографското насочване. За общите проучвания сред населението използването на знамето за преизбор на традиционно труднодостъпни групи обикновено се счита за твърде скъпо и неефективно в сравнение с други подходи. За разлика от това, за проучвания на по-тясно определени популации (напр. Семейства, получаващи обезщетения, проверявани по отношение на състоянието), предплатеният телефонен флаг може да помогне за намаляване на размера на необходимия скрининг и да се окаже разумна инвестиция.

Географското насочване с мобилни телефони се подобрява

Друго забележително развитие е, че точното географско насочване е все по-възможно с проби от мобилни телефони. Критично ограничение на пробите от мобилни телефони за изследвания под националното ниво е, че те страдат както от прекомерно, така и от недостатъчно покритие. Пробите от номера на мобилни телефони, изготвени за определен район, неизбежно включват хора, които не живеят там (прекомерно покритие). И в зависимост от района, значителен брой хора могат да живеят в района, но имат номера на мобилни телефони, съответстващи на различна географска област (недостатъчно покритие).


Можем да илюстрираме тези концепции, като използваме второто проучване на религиозния ландшафт на Pew Research Center (RLS), което е национално двукадрово RDD проучване на възрастни (n = 35 071), проведено през лятото на 2014 г.4Разглеждайки по-специално Колорадо, щат с забележителна скорошна миграция, установихме, че 18% от респондентите на мобилни телефони, които съобщават, че живеят в Колорадо, са достигнати до номер, присвоен на различен щат, и 14% от респондентите на мобилни телефони с номер в Колорадо живеещи в друга държава. Ако RLS беше проучване на държавно ниво, проведено само в Колорадо, 18% биха представлявали недостатъчно покритие, а 14% биха представлявали свръх покритие.

Най-фината географска променлива на стандартния RDD кадър за мобилен телефон е географската ширина и дължина на тарифния център, с който е свързан всеки номер на мобилен телефон. Примерните доставчици използват тези координати заедно с информация на ниво обмен, за да създадат променлива за окръга, в който потребителят на мобилен телефон е най-вероятно да живее - въз основа единствено на номера на мобилния си телефон. Предишна работа на Pew Research Center и друг изследователски екип5установи, че тази променлива на окръга на рамката не съвпада с действителния окръг на пребиваване (въз основа на самоотчитан пощенски код) за около четири от десет респонденти от мобилен телефон. Този висок процент на грешки се дължи на мобилността на мобилните телефони и на това, че е обичайно хората да се движат из страната, като запазват стария си номер на мобилен телефон.

Първото нововъведение в тази област дойде, когато доставчиците на проби от RDD започнаха да добавят пощенския код на адреса за фактуриране на мобилния телефон. Това беше стъпка напред, защото пощенският код се базира на това къде се изпраща текущата сметка, за разлика от местоположението на тарифния център, което се базира на мястото, където телефонът е бил първоначално издаден. Едно ограничение на тази услуга е, че пощенският код за фактуриране не е наличен за всички номера. Неотдавнашно проучване изчисли, че пощенският код за фактуриране е достъпен за 60% от номерата на мобилни телефони в САЩ6Второто ограничение е, че пощенските кодове за фактуриране могат да се добавят след изваждането на пробата, което означава, че изследователите трябва да плащат за проби, които в крайна сметка не използват. Въпреки тези недостатъци, фактурните пощенски кодове се оказаха ефективен инструмент за повишаване на ефективността на пробите за RDD на мобилни телефони в държавни и местни зони.

Следващата стъпка в тази еволюция на географското насочване е получаването на пълен адрес за номера на мобилни телефони, а не само на пощенски код. Първият продукт, който предлага това, е удобна рамка за вземане на проби, наречена Consumer Cell. Тази рамка, разработена от Marketing Systems Group, първоначално се компилира от базирани на кредити данни и след това се пресича със собствени източници, за да се добавят номера на мобилни телефони, когато има такива. Тази рамка може да се използва за извадка въз основа на пълен адрес или асортимент от характеристики на ниво човек и домакинство. Основното ограничение на този продукт е, че понастоящем той съдържа по-малко от половината номера на мобилни телефони в САЩ, за разлика от всеобхватното покритие, осигурено от рамката за мобилен телефон RDD. Понастоящем едно от най-обещаващите приложения на този продукт е в държавни и местни проучвания, като средство за частично отстраняване на недостатъчното покритие в придружаващите проби от мобилни телефони. Изследователите могат да използват тази база данни, за да създадат допълнителен слой за вземане на проби от хора, които живеят в района на изследване (въз основа на адреса), но имат номер на мобилен телефон извън зоната.

Друг доставчик на проби, Survey Sampling International, отбелязва напредък в добавянето на целия адрес за фактуриране към пробите на RDD за мобилен телефон. Техният нов продукт, наречен Super Cell, все още е в процес на разработка и в момента се тества. Очаква се пълният адрес за фактуриране да е достъпен за целия RDD кадър на мобилен телефон, с изключение на предплатени телефони. Това би позволило географско насочване, но също така ще предостави уникална възможност за изпращане на предварителни материали на адреси от проба за мобилен телефон.

Освен това, тази подобрена рамка за пример за мобилен телефон ще съдържа и демографска информация от големи потребителски бази данни, поддържани от компании като Experian. Тази функция може да помогне на изследователите по телефонно проучване да насочват към определени демографски групи по-ефективно, отколкото могат да използват съществуващите подходи. И накрая, този подобрен кадър също се очаква да включва скорошната активност и знамето за предплатен мобилен телефон, което позволява да се изготвят проби въз основа на тези характеристики, вместо да се добавят след факта.

Подобряване на покритието на стационарни телефони

Иновации се случват и при стационарни проби. През последните две десетилетия стандартният подход за подобряване на ефективността със стационарни RDD проби беше да се ограничи рамката за вземане на проби до блокове от 100 последователни числа '(100 блока'), където поне едно (или две или три) числа са изброени в директория. Тъй като обаче все повече и повече стационарни номера не са включени в списъка, отчасти поради разпространението на гласови телефони с интернет протокол (VoIP), изследванията показват, че подпомогнатата от списъка стационарна извадка може да има нарастваща грешка в покритието поради изключването на номера в 100 блокове без изброени в директорията номера '(нула банки').78За да се преодолеят ефектите от тази промяна, доставчиците на телефонни проби вече предлагат пробна рамка за стационарни телефони с подпомагане на присвояване, където блок от 100 е включен в рамката, ако един от нейните номера е определен за използване от телекомуникационна компания, независимо дали той е в списъка с директории.

За да тества тази нова рамка, Изследователският център на Pew използва извадка от стационарни телефони с помощта на задание за RLS за 2014 г. В извадката на стационарния телефон беше включено знаме, за да се посочи дали номерът би бил включен в рамката на извадката, подпомогната от списък. Проучването установи, че респондентите само в рамките на извадката, подпомогната от назначение, са демографски различни: те са били по-млади, по-малко образовани, с по-ниски доходи, по-малко вероятно да бъдат регистрирани за гласуване, по-вероятно да бъдат неиспански чернокожи и по-вероятно да живеят в градска зона. Те обаче съставляват само 1% от общата извадка на стационарния телефон и 1% от завършените интервюта за стационарни телефони. По този начин тяхната честота е била твърде ниска, за да повлияе значително върху оценките на проучването.

Един потенциален риск от използването на новата рамка е, че тя ще съдържа повече неработещи номера и от своя страна ще увеличи разходите за интервюта на стационарни телефони. Това обаче не беше потвърдено в нашето проучване. Средно са набрани 40,4 стационарни номера за всяко завършено интервю, като се използва по-приобщаващата рамка, подпомогната от заданието, което се сравнява със средно 40,2 номера на завършено интервю, когато се симулира стационарна рамка, подпомогната от списъка 1+. Тази разлика беше твърде малка, за да има значими последици за разходите, поне за видовете проучвания, проведени от Pew Research Center. В крайна сметка, лекото подобрение в покритието, осигурено от рамката, подпомогната от заданието, е положително развитие, въпреки че нетният ефект върху качеството на данните по отношение на използването на рамка, подпомогната от списъка 1+, е едва доловим.

Кумулативните ефекти може да не са пренебрежими

Взети заедно, тези подобрения са обещаващи, тъй като могат да помогнат за компенсиране на някои от нарастващите разходи, свързани с телефонните проучвания на RDD. Трябва да се отбележи обаче, че няколко от тези подходи могат систематично да изключват определени сегменти от обществеността, в зависимост от начина им на прилагане. По-специално, с изключение на маркираните неактивни мобилни телефони и използването на по-малко изчерпателна стационарна рамка, подпомогната от списъка, са склонни да намалят леко представянето на по-млади, не-бели, по-ниско образовани и нерегистрирани възрастни.

Въпреки че всяка стратегия за вземане на проби сама по себе си може да засегне само малка част от обществеността и да има незначителен ефект върху пристрастията, изследователите трябва да внимават за възможността кумулативният ефект върху качеството на данните от прилагането на няколко или всички тези подходи да не е незначителен. Строгите оценки на тези компромиси между разходи и грешки вероятно ще трябва да продължат, за да могат изследователите да намерят подходящ баланс при проектирането на своите проучвания.