Знамена за активност на мобилен телефон

От Кайли Макгини и Къртни Кенеди


Тъй като разходите за телефонни интервюта продължават да нарастват и мобилните телефони представляват все по-голям дял от извадките от проучването, изследователите от проучването проучват подходи, за да направят тези проекти по-рентабилни. Неотдавнашен напредък в телефонните проучвания с произволни цифри (RDD)1е възможността за идентифициране на неработещи номера на мобилни телефони, използвайки така наречените „знамена на активността“. Знамената за активност позволяват на изследователите да премахнат маркираните неработещи номера на мобилни телефони от извадката, преди да бъдат набрани, като по този начин помагат за ограничаване на нарастващите разходи за интервюта.

Едно от притесненията при използването на тези флагове обаче е, че те могат също така погрешно да маркират допустими номера на мобилни телефони за премахване от извадката и от своя страна да намалят процента на обхват на анкетата. Това намаляване на покритието може да доведе до пристрастия в резултатите от проучванията.

Изследователският център Pew наскоро разследва ефективността на тези знамена по случая на Центъра, двукадрово проучване на RDD сред възрастни в САЩ, проведено в началото на 2014 г. Основното откритие е, че макар да е имало измеримо намаляване на степента на покритие на населението, ефектът върху окончателното претеглените оценки бяха малки.

Голяма част от RDD номера на мобилен телефон не работи

Изследователите на телефонни проучвания са много заинтересовани да използват знамената за дейност като инструмент за борба с нарастващите разходи за събиране на данни. Един фактор, повишаващ разходите за интервюиране на мобилни телефони, е значителният дял на неработещите номера в извадката, набрана от анкетиращите. Това води до загуба на интервюиращо време. Честотата на неработещи номера в рамката на RDD за мобилни телефони в САЩ е била приблизително 38% през 2015 г., въз основа на резултати от проучвания на Pew Research Center.


Доставчиците на извадка от проучване започнаха да предлагат знамена за активност през 2012 г. като начин за повишаване на ефективността на интервюирането. Начинът на създаване на знамето варира в различните доставчици. В зависимост от доставчика, флагът отразява или минала активност на даден номер, или тест в реално време за състоянието на номера като в експлоатация или не. Изследователският център на Pew оцени и двата вида знамена за дейност, като ги добави към извадката за мобилен телефон, взета за национално проучване на RDD. В съответствие с други изследвания,2изследователите установиха, че флагът, разчитащ на теста в реално време, се представя по-добре от флага въз основа на минали разговори. Анализът в отчета се базира единствено на флаг за тест в реално време.



Флаговете за активност водят до премахване на неработещи номера на мобилни телефони, но също така и на някои работещи

Сред 124 811 номера на мобилни телефони, набрани в проучването на Pew Research Center от 2014 г., изследвано тук, приблизително шест от десет (62%) бяха маркирани като активни, почти една трета (32%) бяха означени като неактивни, а останалата част (6%) имал неизвестен статус.


Сравнението на знамената за активност с окончателните разположения, зададени от интервюиращите, разкрива, че докато знамето е точно в повечето случаи, има както фалшиви положителни резултати (числа, маркирани като активни, които всъщност са неработещи или нежилищни), така и фалшиви отрицателни стойности (маркирани номера като неактивни, които всъщност са работещи и жилищни).

Сред сигнализираните за неактивни случаи 15 процента са установени за работещи и жилищни (фалшиви отрицания). Сред декларираните активни случаи се установи, че 10% са неработещи или нежилищни (фалшиви положителни резултати).


Намален процент на покритие на двукадровите дизайни на телефонни проби

Фалшивите положителни резултати са основно безвредни, освен загубата на ефективност. Фалшивите негативи обаче имат потенциала да намалят степента на обхват на анкетата. Това увеличава риска от грешка без покритие, когато хората, които имат шанс да бъдат взети проби за анкета, се различават от тези, които нямат шанс да бъдат избрани, което води до пристрастия в оценките на анкетата.

Изследователският център на Pew изчислява, че 8% от всички работещи мобилни телефони в САЩ са погрешно маркирани като неактивни, което е с няколко точки по-високо от предишното проучване.3Взети заедно с факта, че 91% от възрастните в САЩ притежават мобилен телефон, резултатът е 7-процентно намаление на обхвата на пробите за възрастни в САЩ. За национална извадка от мобилни телефони това намалява очакваната нетна степен на покритие на възрастни в САЩ от около 91% на 83%.4

Тези нетни ставки се основават на изчисленията на Националното проучване на здравните интервюта от януари до юни 2015 г. на Центровете за контрол и превенция на заболяванията, че 3% от възрастните нямат телефон, а други 6% имат стационарен телефон, но нямат мобилен телефон. За националните проучвания на RDD на възрастни, включването на стационарна извадка значително смекчава намаляването на покритието от изключване на сигнализираните неактивни номера (от 97% покритие на 93%, вместо 83%).

Възможно е да се избегне всякакво намаляване на покритието, като се използват флагове за активност, за да се подпробват маркирани неактивни номера, вместо да се изключат изцяло. С други думи, въпреки че са маркирани като неактивни, изследователите ще наберат 50% от тези числа и след това ще претеглят резултатите си, за да компенсират по-ниската честота на вземане на проби. Намалената прецизност и увеличените разходи са две недостатъци на подсемплирането с тези флагове - поне на теория. Регулирането на тежестта, за да се коригира поддискретизирането, може да увеличи дисперсията (отразена в увеличен ефект на дизайна5) и по този начин да се намали точността на оценките на проучването. Също така поддискретизирането включва запазване на част от маркираните неактивни числа в извадката, което намалява производителността на интервюиращите спрямо подхода за изключване. Като се има предвид, че понастоящем флагът за дейност струва 7 цента на брой за добавяне, спестените нетни разходи могат да бъдат незначителни в най-добрия случай при поддискретизационния подход.

Респондентите с маркирани неактивни номера обикновено са по-млади, по-малко образовани и по-расово разнообразни

Респондентите с неактивна активност са по-млади, по-малко образовани и с по-ниски доходи от анкетираните с активна активност. Те също са по-склонни да бъдат чернокожи неиспанци и по-малко вероятно да бъдат регистрирани да гласуват или да бъдат женени, отколкото респонденти с активни сигнали.


Всички тези демографски групи се считат за трудно достъпни в проучванията, тъй като е по-малко вероятно да отговорят. Обикновено те или не се намират в получената респондентска извадка на същите нива, каквито се намират в популацията, или изследователите полагат големи усилия по отношение на времето или разходите, за да ги представят адекватно. Изключването или недостатъчното вземане на проби от маркирани неактивни случаи от извадката означава намаляване на самите респонденти, че на изследователите е най-трудно да интервюират.

Премахването на маркирани неактивни номера обикновено не засяга оценките на анкетите

Макар че изключването на маркирани неактивни мобилни телефони намалява степента на обхват на проучването и непропорционално изключва труднодостъпни демографски групи, изглежда не оказва съществен ефект върху пристрастията, поне за проучванията на общественото мнение. Възрастните с мобилни телефони, погрешно маркирани като неактивни, се различават систематично в няколко измерения от тези с маркирани активни мобилни телефони, както е описано по-горе, но те представляват твърде малка част от популацията, за да преместят по смисъл оценки. В проучването 2% от всички интервюта за примерни клетъчни телефони и 1% от комбинираните интервюта (мобилни телефони плюс стационарни) са били с възрастни, достигнати до числа, погрешно маркирани като неактивни, използвайки знамето за активност.

За да преценят дали изключването или поддискретизирането на неактивни телефони с маркирани знаци би променило оценките на проучването, изследователите създадоха експериментални тегла, симулиращи всеки сценарий. Изключването, симулиращо тежестта, точно следваше протокола за претегляне на проучването, но отхвърли 101 интервюта с маркирани неактивни мобилни телефони. Подсимплирането на теглото, симулиращо (в размер на 50%), също следва протокола за претегляне на изследването, но отхвърля произволна половина от 101 интервюта с маркирани неактивни мобилни телефони и претегля случаите в неотхвърлената половина с обратното на симулираното поддискретизиране ставка (1/50% = 2).

За анализираните 11 често срещани въпроса за проучване на мнението, претеглената оценка, симулираща изключване или подискретизиране на маркирани неактивни мобилни телефони, на практика не се различава от окончателните претеглени оценки на проучването. Средната разлика от крайната оценка на изследването е била близо нула както при симулациите на изключване, така и при поддискретизация.

Докато изчисленията на пълните извадки в основата си бяха имунизирани срещу използването на флаговете за активност, не беше ясно дали този резултат ще се отнася за подгрупи - особено за подгрупи, за които е по-вероятно мобилните телефони да бъдат погрешно маркирани като неактивни. За да тества това, Центърът повтори анализа за чернокожи и възрастни на възраст между 18 и 29 години. За оценки, базирани на чернокожи, средната разлика от пълните показатели на извадката е отбелязана леко до 0,4 и 0,2 процентни пункта, съответно в симулациите за изключване и поддискретизация.

За оценки, базирани на възрастни на възраст между 18 и 29 години, средната разлика от пълните показатели на извадката е достигнала леко до 0,2 и 0,1 процентни пункта, съответно в симулациите за изключване и поддискретизация. Общите заключения обаче не се променят. За много проучвания на общественото мнение, включително повечето работи, проведени от Pew Research Center, разликите от този мащаб (т.е. по-малко от половин процент) са твърде малки, за да предизвикат сериозни опасения относно пристрастията.

Разходи

Дизайнерите на анкети могат да изключат или да вземат под извадка маркирани неактивни случаи от своите проби и от своя страна да спестят пари, като намалят времето, което интервюиращите прекарват ръчно, набирайки непродуктивни номера. Един екип от изследователи6изчислява, че изключването на маркирани неактивни номера е намалило количеството работни часове, необходими за телефонни интервюта, с до 20 процента. Някои изследователски фирми за проучване сега рутинно изключват маркирани неактивни номера на мобилни телефони от своите проби, за да увеличат ефективността.

Въз основа на този анализ, Pew Research Center реши да се откаже от използването на знамена за активност като стандартна практика в своето проучване - не поради притеснение относно пристрастията (изследователите установиха много малко), а поради загриженост за степента на покритие на населението. Поддържането на възможно най-висок процент на покритие винаги е било приоритет в работата на Центъра. Понастоящем потенциалните увеличения на ефективността не оправдават намаляването на степента на покритие в нашите проучвания.