• Основен
  • Новини
  • Какво означава нашият преход към онлайн анкетиране за десетилетия тенденции в телефонните проучвания

Какво означава нашият преход към онлайн анкетиране за десетилетия тенденции в телефонните проучвания

От 80-те години на миналия век до сравнително наскоро повечето национални социологически организации проведоха проучвания по телефона, разчитайки на анкетьори на живо, за да се обадят на произволно избрани американци в цялата страна. След това дойде интернет.


Изследователите от проучването отнеха известно време, за да се адаптират към идеята за онлайн проучвания, но бърз поглед върху обществените анкети по проблем като одобрението на президента разкрива пейзаж, в който сега доминират онлайн анкетите, а не телефонните. Сега самият изследователски център Pew провежда по-голямата част от анкетите си в САЩ онлайн, главно чрез своя панел за американски тенденции.

Фактът, че много проучвания на общественото мнение днес се провеждат онлайн, не е тайна за запалените наблюдатели на анкети. Какво енеДобре известно е обаче какво означава тази миграция към онлайн анкетиране за многото данни на страната, документиращи американското обществено мнение през последните четири десетилетия, по въпроси, вариращи от аборти и имиграция до расови отношения и военни интервенции. По-конкретно, може ли анкетьорите просто да добавят нови онлайн резултати към дълга верига от резултати от телефонно проучване, или това е ситуация на ябълки до портокали, която изисква от нас по същество да изхвърлим историческите данни и да започнем наново?


Основният въпрос е въпросът за съпоставимостта, тъй като изследванията ни казват, че хората понякога реагират на онлайн и телефонните анкети по различен начин. Когато действителен човек, под формата на интервюиращ, участва в задаването на въпроси, хората са по-склонни да отговорят по начин, който ги рисува в положителна светлина или избягва неудобно взаимодействие. Тази социална динамика се премахва, когато хората правят анкети на своя лаптоп или смартфон, без интервюиращ. Разликата в оценките, произтичаща от метода на интервюиране, е известна като режим ефект.

Тогава ключовият въпрос става: Ако дадена нова онлайн анкета се различава забележимо от по-стара телефонна оценка, сигнализира ли това за реална промяна в общественото мнение или разликата е просто артефакт от различния режим, в който е проведено допитването?

Промяната на режимите може да наруши тенденциятаПомислете за реален пример. Между 2009 и 2014 г. телефонните проучвания на Центъра установиха, че делът на американците, които твърдят, че има много дискриминация срещу гейовете и лесбийките, обикновено се движи малко под две трети. След това, през 2014 г., Центърът постави същия въпрос онлайн и установи, че само 48% от американците изразяват същото мнение.



Сигнализира ли това за голям спад във възприеманата дискриминация срещу гейовете и лесбийките? Не, това отразява ефекта на режим. Изследователите знаят това, тъй като онлайн анкетата е част от експеримент, в който произволна половина от възрастните се свързват, за да вземат анкетата онлайн, а другата половина са интервюирани по телефона. Телефонната оценка от експеримента (62%) е подобна на предишната оценка на телефонните анкети. Експериментът разкри, че възрастните са значително по-склонни да кажат, че гейовете и лесбийките са изправени пред много дискриминация, когато разговарят с интервюиращ, отколкото когато записват отговорите си насаме онлайн. Това поражда няколко важни допълнителни въпроса, на които ще отговорим по-долу.


Всички податливи въпроси ли са податливи на ефекти от режима?

Не. Изследванията установяват, че методът на интервюиране засяга някои въпроси, но не и други. Например в експеримент с рандомизиран режим на изследователския център Pew от 2017 г. мненията за закона за здравеопазването от 2010 г., приет от Барак Обама и Конгрес, не показват разлика в режима. Законът получи оценка за одобрение от 48% както онлайн, така и по телефона. Одобрението на президента на Доналд Тръмп също беше подобно онлайн (44%) и по телефона (42%). Други въпроси в това проучване обаче показват разлики в режима. На въпрос за личното им финансово състояние, 20% от анкетираните онлайн признаха, че са в лошо финансово състояние, в сравнение с едва 14% от анкетираните по телефона.

Има голяма част от изследванията по тази тема и това показва, че ефектите от режима най-вероятно се появяват при няколко сценария. Ако въпросът задава чувствителна или потенциално смущаваща тема, самоуправляващите се анкети, направени онлайн, обикновено дават данни, по-малко изкривени към отговорите, които респондентите виждат като социално желани, отколкото анкетите, администрирани от интервюиращите. Ако въпросът включва скала за оценка, анкетираните по телефонните анкети са по-склонни от респондентите в онлайн анкети да изберат изключително положителни отговори, но не е по-вероятно да дадат крайно отрицателни отговори.


Онлайн анкетите, в сравнение с анкетите, администрирани от интервюиращите, също са склонни да имат по-ниски нива на неотговор (напр. По-малко отговори „не знам“), когато не се предлага изрична опция „не знам“ или „няма мнение“. Повечето проучвания на Pew Research Center не предлагат изрични опции „не знам“. Респондентите в телефонни анкети са по-склонни да предложат еквивалент (като казват на интервюиращия, че не знаят отговора или не могат да отговорят на въпроса), отколкото респондентите в онлайн анкети (като пропуснат въпроса).

Как Pew Research Center се занимава с тази разлика в режима, когато докладва за тенденциите?

Подходът на Центъра отразява факта, че някои въпроси са изложени на висок риск от ефекти (например „Как бихте оценили собственото си финансово състояние?“), Докато други не (напр. „Одобрявате ли или не одобрявате закона за здравеопазването приет от Барак Обама и Конгреса през 2010 г. “?). Нашата политика не е универсална за всички. Вместо това използва наличната информация, за да се опита да определи кое от следните три широки лечения е най-подходящо:

Прекъснете тенденцията.

В някои случаи има убедителни доказателства, че онлайн анкетата измерва отношението с по-малко грешки (напр. По-малко пристрастия към социалната желателност), отколкото телефонната анкета. Когато това се случи, повторното представяне на историческите цифри на тенденциите може би ще донесе повече вреда, отколкото полза, което ще доведе до объркване или погрешно докладване. „Нарушаването на тенденцията“ може да разбие сърцето на изследователя, но в тези случаи Центърът ще изпусне данните от предходните години и ще представи само новите онлайн оценки.

Убедително доказателство, че дадена тенденция е прекъсната, идва под формата на експериментални данни, като експерименти с рандомизиран режим на Центъра за 2014 и 2017 г. или признаване, че въпросът за тенденция има характеристики, показани в научната литература, за да се увеличи вероятността от ефект на режим.


Отчетете новата онлайн оценка като част от съществуваща тенденция към телефон, но насочете вниманието на читателите към промяната в режима.

В други случаи наличната информация предполага, че линията на тенденцията е все още валидна и информативна в контекста на новата оценка. И все пак, читателят трябва да бъде предупреден, че анкетата е преминала от телефонна анкета към онлайн анкета.

Пример за тенденция с пунктирана, обозначена линияПример за това може да се намери в доклад на Центъра за отношението към новинарските медии за 2017 г. Изследователите актуализираха близо 30-годишна телефонна тенденция с нови оценки от онлайн проучване. В графиката те използваха пунктирана и обозначена линия, както и бележка под линия, за да сигнализират за промяна на режима. Освен това езикът в основния текст на доклада предупреди читателя за промяната: „Трябва да се отбележи, че преди 2016 г. въпросът е задаван по телефона, а не чрез мрежата, което може да предизвика малко по-различни модели на реакция“. Този подход, който набляга на ясната сигнализация за промяна на режима, е може би най-подходящ през няколко години, непосредствено след промяна на режима, когато моделът на онлайн оценките все още се появява. През следващите няколко години Центърът ще продължи да се сблъсква с тези проблеми с тенденциите и през това време този среден подход за ясно извикване на промяна на режима ще бъде стандартният стил на отчитане.

Отчетете новата онлайн оценка като част от съществуваща тенденция към телефон без съществен акцент.

По пътя, след като няколко години онлайн измервания са установени за тенденция, може да е подходящ по-фин стил на отчитане. Например, ако дългата дъга на тенденция по даден въпрос потвърждава, че превключването на режим е имало малък ефект, ако не е имало никакъв ефект, тогава може да е разумно да се премести езикът за промяната на режима от тялото на диаграмите и да се докладва текст в бележки под линия. Ако обаче данните предполагат, че режимът е имал значим ефект върху оценките, тогава би било препоръчително запазването на ясната сигнализация в диаграми и текст на доклада.

Методът на интервюиране ли е единственият източник на разлики между по-старите телефонни оценки и по-новите онлайн оценки?

Не е задължително. Ако по-стара оценка на телефона се различава от по-нова онлайн оценка, използвайки точно същата формулировка на въпроса, поне четири фактора могат да допринесат за разликата. Това са:

Реална промяна във времето

В идеалния случай разликата се дължи на реалната промяна в популацията, а не на артефакт за това как е проведено допитването.

Разлики в измерванията

Както беше обсъдено по-горе, динамиката на интервюиране е различна при онлайн анкетиране спрямо телефонно анкетиране на живо. Липсата на интервюиращ в онлайн анкети има тенденция да предизвика повече отчитане на чувствителни, провокативни или крайно негативни нагласи и води до по-ниски нива на неотговаряне на елементите, освен ако опцията „не знам“ или „не съм сигурен“ е изрично предлага се. Режимът също влияе върху това как хората когнитивно обработват избора на отговори. Когато правите уеб проучване, естествено е хората да предпочитат леко първия избор, който прочетат („ефект на първенство“), ако нямат силно мнение. По телефона е естествено хората да предпочитат леко последния избор, който интервюиращият им е прочел („последен ефект“), тъй като тази опция е най-лесна за запомняне.

Телефонните и онлайн анкетите също се различаватколко честохората се интервюират. Телефонните допитвания обикновено са еднократни проучвания, при които се интервюира нова, свежа извадка от обществеността всеки път, когато се проведе анкета. Панелите за онлайн проучване, напротив, набират извадка от обществеността, за да правят анкети постоянно (например веднъж месечно). Когато една и съща група хора са интервюирани няколко пъти, възможно е многократните измервания да имат ефект (напр. Като се направи темата на изследването по-видима за участниците в дискусията). Въпреки че подобно „обуславяне“ на анкетираните не изглежда основна заплаха в панелите, които задават много различни теми - като Американския панел за тенденции - изследователите трябва да останат бдителни за този риск.

Разлики в тежестта

Протоколът за претегляне на телефонните и онлайн анкетите на Pew Research Center е сходен, но има някои разлики. Както телефонните, така и онлайн анкетите на Центъра използват процес, наречен рейкинг, за да се гарантира, че претеглените данни са национално представителни по отношение на основните демографски характеристики като възраст, раса, испанско минало, етническа принадлежност, регион, пол и образование. Анкетите на Центъра, проведени онлайн с American Trends Panel, обаче включват някои допълнителни корекции. Например, онлайн анкетите също се приравняват към целите на населението за доброволчество и достъп до интернет, за да се обърне внимание на факта, че възрастните, които са по-малко ангажирани с гражданска общност или които не използват интернет, са склонни да бъдат недостатъчно представени в онлайн панелите.

Разлики в състава на пробата

Докато телефонните и онлайн анкетите на Pew Research Center се набират офлайн, за да бъдат национално представителни, като се използват случайни извадки, профилът на интервюираните по всеки метод може да се различава до известна степен. Телефонните анкети на Центъра черпят произволни проби от номера на мобилни телефони и стационарни телефони, използвайки процес, наречен произволно набиране на цифри. За сметка на това онлайн панелът за американски тенденции на Центъра вече се набира с помощта на произволни извадки от пощенски адреси на жилища. В допълнение, някои подгрупи са по-склонни да участват в проучвания по телефона в сравнение с онлайн. Например извадките от телефонни анкети често се изкривяват, докато онлайн пробите понякога изкривяват по-младите. Споменатите по-горе процедури за претегляне се използват, за да се опитат да се справят с такива модели, но някои разлики, дължащи се на профила на отговорилите на анкетата, могат да продължат.

Когато възникне разлика в режима, те могат да отразяват комбинация от няколко от тези фактори.

Може ли някой да отговори на анкетите на Pew Research Center сега, когато те се провеждат онлайн?

Не. Докато някои онлайн анкети позволяват на всеки да участва, Центърът продължава да използва научни, базирани на вероятности извадки. Контролираното, научно вземане на проби гарантира, че хората не могат да участват, освен ако не са поканени да го направят. Набирането на Център за неговите анкети се извършва офлайн (т.е. не се използва интернет) по пощата по две основни причини. Първо, значителна част от обществеността няма достъп до интернет. Второ, не съществува изчерпателен списък с имейл адреси за всички възрастни, коитонаправетеимат достъп до интернет. Това означава, че понастоящем няма начин да се избират онлайн проби по начин, който да обхваща цялото население. Набирането офлайн означава, че достъпът до интернет - под формата на таблет и план за данни - може да бъде предоставен на тези, които все още не разполагат с него, като гарантира, че всички американци имат някакъв шанс да бъдат интервюирани в тази нова ера на онлайн анкетиране.

Преминавала ли е преди това основната промяна в индустрията за анкетиране?

Да. През 70-те и 80-те години много национални анкетьори преминаха от лично интервюиране (в което интервюиращите чукаха на врати в цялата страна) към интервюта на живо по телефона. Много от същите въпроси и притеснения, с които се сблъсква индустрията, съществуват по това време.

Предава ли преходът на Центъра, че има проблем с телефонното допитване?

Нарастващото използване на Центъра от онлайн панела за американски тенденции и отдалечаването му от телефонните анкети е отчасти реакция на предизвикателствата, свързани с телефонното анкетиране. Въпреки това телефонните сондажи все още могат да се представят добре, както е показано на междинните избори през 2018 г. Предизборните допитвания през 2018 г. - включително тези, проведени по телефона с анкетьори на живо - бяха средно по-точни от междинните допитвания от 1998 г. насам.

Изцяло ли е завършил изследователският център Pew да прави анкети по телефона в САЩ?

Не. Докато по-голямата част от вътрешното анкетиране на Центъра вече се извършва онлайн, някои телефонни анкети продължават. В някои случаи е възможно да се проведе телефонно допитване едновременно с онлайн допитване, за да се получи известна информация за размера на ефекта на режима в една дългогодишна тенденция. Телефонът също остава добър вариант за проучвания на определени специални популации.

Тъй като изследванията на проучванията си проправят път през втората голяма смяна на режима за сравнително краткото му съществуване, Pew Research Center се ангажира да експериментира, оценява и отчита резултатите от онлайн проучванията.

Свързани:

Основен доклад: Отглеждане и подобряване на Панела за американски тенденции на Pew Research Center

Въпроси и отговори: Защо и как разширихме панела на американските тенденции, за да играем по-голяма роля в нашите проучвания в САЩ

Процентът на отговорите в телефонните проучвания отново е намалял