• Основен
  • Новини
  • 5 ключови неща, които трябва да знаете за допуснатата грешка в предизборните проучвания

5 ключови неща, които трябва да знаете за допуснатата грешка в предизборните проучвания

На президентските избори дори и най-малките промени в резултатите от анкетите с конни надбягвания изглеждат наситени с дълбок смисъл. Но те често са надценени. Анкетиращите разкриват допустима грешка, за да могат потребителите да разберат колко прецизно могат да очакват разумно. Но хладнокръвното отчитане на анкети е по-трудно, отколкото изглежда, тъй като някои от по-известните статистически правила, които интелигентен потребител би могъл да помисли, са по-нюансирани, отколкото изглеждат. С други думи, както често се случва в живота, това е сложно.


Ето няколко съвета за това как да мислите за допуснатата грешка в анкетата и какво означава това за различните видове неща, които често се опитваме да научим от данните от проучването.

1Каква е грешката при всички случаи?

Тъй като проучванията говорят само с извадка от популацията, знаем, че резултатът вероятно няма да съвпада точно с „истинския“ резултат, който бихме получили, ако интервюирахме всички от популацията. Границите на грешка в извадката описват колко близо можем разумно да очакваме, че резултатът от изследването ще падне спрямо истинската стойност на популацията. Допустима грешка от плюс или минус 3 процентни пункта при 95% ниво на доверие означава, че ако направим същото проучване 100 пъти, бихме очаквали резултатът да бъде в рамките на 3 процентни пункта от истинската стойност на популацията 95 от тези времена.

Допустимата грешка, която анкетиращите обикновено отчитат, описва количеството променливост, което можем да очакваме около нивото на подкрепа на отделния кандидат. Например в придружаващата графика хипотетична анкета А показва кандидата на републиканците с 48% подкрепа. Допустима грешка плюс или минус 3 процентни пункта би означавала, че 48% републиканска подкрепа е в рамките на това, което бихме очаквали, ако истинското ниво на подкрепа в пълната популация се намира някъде 3 точки в двете посоки - т.е. между 45% и 51%.


2Как да разбера дали преднината на кандидата е „извън допустимата грешка“?



В новинарските доклади за анкетиране често се казва, че преднината на кандидата е „извън границата на грешките“, за да се посочи, че преднината на кандидата е по-голяма от тази, която бихме очаквали от грешка в извадката, или че състезанието е „статистическа връзка“, ако е твърде близо да се обади. Не е достатъчно един кандидат да изпревари с повече от допустимата грешка, отчетена за отделните кандидати (т.е. в нашия пример с повече от 3 точки). За да определим дали състезанието е твърде близо до извикване, трябва да изчислим нов марж на грешка заразликамежду нивата на подкрепа на двамата кандидати. Размерът на този марж обикновено е около два пъти по-голям от маржа за отделния кандидат. По-голямата граница на грешка се дължи на факта, че ако републиканският дял е твърде висок случайно, следва, че демократичният дял вероятно е твърде нисък и обратно.


За анкета А допустимата грешка от 3 процента за всеки кандидат поотделно се превръща в приблизително 6-точкова грешка за разликата между двете. Това означава, че въпреки че сме наблюдавали преднина от 5 точки за републиканеца, можем разумно да очакваме истинската им позиция спрямо демократа да е някъде между -1 и +11 процентни пункта. Републиканецът ще трябва да изпревари с 6 процентни пункта или повече, за да сме уверени, че преднината не е просто резултат от грешка в извадката.

В анкета Б, която също има грешка от 3 точки за всеки отделен кандидат и разлика от 6 точки за разликата, републиканската преднина от 8 процентни пункта е достатъчно голяма, че е малко вероятно да се дължи само на грешка в извадката.


3Как да разбера дали е имало промяна в състезанието?

С новите номера на анкети, които излизат ежедневно, често се срещат съобщения в медиите, които описват преднината на кандидата като нарастваща или намаляваща от анкета до анкета. Но как можем да различим реалната промяна от статистическия шум? Както при разликата между двама кандидати, грешката при разликата между две анкети може да е по-голяма, отколкото си мислите.

В примера в нашата графика републиканският кандидат преминава от преднина от 5 процентни пункта в анкета А до преднина от 8 точки в анкета Б, за нетна промяна от +3 процентни пункта. Но като се вземе предвид вариабилността на извадката, допустимата грешка за тази 3-точкова промяна е плюс или минус 8 процентни пункта. С други думи, промяната, която наблюдавахме, е статистически съвместима с всичко от 5-точковия спад до 11-точковото увеличение на позицията на републиканеца спрямо демократа. Това не означава, че такива големи промени вероятно са действително настъпили (или че не е настъпила промяна), а по-скоро, че не можем надеждно да разграничим реалната промяна от шума въз основа само на тези две проучвания. Нивото на наблюдаваната промяна от една анкета към следващата би трябвало да бъде доста голямо, за да можем да кажем с увереност, че промяната в маржа на конни надбягвания се дължи на повече от променливостта на извадката.

Дори когато забележим големи люлки в подкрепа от една до друга анкета, човек трябва да внимава да ги приема по номинал. От 1 януари 2012 г. до изборите през ноември Huffpost Pollster изброи 590 национални анкети за президентския конкурс между Барак Обама и Мит Ромни. Използвайки традиционния праг от 95%, бихме очаквали 5% (около 30) от тези анкети да дадат оценки, които се различават от истинската стойност на популацията с повече от допустимата грешка. Някои от тях може да са доста далеч от истината.


И все пак често тези извънредни анкети в крайна сметка получават голямо внимание, тъй като предполагат голяма промяна в състоянието на състезанието и разказват драматична история. Когато се сблъскате с особено изненадващ или драматичен резултат, винаги е най-добре да проявите търпение и да видите дали той се възпроизвежда в следващите проучвания. Резултат, който е в противоречие с други анкети, не е непременно грешен, но реални промени в състоянието на дадена кампания трябва да се проявят и в други проучвания.

Степента на прецизност, която може да се очаква за сравнения между две анкети, ще зависи от детайлите на конкретните анкети, които се сравняват. На практика почти всички две анкети сами по себе си ще се окажат недостатъчни за надеждно измерване на промяна в конната надпревара. Но поредица от анкети, показващи постепенно увеличаване на преднината на кандидата, често може да се приеме като доказателство за реална тенденция, дори ако разликата между отделните проучвания е в границите на грешка. Като общо правило, разглеждането на тенденциите и моделите, които се появяват в редица различни анкети, може да осигури по-голяма увереност, отколкото разглеждането само на една или две.

4Как се допуска степента на грешка за подгрупите?

Като цяло докладваната граница на грешка за анкета се прилага за оценки, които използват цялата извадка (напр. Всички пълнолетни, всички регистрирани избиратели или всички вероятни избиратели, които са били анкетирани). Но анкетите често съобщават за подгрупи, като млади хора, бели мъже или испанци. Тъй като оценките на проучванията за подгрупи от населението имат по-малко случаи, техните допуски за грешка са по-големи - в някои случаимногопо-големи.

Обикновена случайна извадка от 1067 случая има граница на грешка от плюс или минус 3 процентни пункта за оценки на общата подкрепа за отделните кандидати. За подгрупа като испанците, които съставляват около 15% от възрастното население на САЩ, размерът на извадката би бил около 160 случая, ако бъде представен пропорционално. Това би означавало допустима грешка от плюс или минус 8 процентни пункта за отделните кандидати и грешка от плюс или минус 16 процентни пункта за разликата между двама кандидати. На практика някои демографски подгрупи като малцинствата и младите хора са по-малко склонни да отговорят на проучвания и трябва да бъдат „претеглени“, което означава, че оценките за тези групи често разчитат на още по-малки размери на извадката. Някои анкети, включително Pew Research Center, съобщават за грешки в подгрупите или ги предоставят при поискване.

5Какво определя размера на грешката в оценките на проучването?

Много наблюдатели на анкети знаят, че грешката при дадено проучване се определя главно от размера на извадката. Но има и други фактори, които също влияят на променливостта на оценките. За анкетите на общественото мнение особено важен е приносътпретегляне. Без корекции, анкетите са склонни да представят по-лесно хората, които са по-лесни за достигане, и да представят по-слабо тези хора, които са по-трудни за интервюиране. За да направят резултатите си по-представителни анкетьори претеглят данните си така, че да съвпадат с населението - обикновено въз основа на редица демографски мерки. Претеглянето е решаваща стъпка за избягване на пристрастни резултати, но също така води до увеличаване на допустимата грешка. Статистиците наричат ​​това увеличение на променливостта „дизайнерски ефект.

Важно е анкетьорите да вземат предвид дизайнерския ефект, когато съобщават за грешка при проучване. Ако не го направят, те претендират за по-голяма точност, отколкото всъщност изисква проучването им. Членовете на Инициативата за прозрачност на Американската асоциация за изследване на общественото мнение (включително Pew Research Center) са длъжни да разкрият как е извършено тяхното претегляне и дали отчетената граница на грешки отчита ефекта от дизайна.

Важно е също така да се има предвид, че променливостта на извадката, описана чрез допустимата грешка, е само един от многото възможни източници на грешки, които могат да повлияят на оценките на проучването. Различните проучвателни фирми използват различни процедури или формулировки на въпроси, които могат да повлияят на резултатите. Някои видове респонденти могат да бъдат по-малко склонни да вземат проби или да отговорят на някои проучвания (например хората без достъп до интернет не могат да вземат онлайн анкети). Респондентите може да не са откровени за противоречиви мнения, когато говорят с интервюиращ по телефона, или да отговарят по начини, които се представят в благоприятна светлина (като например да твърдят, че са регистрирани да гласуват, когато не са).

По-специално за проучванията на изборите, оценките, които разглеждат „вероятните избиратели“, разчитат на модели и прогнози за това кой ще се окаже да гласува, което също може да доведе до грешка. За разлика от пробната грешка, която може да бъде изчислена, тези други видове грешки са много по-трудни за количествено определяне и рядко се отчитат. Но те все пак присъстват и потребителите на анкети трябва да ги имат предвид, когато тълкуват резултатите от проучването.