סקר וכזב: מה שווים הסקרים אם התוצאות שגויות?
ניצחון נתניהו בישראל, משאל הברקזיט בבריטניה, דחיית הסכם השלום בקולומביה, ועכשיו הבחירות לנשיאות ארה"ב. בכל המקרים הללו כשלו מכוני הסקרים בחיזוי תוצאות האמת. האם הם איבדו את הרלוונטיות שלהם, ועידן הרשת מספק כלי מדידה מתוחכמים יותר?
רבות עוד ידובר בתקשורת ומחוצה לה על ניצחונו של דונלד טראמפ, איל הנדל"ן ונסיך תוכניות הריאליטי, במרוץ לבית הלבן, ונפילתה של הילרי קלינטון, המועמדת הטבעית לניצחון. רבים תוהים כעת כיצד ייתכן שרוב מכוני הססטטיסטיקה ופרשניהם לא הצליחו לחזות את המהפך, והאם נכון לומר שהסקרים פשוט איבדו את הרלוונטיות שלהם ככלי לחיזוי פוליטי.ובכן, מתברר שגם על כך כבר יש סקר חדש, טרי מהניילונים: מכון הסקרים YouGov בדק השבוע ומצא כי 69% מהמצביעים האמריקאים אינם סבורים שהחדשות שהם מקבלים אמינות או משקפות את האמת, ו-78% סבורים כי הכיסוי של המרוץ לנשיאות היה מוטה. נשאר רק לתהות אם גם לסקר הזה אפשר בכלל להאמין.

"אין ספק שיש כאן דינוזאור שלא יודע שהוא בדרך להיכחד, או אם לדייק - בדרך לשינוי משמעותי", סבור גד איבגי, מנכ"ל חברת 'פלאנוויז' העוסקת בתחום הדיגיטל. "אחת מתופעות הלוואי של העידן הדיגיטלי היא שהכול קורה יותר מהר. אנשים נחשפים למידע בקצב הרבה יותר אינטנסיבי מאשר במערכות הבחירות של שנות השישים, והיכולת שלהם לגבש דעה ולשנות אותה היא הרבה יותר דינמית.
"כשמתבוננים בסקרים אפשר לראות את התנודות, וכשמשווים למה שקורה בעולם האמיתי אפשר לגלות מה משפיע. למשל, פתיחת החקירה מחדש בפרשיית המיילים של קלינטון השתקפה אוטומטית בגרף החיפושים בגוגל. יש לנו עסק עם בוחר הרבה יותר תזזיתי".
הסיבה השנייה שמונה איבגי היא יותר תרבותית ממדעית. "הסקרים שימשו חלק מתיבת התהודה התקשורתית, ונעשה בהם שימוש ככלי פוליטי. אתר 'האפינגטון פוסט', למשל פרסם מאמר שבו הוצגו כלל הסקרים והגרפים המשכנעים, ובסופו הוא העניק לקלינטון סיכוי של 97.5% לניצחון. בתחתית הכתבה הופיעה ההערה שהוצמדה באתר לכל מאמר שטראמפ מוזכר בו, שציינה כמה הוא גזען, אלים ושונא זרים ונשים. מי שמנסה להציג תפיסה שמתעלמת משפע המידע ומקורות חלופיים ומגבה את דעתו בסקרים, יוצר סביבת-נגד שהופכת את הסקרים לחלק מהממסד שיש לצאת מולו".
ארה"ב איננה המדינה הראשונה שבה תוצאות הבחירות הפריכו את רוב תחזיות הסקרים. קדמו לכך הסקרים הכושלים במשאל ה'ברקזיט' בבריטניה, דחיית הסכם השלום בין ממשלת קולומביה למורדים, והבחירות האחרונות בישראל.
"בואי לא נקרא לזה כישלון, ודאי לא בארץ", מסייגת ד"ר מינה צמח ממכון 'מדגם', מהסטטיסטיקאיות המפורסמות בישראל, בעיקר בזכות הופעותיה בערוץ 2. "רוב הסקרים בארה"ב דיברו על מה שמכונה Popular votes, מספר הקולות, ושם באמת הילרי ניצחה. הסוקרים לא אמרו מי יהיה נשיא, רק הלכו מדינה מדינה ובדקו איפה קלינטון מובילה ואיפה טראמפ והיכן מתנדנדים. אף אחד לא העז להכריע. מה כן קרה? הפרשנים והרשתות לקחו את הנתונים והביעו דעה על סמך זה. ברור שהיו שם כשלים, אבל התקשורת העצימה את התחושה".

ועדיין, איך יכול להיות שלא ראו את ההתחזקות של טראמפ במדינות המתנדנדות?
"יש שם בעיה עם המדגמים, כי שם מצביע רק מי שנרשם קודם. אצלנו כשעושים מדגמים יש סטטיסטיקה על התפלגות האוכלוסייה, כמה גברים יצאו להצביע, כמה נשים, כמה עולים וכמה ערבים. שם קשה לחזות את פיזור האוכלוסייה שתצביע כי יש להם נתונים על האוכלוסייה כולה, ואין להם נתונים מדויקים על הנרשמים להצבעה, וכשאין סטטיסטיקה מוקדמת זה מקשה על בניית המדגם".
ואיך אפשר להסביר את מה שקרה בישראל, שבה האוכלוסייה קטנה בהרבה?
"בארץ קרה משהו אחר לגמרי. הסקר הפריך את עצמו כי הוא פורסם ביום שישי לפני הבחירות (בשל האיסור לפרסם סקרי בחירות 24 שעות לפני מועד פתיחת הקלפיות), ואחריו התקיימה העצרת של הליכוד, והודעת ראש הממשלה על הערבים שנוהרים לקלפיות.
"יום לפני הבחירות התקשר אליי יועץ אסטרטגי דתי ואמר: 'תדעי לך שבגלל הסקר שפרסמתם התוצאות יהיו שונות. עמדתי בבית הכנסת וניגשו אליי אנשים דתיים ושאלו אם הסקרים אמינים. אחרי שאמרתי שכן, הודיעו שיצביעו לליכוד ולא לבית היהודי'. זה מה שקרה. אם תסתכלי על גוש הימין, כל השינויים היו בתוך המחנה. תוסיפי לזה את מפלגת 'יחד' שלא עברה את אחוז החסימה, ותראי שכל אלו השפיעו לטובת הליכוד".

אבל גם בערב המדגם הענקתם לנתניהו יתרון של מנדט אחד בלבד.
"נכון, ותדעי שהאמריקאים לא מפרסמים מדגמים עם סגירת הקלפיות. הם מקבלים את נתוני המדגם ומאמתים אותם עם קולות האמת ורק אז מפרסמים. אנחנו כבר בשעה שמונה הענקנו יתרון של מנדט לנתניהו, ולקראת סוף הערב הגענו לתחזית הנכונה, רק שזה היה בשעה מאוד מאוחרת וכבר לא היו צופים. יש לנו מכתב מוועדת הבחירות שלקחו את 60 הקלפיות שהיו במדגם שלנו ושתלו שם את תוצאות האמת. להגיד לך משהו? כמעט לא היה צריך לעשות בחירות. הכול היה חופף, מקסימום טעות של מנדט באיזו מפלגה".
הסטטיסטיקאי האמריקאי נייט סילבר, שבבחירות 2012 חזה במדויק את ניצחונו של אובמה, התקשה לעקוב הפעם אחרי השינויים התכופים במפת הסקרים. ערב הבחירות העריך סילבר שסיכוייה של קלינטון לזכות ברוב הקולות גבוהים יותר, אך סייג בכך שקיים סיכוי של 10% שקלינטון תזכה ברוב הקולות וטראמפ יזכה בבחירות עקב שיטת האלקטורים. בשורה התחתונה הוא העריך את הסיכויים ב-29:71 אחוזים לטובת קלינטון.
"אנשים פשוט צריכים להכיר בכך שהסקרים אינם מושלמים, אך עדיין שימושיים", מבהיר הארי אנטן, אנליסט וכתב פוליטי בכיר באתר '538' של סילבר. "הטעות בספירת הקולות הארצית עמדה רק על 2%. אמנם היא התפרסה על הרבה מדינות, אך עדיין עמדה בטווח הנורמלי של טעויות דגימה מבחינה היסטורית. לכן אי אפשר לומר שהסקרים לא שיקפו את המצב.
"הסקרים הארציים טענו שקלינטון תנצח ב-4%, והיא ניצחה ב-2% כשכל הקולות נספרו. מה שאנחנו יודעים מההיסטוריה הוא שקיימת קורלציה מבחינת טעות הדגימה בין המדינות, ולכן הענקנו לקלינטון רק 70% העדפה. שוב, זו החמצה, אבל לא משהו שאנשים צריכים להיות מופתעים ממנו".

מה לגבי סקר ה'לוס-אנג'לס טיימס', שחזה את התחזקותו של טראמפ?
"בסקר הזה טראמפ קיבל יתרון של 5% בספירה הארצית. זה סקר נורא בעיניי. שוב, טראמפ ניצח רק בגלל שיטת האלקטורים. יותר אנשים הצביעו נגדו מאשר בשבילו".
ובכל זאת, צריך לתת את הדעת על שיטת הבדיקה של רוב מכוני הסקרים, ויכולת הדיוק המאוד מוגבלת שלהם במקרה של מערכת בחירות בינארית שבה המתמודד שזוכה בכל מדינה לוקח את כל הקולות, גם אם הדבר נעשה בפער של קולות בודדים בלבד.
לאחר שנקבעת קבוצת המיקוד ונבדקת חלוקת העמדות לאחוזים, התהליך רק מתחיל. כעת עוברים לנרמול התוצאות - תיקונים והטיות על פי מחקרים שונים ומגמות ידועות, מה שמאפשר כמובן בסיס נרחב להטיות ומעלה תהייה: כמה מהימן יכול להיות סקר שפתוח כל כך לשינויים והשפעות, שלא לדבר על ניצולו לאג'נדה מוזמנת.

אנטן מסתייג מהחשיבה הזו. "סוקרים מקבלים תשלום כדי להיות צודקים", הוא מדגיש, "ולא תהיה להם עבודה אם ירמו. לכן אני מתקשה להאמין שהם יסכנו את האמינות שלהם. מה שכן, אני סקרן לשמוע כיצד בדיוק פעל הוועד הלאומי הרפובליקני כדי לנטר את קולות הבוחרים. אני חושב שזה יכול לומר לנו הרבה".
ואולי גם הגיע הזמן להתייחס למדדים אחרים כמו רמת עניין בפייסבוק?
"נתונים כמו כמה לייקים קיבלת בפייסבוק פחות מעניינים אותי, אבל אנחנו ללא ספק צריכים להשקיע יותר בסקרים ברמה הפנים-מדינית. אני לא חושב שהיה כאן כשל גדול, כמו שפשוט צריך לקלף את הדברים. סקרים מעולם לא היו מושלמים, ולעולם לא יהיו".
גם אנליסט המידע נחמיה גרשוני-איילהו סבור שלא מדובר בכישלון קולוסלי. "הסקרים בהצבעה הארצית העניקו לקלינטון בין 2.5 ל-4 אחוזים. הפדיחה הגדולה קרתה בתוך המדינות".
מדוע זה קרה?
"להבנתי הרבה מדינות לא ערכו סקרים בצורה רציפה ועקבית, ובכלל קשה לערוך סקרים בארה"ב, בין השאר בגלל מגבלות על סקרים בחיוג אוטומטי. בחלק מהמדינות גם יש יותר סקרים טלפוניים ובחלק סקרו דווקא דרך מכשירים ניידים, ויש הבדלים בין התוצאות.

"מעבר לכך, יש בעיית חיזוי סביב אחוזי היציאה להצבעה משום שלא בכל המדינות מעניקים לבוחרים יום חופש, והתורים ארוכים. אנשים גם יכולים להצהיר שהם מעוניינים להצביע, אבל פתאום הם מגלים שהמדינה מחייבת תעודה מזהה שאיננה עומדת ברשותם. יש כאלה שמגיעים לקלפי ונדחים כי חסרה תמונה בתעודה שלהם. ראיתי דיווחים שבוויסקונסין למשל מאות אלפים לא יכלו להצביע בגלל חוקי הזדהות נוקשים שהקשו על המיעוטים, וטראמפ ניצח שם בכ-27 אלף קולות".
עד כמה אנשים אומרים אמת בסקרים?
"הנחת המוצא היא שהאנשים משקרים באופן אחיד בשני המחנות, אבל בבחירות בארה"ב זה היה יותר מורכב. מצאו למשל שבסקרים טלפוניים יש נטייה נמוכה יותר של גברים להודות שיצביעו לטראמפ, ובסקרים אינטרנטיים, שבהם לא היו צריכים להכריז על כך בקול, הם כן הודו שיצביעו לו".
יש תופעות דומות גם בישראל?
"דווקא בבחירות 2015 אני חושב שהסקרים דייקו מאוד. חלוקת הגושים הייתה מאוד אמינה, רק שהייתה תנועה בתוך גושים בין מפלגות ספציפיות. נתניהו שתה את הקולות של הבית היהודי, אבל מחנה הימין לא גדל מעבר למה שחזו בסקרים. גם בברקזיט בבריטניה הסקרים האחרונים הצביעו על 4% הפרש, וזה עדיין בתוך טעות הדגימה.
"יש לסוקרים נטייה ידועה לעדריות, וככל שמתקרבות הבחירות הם מקטינים את הוודאות לגבי המועמדים. הם גם מסתכלים זה על זה ומתקנים זה את זה. סקר מייצג תמונת מצב של היום, ואנשים לפעמים הולכים עם הסקר ומצביעים לפיו.

"בישראל אסור לפרסם סקרים יומיים לפני הבחירות, אבל בעידן הוואטסאפ יש גם סקרים פיקטיביים. מישהו המציא יום לפני הבחירות סקר סודי של מפלגת יש עתיד שלא היה ולא נברא. אנשים אמרו 'טוב, הרצוג מנצח, בואו נצביע לנתניהו'. לכי תצפי את זה. קחי את תוצאות הבחירות בישראל, תגידי לאנשים להצביע שוב ותראי שהם משנים את ההצבעה. לכן סקר לא יכול לחזות, הוא מבטא מצב קיים".
גם מנחם לזר, סוקר פוליטי ומנכ"ל מכון 'פאנלס פוליטיקס', סבור שלא נכון להאשים רק את הסקרים, וצריך להתייחס למערכת הבחירות בארה"ב כייחודית ויוצאת דופן בחריגות שלה. "משהו קורה לאופן שבו אנשים מקבלים החלטה", הוא מסביר.
"היום אנשים משנים דעה מהרגע להרגע, זה משהו חדש שנצטרך ללמוד איך מתמודדים איתו. אני חושב שבמערכת הבחירות בארה"ב הריצוי החברתי פעל ברמה גבוהה מאוד. לאישה לא היה פשוט להצהיר שהיא מצביעה לטראמפ, ובסקרים אינטרנטיים היא כן הודתה בכך. כך גם ההיספנים. זה אחד הדברים שאני מנסה לבדוק בימים אלו, האם סקרי האינטרנט אכן העניקו תמונה מהימנה יותר. אני יודע למשל שהסקר של 'לוס-אנג'לס טיימס' היה אינטרנטי. אגב, הסיפור הוא כמו תמיד אחוזי ההצבעה הנמוכים. גם אותם הסקרים לא הצליחו לנבא".

אז מה עניינם של הסקרים?
"הסקרים הפכו להיות קצת יותר ממה שהם. סקר הוא כלי עבודה ליועצים ולאסטרטגים, שיש בו הרבה מעבר לשורה התחתונה של מי מנצח. למשל ההחלטה של קלינטון אם לגשת למדינות מסוימות ולפנות לקהלים מסוימים, היא מבוססת סקרים. אפילו מה היא תלבש זה עניין שמבוסס על סקרים. בתחילת מסע הבחירות יצאו מודלים של חוקרים ממדעי המדינה שניסו לנבא מה צריך לקרות בבחירות אחרי שמונה שנות שלטון דמוקרטי, כשמצב הכלכלה כזה והאבטלה כזו. המודלים הסטריליים האלה ניבאו ניצחון של מועמד רפובליקני.
"ואז באו האנשים ואמרו 'רגע, המועמד הרפובליקני הזה הוא לא סתם מישהו, הוא דונלד טראמפ, אז בואו נכניס מודלים שקשורים לטראמפ', ושם בעצם התחיל הבלגן. בדיעבד קל לראות את השגיאות, אבל לפעמים המודלים שעובדים על פיהם לא תקפים בזמן אמת, כמו הזינוק בהצבעת אנשי הפריפריה בישראל שלא היה מעולם".
ובתוך ים הסקרים והמכונים, צריך גם לעצור ולתהות האם גם היום, בעידן אוטוסטרדת המידע והרשתות החברתיות, צריך להסתפק בשיטה המקובלת, או שמא יש להכניס למודלים שחקנים חדשים ולא פחות רלוונטיים לקבלת תמונת המצב - כמו מדדי הפייסבוק, ביג-דאטה, וכלים אנליטיים המתחקים אחרי חיפושים והרגלי גלישה.
"קל לבדוק באזור מקומי, נניח ירושלים, אם נוסעי הרכבת הקלה מרוצים או לא", טוען רוני ארזי, מנכ"ל חברת 'משרוקית' ומנהל הקמפיין הדיגיטלי של טראמפ בישראל. "אבל כשמדובר במיליוני אנשים, ובוודאי בשיטה האמריקאית, הנושא הופך להיות בעייתי. במצב כזה לא חכם להתעלם מהביג-דאטה. אתן לך דוגמה. כשחבר באחד מאיגודי העובדים בארה"ב מקבל הצעה להשתתף בסקר והוא יודע שזהותו ידועה, הוא יהיה מחויב לעמדת איגודי העובדים שמסורתית מצביעים לקלינטון.

"אבל בסקרים אנונימיים שנעשו התברר שהרבה אנשי איגודים הצביעו לטראמפ. יותר מזה: אני לאורך הבחירות ראיתי שבמילות חיפוש כמו 'איך אני יכול לתרום לאיקס', או 'איך אני יכול לתמוך באיקס', טראמפ הוביל בכל החיפושים. האם זה כלי מדעי? לא. אבל חסרה ההתייחסות של הסוקרים למידע הזה".
מצד שני, גם בישראל הקטנה הסקרים לא תמיד דייקו.
"נכון, אבל אנחנו מיוחדים בהיבט האוכלוסייה. למשל הקהל החרדי שבאופן מסורתי לא משתף פעולה עם סקרים ולעתים גם משקר בהם, כי הסוקר מייצג בעבורו את הממסד והוא 'משחק' איתו. כנ"ל לגבי המגזר הערבי שלא משתף פעולה עם סקרים בעברית. מדובר במגזרים שכוללים עשרות אחוזים מהאוכלוסייה.
"אחרי הבחירות בארה"ב עברתי על עיתונות יהודית שעסקה בתוצאות לאורך מאה השנים האחרונות, וגיליתי שתמיד התקיים דיון כזה. כך שהתהיות לא נולדו בעקבות כניסת הדיגיטל לזירה, אלא רק התחדדו. הבעיה היא ההתעלמות של אותן חברות מהיכולת החדשה של הדיגיטל לתת להן אינדיקציות מסוג אחר".
"במבחן התוצאה זה קורא לבדק בית מעמיק", מסכם איבגי. "כשאנשים יושבים עם אייפון ביד הם מרגישים הרבה יותר חופשי, כי הם בטוחים שאף אחד לא רואה אותם ולא עומד להם מאחורי הגב. אז מגבשים דעה והולכים לגוגל ושואלים שאלות לגביה, ומישהו בצד השני יושב ומקשיב. באמצעות כוח המחשוב שיש היום והיכולת לנתח נתונים, אנחנו עשויים להגיע בעתיד הלא רחוק להבנה עמוקה בהרבה מהכלים שמציעים לנו הסקרים. אני רואה פה אתגר וקריאה לשנות חשיבה, במיוחד בנושא של ביג דאטה.
"הנה דוגמה לאיך טראמפ ניצל את היתרון שלו - הוא עשה שימוש נרחב ביוטיוב שלכאורה היה הכי חלש בו. לאורך רוב הקמפיין קלינטון שלטה במדיום הזה, אבל לקראת סוף הקמפיין אפשר היה לראות שהמדינות התעשייתיות בצפון ארה"ב שנתנו לטראמפ את הניצחון נצבעות באדום. פתאום את רואה שבמדינה כמו פנסילבניה שהיא דמוקרטית, רוב הצפיות ביוטיוב עוברות לטראמפ באופן מובהק.

"שמעתי את מנהל הקמפיין הדיגיטלי של טראמפ מספר לרשת 'פוקס' שהם קנו שם פרסום אונליין באופן ממוקד. כשאת הולכת אחורה לימים האחרונים בקמפיין, את רואה שקלינטון למשל לקחה את ויסקונסין כמובנת מאליה, בעוד שטראמפ לקח חמש מדינות מתנדנדות, מפלורידה בדרום ועד צפון-קרוליינה ומישיגן. טראמפ הלך וקרא את המפה כמו גנרל שיוצא לקרב וחיפש נקודות תורפה. הוא ריכז שם מאמץ, קנה פרסום ביוטיוב, ערך שם עצרות, עשה שימוש מעולה בפייסבוק-לייב, וזה היה אפקטיבי בצורה יוצאת דופן. מי שהיה בודק נתונים של צפיות יוטיוב היה יכול לראות את זה. העניין הוא שמעטים טרחו לבדוק".
היכנסו לעמוד הפייסבוק החדש של nrg