מצפון־מערב לעיר האסורה בבייג'ינג, בנתה האקדמיה הסינית למדעים במשך שבעה עשורים קריה של מעבדות לאומיות. סמוך למרכזה נמצא המכון למיכון (אוטומציה), בניין כחול־כסוף בוהק, מוקף מצלמות. מדעני מחשב חוקרים בו את תעלומות היסוד של הבינה המלאכותית. החידושים המעשיים יותר שלהם – זיהוי העינית האנושית והרכבת דיבור ממוחשב – משמשים את ענקיות הטכנולוגיה הסינית, חברות הזנק בתחום הבינה המלאכותית, ובמקרים אחדים את צבא השחרור העממי.
כתבות נוספות באתר מקור ראשון:
– לא לוותר על הלב הפועם של החיים היהודיים הציבוריים
– חומר נפש: הרב שהפך לגורו תזונה ופסיכולוגיה וסוחף אלפים
– אי ודאות: מה הקשר בין מגפת הקורונה וחג הסוכות?
ביקרתי במכון בבוקר גשום בקיץ 2019. המוחות הטובים והמבריקים ביותר בסין עדיין נהרו אל המשרדים, לבושים ברישול במכנסי ספורט או יוגה, אוזניות איירפּוֹדס באוזניהם. בכיסי היה טלפון "חד־פעמי"; בתרמיל הגב שלי מחשב נקי לחלוטין ממידע. זהו נוהל זהירות מקובל בקרב עיתונאי המערב בסין. ביקור מקצועי בסין פירושו להסתכן בהפגזה של מתקפות סייבר ותוכנות נוזקה. ב־2019, פקידים בלגים במשלחת סחר הבחינו שהמידע הסלולרי שלהם יורט באמצעות אנטנה שצצה סמוך למלונם בבייג'ינג.
אחרי שעברתי את בדיקת הביטחון של המכון, נאמר לי להמתין באולם הכניסה, לעין מצלמות האבטחה הרבות. על קירותיו נתלו כרזות של מנהיגיה החשובים של סין מאז מלחמת העולם השנייה. מאו דזה־דונג בלט בחליפת ארבעת הכיסים האופיינית לו. הוא נראה שלו, כמו מרוצה מכך ששחרר את סין מעול המערב. סמוך לו נתלתה תמונת שחור־לבן מטושטשת של דנג שיאופינג בביקורו במכון בשנותיו המאוחרות, אחרי שהרפורמות הכלכליות שלו הציבו את סין על המסלול בדרכה לתבוע שוב את מעמדה העולמי כמעצמה.
הכרזה הבולטת ביותר באולם הציגה את שִׁי ג'ינפינג בחליפה שחורה. נשיא סין והמזכיר הכללי של המפלגה הקומוניסטית מתעניין מאוד במתחולל במכון. עבודתו היא חלק מאסטרטגיית הבינה המלאכותית הגדולה ששי הציג בסדרת נאומים דומה לזו ששימשה את ג'ון פ' קנדי בתיאום הכוונות הטכנולוגי־מדעי של אמריקה לעבר הירח. שי אמר שהוא רוצה שעד סוף השנה סין תוכל להתחרות עם מובילות תחום הבינה המלאכותית בעולם; אפשר לטעון שהמדינה כבר השיגה את הרף הזה. הוא גם רוצה שסין תשיג עליונות בתחום הבינה המלאכותית עד 2030.
להכרזות הללו יש גם זווית מרושעת. לבינה מלאכותית יש שימושים כמעט בכל תחום אנושי, מתרגום מיידי של שפה דבוּרה ועד זיהוי מוקדם של התפרצות מגפות. אבל שי רוצה להשתמש ביכולות הניתוח העצומות הללו כדי לדחוף את סין לקצה יכולות הריגול. הוא שואף לבנות מערכת דיגיטלית רואת־כול לשליטה חברתית, שתשתמש באלגוריתמים צופי פשיעה כדי לזהות מתנגדי משטר בזמן אמת.
ממשלת סין כבר השתמשה בעבר בהתרחשויות היסטוריות גדולות כדי להטמיע אמצעי ניטור ומעקב. לקראת אולימפיאדת בייג'ינג ב־2008, העמיקו כוחות הביטחון הסיניים את שליטתם ברשת האינטרנט במדינה. במהלך התפרצות הקורונה בסין, ממשלת שי לחצה על חברות פרטיות המחזיקות במידע אישי רגיש. כל הסדר שיתוף מידע בשעת חירום שהוחל בזמן המגפה, עלול להפוך לקבוע.
מאות מיליוני מצלמות ניטור פזורות ברחבי סין. ממשלת שי מקווה להשיג בקרוב כיסוי וידאו מלא של מרחבים ציבוריים. רוב החומר המצולם שאוספות המצלמות הסיניות מנותח באמצעות אלגוריתמים בניסיון לאתר איומים מסוגים שונים. בעתיד הקרוב, כל אדם העובר במרחב הציבורי יזוהה מיידית על ידי בינה מלאכותית שתחבר בין מראה פניו לאוקיינוס של מידע אישי – מתיעוד מלא של התקשורת הכתובה שלו ועד אופן בניית החלבונים הייחודי לגופו. עם הזמן האלגוריתמים יוכלו גם לחבר מידע נקודתי ממגוון מקורות – נתוני נסיעות, חברים ועמיתים, הרגלי קריאה, היסטוריית רכישות – כדי לחזות מחאה פוליטית לפני שתפרוץ. ממשלת סין תוכל בקרוב להשיג שליטה פוליטית חסרת תקדים על יותר ממיליארד בני אדם.
5,000 שנה בחזית המידע
בראשית התפרצות הקורונה נכפה על אזרחי סין דירוג סיכון אישי. אלגוריתם הקצה לאנשים צבע – ירוק, צהוב או אדום – והוא קבע את זכאותם לנסוע או להיכנס לבניינים בערי־הענק. במערכת דיגיטלית מתוחכמת לשליטה חברתית, קודים כאלה יכולים גם לשמש לדירוג האיום הפוליטי הנשקף מכל אדם.
גרסה גולמית של מערכת כזאת כבר פועלת במחוז שינג'יאנג שבצפון־מערב סין: יותר ממיליון מוסלמים אויגורים נכלאו שם במחנות – הריכוז הכפוי הגדול ביותר של מיעוט אתני־דתי מאז נפילת הרייך השלישי. ברגע שיעלה בידי שי לשכלל את המערכת בשינג'יאנג, לא יהיו מגבלות טכנולוגיות שימנעו ממנו להחיל את ניטור הבינה המלאכותית בכל רחבי סין. הוא גם יוכל לייצא אותה אל מעבר לגבולות ארצו, ולחזק את כוחו של דור רודנים שלם.
סין פצחה לאחרונה בכמה מיזמי תשתית שאפתניים מעבר לים – בניית ערי־ענק, רשתות רכבת מהירה, נמלי ים ותעופה ועוד. אבל אלו לא יעצבו את ההיסטוריה כמו התשתית הדיגיטלית של סין, שתוכל להסיט את איזון הכוחות בין הפרט למדינה בכל רחבי העולם.
קובעי מדיניות אמריקנים מכל הקשת הפוליטית חוששים מהתרחיש הזה. מייקל קְרָצִיוֹס, מנהל הטכנולוגיות הראשי של ממשלת ארה"ב, אמר לי שהנהגת הטכנולוגיה בידי אומות דמוקרטיות "מעולם לא הייתה חשובה יותר", וש"אם אנו רוצים לוודא שערכי המערב כלולים בטכנולוגיות העתיד, עלינו לוודא שאנו מנהיגים את הטכנולוגיות הללו".
על אף ההתקדמות הנאה של סין, מומחים מצפים שאמריקה תמשיך לאחוז בהובלה בתחום הבינה המלאכותית למשך עשור נוסף לפחות. אבל זו נחמה דלה. סין כבר מפתחת כלי ניטור חדשים רבי־עוצמה, ומייצאת אותם לעשרות רודנים בפועל או בכוח ברחבי העולם. בשנים הבאות הטכנולוגיות הללו יזוקקו וישולבו במערכות ניטור מקיפות ששליטים כאלה יוכלו להפעיל ולנצל.
עלייתו של גוש מדינות שיישלטו בידי "רודני הבינה המלאכותית", עלולה לעוות את הגיאופוליטיקה של המאה הנוכחית. היא תוכל לשלול ממיליארדי בני אדם כל מידה של עצמאות פוליטית. כוונותיהם של קובעי המדיניות בארה"ב לא ישנו דבר; רק אזרחי סין יוכלו לבלום זאת. הגעתי לבייג'ינג כדי לתור אחר סימן לכך שהם יעשו זאת.
הרגע הטכנולוגי־פוליטי הזה התבשל זמן רב. סין בילתה את כל חמשת אלפי שנותיה, למעט מאות ספורות, בחזית טכנולוגיית המידע. לצד שׁוּמֵר במסופוטמיה ותרבויות אמריקה המרכזית, היא הייתה אחד משלושת המקומות שהכתב הומצא בהם באופן עצמאי ואִפשר למידע להישמר מחוץ למוח האדם. במאה השנייה לספירה הסינים המציאו את הנייר. אמצעי אחסון הנתונים הזול הזה, הניתן לכריכה, אפשר למידע – רשומות סחר מדרך המשי, תמסורות צבאיות, תכתובות בקרב ש כבות העילית – לנוע לאורך האימפריה העצומה, על גבי סוסיהם המהירים של נוודי הערבה האסייתית שמעבר לחומת סין. תנועת המידע האיצה עוד יותר כמה מאות שנים לאחר מכן, כשאומני שושלת טַאנְג שיפרו את שיטת ההדפסה בחיתוכי עץ, טכנולוגיית תקשורת המונים שסייעה לנהל מדינה ענקית, מתרחבת והולכת.
כבר קיסרי סין העתיקה הבינו היטב את הקשר בין זרימת המידע ובין הכוח, ואת ערכו של ניטור אזרחיהם. במאה ה־11, קיסר משושלת סוֹנְג הבין שהערים הבצורות הסיניות נעשו גדולות מכדי לנטר אותן מבייג'ינג, ולפיכך האציל מכוחו על סגנים שיפקחו עליהן.
כמה עשורים לפני שחר העידן הדיגיטלי, צִ'יאַנְג קַאי שֶׁק השתמש באותה מסורת שיטור עצמי וביקש מאזרחים להשגיח על מתנגדי משטר בקרבם, כדי שהתמרדויות קומוניסטיות יחוסלו בראשיתן. כאשר מאו השתלט על סין, הוא סידר את הערים על גבי רשת מסורגת, שכל ריבוע בה נעשה יחידת עבודה משלו. מרגלים מקומיים בכל משבצת פקחו "עין חדה" על התנהגות קונטרה־רבולוציונית, שולית ככל שתהיה. בראשית התפרצות הקורונה, יישומי התקשורת החברתית בסין קידמו דיווח על מי שחשודים בהסתרת תסמינים.
שי השתמש במונח "עין חדה", על כל תהודתו ההיסטורית, כשם הנבחר למצלמות הניטור בעלות הבינה המלאכותית שיוצבו ברחבי סין בקרוב. בעזרת הבינה המלאכותית, שי יוכל לבנות את מערך הדיכוי הרודני האכזרי ביותר אי פעם, בלי כוח האדם שנדרש למאו כדי שהמידע על מתנגדי המשטר יזרום לצומת יחיד, ריכוזי. שי גילה שחברות ההזנק הגדולות של סין בתחום הבינה המלאכותית הן שותפות מסחריות הנכונות לעשות הכול כדי לרצותו. במיעוט המוסלמי בשינג'יאנג הוא מצא את קבוצת המבחן שלו.
המפלגה הקומוניסטית הסינית התייחסה לדת בחשדנות מאז ומתמיד, ולא רק בגלל השפעות מרקסיסטיות. לפני כ־150 שנה – כמעט אתמול בזיכרונה של תרבות בת 5,000 שנים – פרץ "מרד טאיפינג": הונג שִׁיקְוַואן, מיסטיקן מעין־נוצרי, הוביל מסע מלחמה אסוני שנמשך 14 שנה ונהרגו בו כנראה יותר אנשים מבמלחמת העולם הראשונה. היום, במערכת הפוליטית החד־מפלגתית בסין, הדת היא מקור סמכות חלופי, ולכן יש להטמיע אותה או להשמידה.
חברות הבינה המלאכותית הסיניות החלו לייצר קסדות זיהוי פנים מרושתות בשביל המשטרה, הכוללות מדחומים מובנים ומסוגלות לשלוח את המידע ישירות לממשלה
ב־2009 מאסו האויגורים בסין באפליה ובהחרמת הקרקעות שנמשכו עשורים. הם פתחו במחאת ענק ויזמו פיגועי התאבדות נגד המשטרה הסינית. ב־2014 שי הכה בהם בעוצמה, והורה לממשלת המחוז להרוס מסגדים ולהחריב שכונות אויגוריות עד עפר. יותר ממיליון אויגורים נעלמו למחנות ריכוז. רבים עונו ואולצו לעבוד עבודת פרך.
האויגורים שנותרו מחוץ למחנות הם כעת האוכלוסייה המנוטרת ביותר בעולם. לא כל הניטור הוא דיגיטלי. ממשלת סין העבירה אלפי בני האן, הקבוצה האתנית הגדולה ביותר בסין, לערי דרך המשי העתיקות בשינג'יאנג, כדי שישמשו "אחים ואחיות גדולים" ויוודאו את הטמעתם הכפויה של האויגורים לזרם המרכזי של התרבות הסינית. הם אוכלים עם משפחות אויגוריות, וחלק מ"האחים הגדולים" ישנים עם נשותיהם של גברים אויגורים שנלקחו למחנות הריכוז.
בינתיים, חיישנים המסתייעים בבינה מלאכותית אורבים בכל פינה, כולל בארנקיהם ובכיסי מכנסיהם של האויגורים. לפי האנתרופולוג דארן בַּיילֶר, כאשר מסע מחיקת התרבות של שי הגיע לשיאו, אויגורים קברו מכשירי טלפון סלולרי שהכילו ספרות איסלאמית, או החדירו את כרטיסי הזיכרון שלהם לכיסוני בצק והקפיאו אותם כדי שיישמרו לעתיד. אבל המשטרה הכריחה אותם להתקין "יישומי שמרטף" רבים בטלפונים שלהם. היישומים הללו משתמשים באלגוריתמים כדי לצוד "נגיפים אידאולוגיים" יומם ולילה. הם יכולים לסרוק תיעודי שיחה ולחפש פסוקים מהקוראן, או לתור אחר אותיות ערביות בקובצי תמונה.
האויגורים לא יכולים להשתמש בדרכי מעקף וחסימה רגילות. התקנת VPN, רשת פרטית המאפשרת הסתרת מידע, פשוט תעורר הזמנה לחקירה. באותה מידה הם לא יכולים להתקין וואטסאפ או תוכנות אחרות המצפינות את המסרים. רכישת מרבד תפילה ברשת, שמירת עותקים דיגיטליים של ספרים מוסלמיים והורדת הטפות האימאם האהובות – כל אלה הן פעילויות מסוכנות. אם אויגורי משתמש במערכת התשלומים של יישומון וִיצָ'אט הסיני כדי לתרום למסגד, הרשויות עשויות לשים לב.
יישומי השמרטף עובדים בשיתוף פעולה עם המשטרה, הבודקת את הטלפונים במחסומי דרכים ובוחנת את היסטוריית השיחות והמסרים. אפילו קשר דיגיטלי תמים – חברות בקבוצת מסרים עם אדם שביקר לאחרונה במסגד, למשל – עלול להוביל לכליאה. מצד שני, גם הימנעות מלאה מתקשורת טכנולוגית עלולה לעורר חשדות. המשטרה נדרשת לדווח כאשר אויגורים סוטים מדפוסי ההתנהגות הנורמליים. מאגר המידע שלה רוצה לדעת אם אויגורים מתחילים לעזוב את בתיהם דרך הדלת האחורית במקום דרך הכניסה הראשי; אם הם משוחחים עם השכנים פחות מבעבר. השימוש בחשמל מנוטר באמצעות אלגוריתם, וכל שימוש חורג מזוהה, משום שהוא יכול להעיד על תושב שאינו רשום.
האויגורים יכולים לנוע רק רחובות ספורים מביתם לפני שייתקלו בעמדת בדיקה ובה אחת ממאות אלפי מצלמות הניטור. את הצילומים מעבדים אלגוריתמים המתאימים את התמונה לצילומים שמבצעת המשטרה במהלך "בדיקות בריאות". בבדיקות הללו הממשלה שולפת את כל המידע האפשרי מגופם של האויגורים. הם מודדים גובה ונוטלים דגימת דם, מקליטים קולות ולוקחים דגימת די־אן־איי. כמה אויגורים אפילו אולצו להשתתף בניסויים של כריית מידע גנטי במטרה לבחון כיצד די־אן־איי מייצר סנטרים ואוזניים אויגוריים במיוחד. המשטרה בוודאי תשתמש במגפה כהצדקה לנטילת מידע נוסף מגופיהם של האויגורים.
נשות האויגורים מאולצות גם לעבור בדיקות היריון. חלקן מאולצות לעבור הפלה, או שאמצעי מניעה מוחדרים לגופן. אחרות מעוקרות בידי המדינה. המשטרה גוזלת ילדים "בלתי מאושרים" מידי הוריהם, וההורים נשלחים למאסר. אמצעים כאלה הפחיתו את שיעור הילודה באזורים מסוימים בשינג'יאנג ב־60 אחוזים בתוך שלוש שנים. כאשר האויגורים מגיעים לקצה השכונה שלהם, מערכת ממוכנת עוקבת אחריהם כשהם חולפים בנקודות בדיקה בבנקים, בפארקים, בבתי הספר. כשהם ממלאים דלק במכוניתם, המערכת יכולה לקבוע אם הם בעליה. בגבולות העיר הם נאלצים לצאת מהמכונית, כדי שפניהם ותעודת הזהות שלהם ייסרקו שוב.
רוב האויגורים אינם מחזיקים בדרכון ואינם מורשים לצאת לחו"ל. בני המזל שדרכונם לא הוחרם נדרשים לחזור במהרה. אחרת, חוקרי המשטרה יישלחו לבתי קרובי משפחתם וחבריהם. גם שהות בחו"ל אינה הימלטות. בהצצה מקפיאת דם לאופן פעולתו האפשרי של גוש מדינות רודניות עתידי, בני בריתו השתלטנים של שי – אפילו במדינות בעלות רוב מוסלמי, כמו מצרים – עצרו אויגורים וגירשו אותם בחזרה לשינג'יאנג, המשמשת מתקן כליאה ענק באוויר הפתוח.
מזהים האם לבשת מסכה
הפילוסוף ג'רמי בנת'ם הציע במאה ה־18 לבנות בתי כלא (או בתי ספר, או מפעלים) במבנה אדריכלי מעוגל, שתאיו השוכנים בהיקף החיצוני חשופים למגדל שמירה מרכזי. הבידוד בין התאים מוחלט, יכולת המעקב מרבית, ולכן גם השליטה. בנת'ם כינה את התוכנית האדריכלית שלו "פנאופטיקון". נדמה ששי משתמש בשינג'יאנג כמעבדה המאפשרת לו לכוונן את כוח החיישנים והאלגוריתמים של הפנאופטיקון הדיגיטלי שלו, לפני שירחיב אותו לשאר המדינה. חברת CETC, שבנתה חלק גדול ממערכת הניטור של שינג'יאנג, מתהדרת כיום במיזמי ניסוי בערים הסיניות ז'ג'יאנג, גוואנגדונג ושנז'ן. אלה נועדו להניח "תשתית יציבה להפעלה ארצית", לפי החברה. וזו רק פיסה אחת מרשת ניטור האנוש הנרחבת והמקיפה של סין.
סין היא האתר האידיאלי לניסוי בניטור מקיף. אוכלוסייתה מחוברת היטב לרשת. במדינה יש יותר ממיליארד טלפונים ניידים, שכולם למעשה חיישנים מתוחכמים. כל אחד מהם מתעד מונחים שהוקלדו למנועי החיפוש, ביקורים באתרים ותשלומים סלולריים, הנפוצים מאוד בסין. כשהשתמשתי בכרטיס אשראי לקניית קפה בשכונת סנליטון האופנתית בבייג'ינג, אנשים בהו בי כאילו כתבתי המחאה.
כל נקודות המידע הללו מסומנות בזמן ובמקום. ומכיוון שהרגולציה דורשת מחברות התקשורת לסרוק את פניו של כל מי שנרשם לקבלת שירותי סלולר, המידע בטלפונים מותאם לפניו של אדם ספציפי. חברת סֵנְסְטַיים, שסייעה בבניית מדינת הניטור בשינג'יאנג, התפארה לאחרונה בכך שהתוכנה שלה יכולה לזהות אנשים העוטים מסכות. חברה אחרת, הַאנוַונְג, טוענת שטכנולוגיית זיהוי הפנים שלה יכולה לזהות עוטי מסכות ב־95 אחוזים מהמקרים. קציר המידע האישי של סין משיג יבול גם ממי שאין להם טלפונים. הרחק בעומק המדינה, כפריים עומדים בתור לסריקת פניהם ממגוון זוויות בידי חברות פרטיות, בתמורה לכלי בישול.
עד לאחרונה קשה היה לדמיין כיצד תצליח סין לשלב את כל המידע הזה למערכת ניטור אחת. לא עוד. ב־2018, פעיל סייבר פרץ למערכת זיהוי פנים ממשלתית ששילבה מידע רב מערוצים נפרדים. המערכת הייתה מסוגלת לזהות אויגורים לפי מאפייניהם האתניים, ולומר אם עיני המצולם פקוחות או שפיו פתוח, אם הוא מחייך, אם יש לו זקן או שהוא מרכיב משקפיים. היא תיעדה את התאריך, השעה והמספר הסידורי של הטלפונים שעברו סמוך למערכת הוויי־פיי שלה. המערכת שכנה על שרתי חברת עליבאבא, והקוד שלה התייחס לסיטי בריין, "מוח העיר", תשתית תוכנה בעלת בינה מלאכותית שממשלת סין הפקידה את עליבאבא על הקמתה.
סיטי בריין, כפי שהשם מרמז, היא מעין מרכז עצבים ממוכן, המסוגל לשלב ערוצי מידע נבדלים מאינספור חיישנים בסביבה העירונית. רבים משימושיה הם תפקודים טכנוקרטיים תמימים; האלגוריתמים שלה יוכלו, למשל, לספור אנשים ומכוניות כדי לסייע בתזמון האור האדום ובתכנון קווי הרכבת התחתית. מידע מחיישנים שיורכבו בפחי אשפה יוכל לסייע ביעילותו של איסוף האשפה.
אבל סיטי בריין והטכנולוגיות שייוולדו ממנה יאפשרו גם צורות חדשות של ניטור משולב. כמה מהן ייהנו מתמיכה ציבורית רחבה: סיטי בריין תוכל לאתר ילדים אבודים או כבודה ששכחו תיירים – או שהותירו טרוריסטים. היא תוכל להתריע מפני מזהמים, לזהות חסרי בית, לאתר מתפרעים. כל מי שנמצא בסכנה יוכל לקרוא לעזרה בהינף יד, שיזוהה בעינו הפקוחה תמיד של המחשב. קציני משטרה יוכוונו לזירה באמצעות קול מסונתז בידי הבינה המלאכותית.
סיטי בריין יכולה להיות שימושית במיוחד בשעת מגפה. חברה־אחות של עליבאבא היא שיצרה את יישומון הצבעים המסמנים את סיכון התחלואה לאזרח, ושלחה למשטרה בחשאי את המידע שנאסף. כשההתפרצות בבייג'ינג התרחבה, כמה מרכזי קניות ומסעדות בעיר החלו לסרוק טלפונים של לקוחות, ושאבו מידע מספקי הסלולר כדי לברר לאן נסעו. ספקי הסלולר גם שלחו לרשויות אזוריות רשימות של אנשים שהגיעו אל המחוז מווהאן, מקור ההתפרצות. חברות הבינה המלאכותית הסיניות החלו לייצר קסדות זיהוי פנים מרושתות בשביל המשטרה, הכוללות מדחומים מובנים ומסוגלות לשלוח את המידע ישירות לממשלה. סיטי בריין תוכל למכן את כל התהליכים הללו, או לשלבם בערוצי המידע שלה.
עם זאת, מערכות הבינה המלאכותית המורכבות ביותר בסין שבריריות עדיין. סיטי בריין טרם שילבה את מלוא יכולות הניטור שלה, והמערכות שקדמו לה סבלו מכשלי ביצוע מביכים: ב־2018, אחת ממצלמות הבינה המלאכותית של הממשלה זיהתה בטעות פנים שהופיעו בפרסומת על אוטובוס עירוני כאדם שחצה את הכביש בניגוד לחוק. אך התוכנה משתפרת, ואין סיבה טכנית לכך שלא תיושם בהיקף נרחב.
ציפורי הריגול מרחפות
ערוצי המידע שאפשר להזין למערכת כזו הם בלתי מוגבלים בעיקרם. מלבד צילומים מ־1.9 מיליון מצלמות זיהוי פנים שמתקינה חברת התקשורת הסינית צ'יינה טאוור, בשיתוף עם סנסטיים, סיטי בריין יכולה להשתמש בזרם הווידאו ממצלמות הרחוב הרבות. היא תוכל להשתמש גם במצלמות שהמשטרה מסתירה בחרוטי חסימת כבישים, ובמצלמות שהשוטרים תולים על מדיהם. המדינה תוכל להכריח קמעונאים לספק מידע ממצלמות חנויותיהם. לא יהיה כמעט מרחב ציבורי שלא ינוטר.
המשטרה בארה"ב כבר החלה להיעזר בצילומים ממצלמות אבטחת הבית של אמזון. באחד מיישומיהן התמימים ביותר המצלמות הללו משמשות כפעמון לדלת, אך רבות מהן גם מכוונות אל בתי השכנים. ממשלת סין יכולה לקצור צילומים ממוצרים סיניים דומים. היא תוכל להתקשר למצלמות המחוברות למכוניות המשמשות לנסיעה שיתופית, או למכוניות האוטונומיות שעשויות להחליף אותן בקרוב. אלה יכללו מגוון חיישנים, כולל כמה שיאספו מידע עשיר הרבה יותר מווידאו דו־ממדי. נתונים מצי מכוניות כזה, שיחוברו יחדיו ויקבלו מידע נוסף, יוכלו לייצר דגם תלת־ממדי של העיר שיתעדכן מדי שנייה. כל רענון יכלול תיעוד מקומו של כל אדם בתוך הדגם. מערכת כזאת תוכל לתעדף ניטור פנים בלתי מזוהות, אולי באמצעות שליחת להק מל"טים כדי לוודא זיהוי.
בראשית שנות האלפיים, ענקית התקשורת הסינית ZTE מכרה לאתיופיה רשת אלחוטית עם "דלת אחורית" שנגישה לממשלה. היום קניה, אוגנדה ומאוריציוס מאבזרות ערים גדולות ברשתות ניטור בייצור סיני
נתוני המודל יוכלו להסתנכרן עם מידע קולי מכל מכשיר בעל מיקרופון המחובר לרשת, כולל רמקולים חכמים, שעוני יד חכמים ומכשירים פחות מובנים מאליהם כמו מזרנים חכמים, טיטולים חכמים ועוד. כל המקורות הללו יוכלו ליצור סימפוניה תלוית מיקום, רבת־ערוצים, שאלגוריתמים דוברי שפות רבות יוכלו לנתח ולפרש. זה יוכל לשמש את שירותי הביטחון, במיוחד במקומות נטולי מצלמות: חברת אַייפְלַייטֶק של סין בונה טכנולוגיה שתאפשר זיהוי אנשים לפי חתימת הקול שלהם.
בעשורים הבאים, סיטי בריין או המערכות שיבואו בעקבותיה יוכלו אולי לקרוא מחשבות. כיום אפשר כבר לשלוט במל"טים באמצעות קסדות שמזהות אותות במוח ומשדרות אותם, וחוקרים מתכננים ממשקי מוח־מחשב שיוכלו לאפשר כתיבה באמצעות חשיבה. מדינה סמכותנית תוכל לכפות על יוצרי תוכנות כאלה להזין כל פיסת פעילות מוחית של אזרח לתוך מאגר מידע ממשלתי. סין עודדה לאחרונה אזרחים להתקין יישומון תעמולה ולהשתמש בו. הממשלה יכולה להשתמש בתוכנת מעקב רגש כדי לנטר תגובות לגירוי פוליטי, כמו תגובה סמויה ומובלעת לסרטון של שי נואם.
כל זרמי המידע המתוזמנים הללו יוכלו להצטרף למל"טים שמצלמותיהם יכולות לצלם מרחבים עירוניים בפרוטרוט, ולאפשר קריאת מספרי רישוי של מכוניות וזיהוי אופן הילוך. רחפני "ציפור ריגול" כבר סובבים מעל הערים הסיניות, מוסווים כיונים תמימות. בערוצי סיטי בריין שולב מידע ממערכות באזורים עירוניים אחרים כדי ליצור תיעוד רב־ממדי בזמן אמת של כל הפעילות האנושית בסין כמעט. חוות שרתים ברחבי סין יוכלו בקרוב לקלוט מגוון זוויות בצילום באיכות גבוהה של כל רגע כמעט בחייו של כל סיני כמעט.
חשוב להדגיש: מערכות בהיקף הזה נמצאות עדיין בפיתוח. רוב המידע האישי בסין עדיין אינו משולב, אפילו בתוך חברות יחידות. גם לממשלת סין אין מאגר מידע יחיד, גם בגלל תחרות בין סוכנויות ממשלה. אבל אין מגבלות פוליטיות קשיחות לעשות זאת. נהפוך הוא, חברות פרטיות נדרשות בחוק לסייע לשירותי המודיעין הסיניים.
לממשלה צפוי להיות בקרוב דיוקן עשיר במידע על כל אחד מיותר ממיליארד תושביה. כל דיוקן יורכב ממיליוני נתונים, כולל כל הופעה של אדם במרחב מנוטר, כל המסרים שלו והיסטוריית הרכישות. דירוג איומו על שלטון המפלגה יעודכן בזמן אמת, ודירוג הסיכון יהיה מדויק יותר מזה שמשמש את תוכנית דירוג האשראי החברתי של סין, שכבר ביקשה לתת לכל אזרח דירוג מוניטין חברתי בהתבסס על קשרי תקשורת חברתית והרגלי צריכה. אלגוריתמים יוכלו לנטר את דירוג המידע הדיגיטלי שלו, לצד הדירוג של כל אדם אחר, בלי לחוש אי פעם את העייפות המכה בסוכני שטאזי במשמרת לילה קשה. תוצאה חיובית כוזבת – זיהוי אדם כסיכון בגלל התנהגות בלתי מזיקה – תיחשב למועילה, משום שהיא תחזק את ההשפעה המצננת של המערכת, כך שאנשים יבחנו בעיניים חדות את התנהגותם כדי להימנע אפילו ממראית עין של התנגדות למשטר.
אם דירוג הסיכון של אדם יעלה – בגלל דפוסי תנועה חשודים, קשרים חברתיים, חוסר שימוש ביישומון התעמולה או מסיבה אחרת שרק מערכת הבינה המלאכותית יודעת – מערכת אוטומטית לחלוטין תוכל להגביל את תנועתו. היא תוכל למנוע ממנו רכישת כרטיס טיסה או כרטיס רכבת, ולשלול ממנו מעבר. היא תוכל להפעיל מרחוק "מנעולים חכמים" במרחב הציבורי או הפרטי, כדי להגביל את תנועתו עד הגעת כוחות הביטחון.
בשנים האחרונות, חברים בודדים בעילית הסינית הזהירו מפני שימוש לרעה בבינה המלאכותית. במיוחד יש לציין את מדען המחשב יִי זֵנְג ואת הפילוסוף זַ'או טִינְגְיַאנְג. באביב 2019 פרסם יי את "עקרונות הבינה המלאכותית של בייג'ינג" – גילוי דעת על יכולתה של הבינה המלאכותית להזיק לעצמאות, לכבוד, לפרטיות ולמגוון ערכים אחרים. הגעתי למכון למיכון בבייג'ינג כדי להיפגש עם יי. שם, מלבד עבודתו על אתיקה של בינה מלאכותית, הוא גם משמש סגן המנהל של "מרכז המחקר לתבונה בהשראת המוח".
יי נראה צעיר לגילו (37), עיניו טובות ולגופו מכנסי טרנינג וקפוצ'ון. ישבנו בחדר פגישות סמוך למשרדו, אל מול נוף העיר האפור, המעורפל, ועוזריו הגישו לנו תה. שאלתי אותו כיצד קיבלו בסין את "עקרונות הבינה המלאכותית של בייג'ינג". "אנשים אומרים, 'זאת סתם הצגה מצד הממשלה בבייג'ינג", הוא אמר לי. "אבל זאת משימת חיי". יי דיבר בחופשיות על ניצול לרעה של הבינה המלאכותית. הוא הזכיר מיזם שהופעל בקבוצה נבחרת של בתי ספר, שבו תוכנות זיהוי פנים שימשו למעקב לא רק אחר נוכחות התלמידים אלא גם אחר תשומת הלב שהקדישו לשיעור. "אני שונא את התוכנה הזאת", אמר. "אני מוכרח להשתמש במילה הזאת, שונא".
הוא המשיך לדבר כך זמן מה, ומנה אינספור יישומים בלתי אתיים של הבינה המלאכותית. "אני מלמד קורס בפילוסופיה של בינה מלאכותית, ואומר לתלמידים שאני מקווה שאיש מהם לא יהיה מעורב ביצירת רובוטים קטלניים. יש להם רק זמן קצר על פני כדור הארץ. הם יכולים להשתמש בעתיד שלהם לדברים רבים אחרים".
יי מכיר בעל פה את הספרות האקדמית על אתיקה טכנולוגית. אבל כששאלתי אותו על היעילות הפוליטית של עבודתו, תשובותיו היו משכנעות פחות. "רבים מאיתנו הוזמנו לשוחח עם הממשלה, ואפילו עם שִי ג'ינגפינג, על הסיכונים האפשריים של הבינה המלאכותית", אמר. "אבל הממשלה עדיין בשלבי למידה, כמו ממשלות אחרות בעולם".
האם יש לך משהו חזק יותר מתהליך הייעוץ, שאלתי. לפעמים האינטרס של הממשלה סותר את עקרונותיך – מי לדעתך ינצח? "אני עצמי עדיין בתהליך הלמידה", השיב.
חברות הזנק סיניות העוסקות בבינה מלאכותית אינן חוששות ממנה כמו יי. אחדות מהן מסייעות לשי לפתח בינה מלאכותית במפורש לשם ניטור האזרחים. השילוב של השלטון החד־מפלגתי עם הנשורת האידאולוגית של התכנון המרכזי הופך את עילית המפלגה לרבת־עוצמה. בעבר הקשר בין הממשלה לתעשיית הטכנולוגיה היה חשאי, אך לאחרונה החלה הממשלה למנות נציגים משלה לחבר המנהלים של חברות טכנולוגיה, כדי להעצים את תאי המפלגה הקומוניסטית שכבר קיימים בחברות פרטיות גדולות.
גם תוצאה חיובית כוזבת – זיהוי אדם כסיכון בגלל התנהגות בלתי מזיקה – תיחשב למועילה. היא תחזק את ההשפעה המצננת של המערכת, כך שאנשים יימנעו אפילו ממראית עין של התנגדות למשטר
מכירת חברת הזנק לשירותי הביטחון של המדינה היא אחת הדרכים המהירות לייצר רווח בתחום הבינה המלאכותית בסין. חברת תקשורת לאומית היא בעלת המניות העיקרית באייפלייטק, ענקית זיהוי הקול הסינית. שיתופי הפעולה נפוצים; כאשר הממשלה משתמשת בתוכנה של אייפלייטק כדי לנטר שיחות, עיתוני הממשלה מספקים לחברה סיקור חיובי. בראשית השנה, יישומון החדשות האישי טוּטִיאַו ניסח מחדש את הצהרת המשימה שלו כדי לבטא מטרה מלהיבה חדשה: התאמת דעת הקהל למשאלות הממשלה. שוּ לי, מנכ"ל סנסטיים, תיאר לאחרונה את הממשלה כ"מקור הנתונים הגדול ביותר" של החברה שלו.
לא ברור אם מידע פרטי יכול בכלל להישמר מפני ממשלת סין. המהפכה הטכנולוגית מקשה על הימנעות ממונופולים של מידע. אפילו באמריקה, עם מסורת אכיפת ההגבלים העסקיים המתוחכמת שלה, האזרחים עדיין לא אזרו די רצון להוציא את המידע על הרבים מידיהם של המעטים רבי־העוצמה. אבל מונופולים של מידע פרטי כפופים לפחות לכוח הריבון במדינות שהם פועלים בהם. מונופול מידע של מדינת לאום יכול להימנע רק בידי העם, ורק אם יש לעם די כוח פוליטי.
העם הסיני אינו יכול להשתמש בבחירות כדי להדיח את שִי ג'ינפינג. ובלי רשות שופטת עצמאית, הממשלה יכולה לטעון שעליה להחזיק בכל ערוצי המידע כדי לזהות איומים על ה"יציבות". או לדרוש בחשאי מידע מחברות, כפי שקרה בראשית התפרצות הקורונה. אין עיתונות עצמאית שתדליף דיווחים על דרישות כאלה.
בכל פעם שפניו של אדם מזוהות או מוקלטות או שמסריו הכתובים מיורטים, המידע הזה עשוי להיקשר מיידית למספר הזהות שלו, לרישומו הפלילי, לטופסי המס שלו, לרישומי הבעלות שלו ולהיסטוריית ההעסקה שלו. אפשר להצליב אותו עם מידע רפואי ודי־אן־איי – ומשטרת סין מתגאה בכך שהיא מחזיקה את אוסף המידע הגנטי הגדול בעולם.
השתלטות עולמית זוחלת
יי ואני שוחחנו על תרחיש עולמי שהחל להטריד אתיקנים של בינה מלאכותית ומתעניינים בסין. בתרחיש הזה, רוב חוקרי הבינה המלאכותית בעולם מכירים בסכנות הטכנולוגיה לאנושות, ומפתחים כללי שימוש חזקים בבינה מלאכותית. כולם – חוץ ממדינה אחת, שמדברת יפה על אתיקת בינה מלאכותית, אבל רק כחיפוי שיסתיר את מעשיה. בינתיים המדינה הזאת בונה מערכות ניטור לאומיות מוכנות לשימוש, ומוכרת אותן למקומות שהדמוקרטיה בהם סבירה או בלתי קיימת. רודנים מוּפָּלים באמצעות הפיכות צבאיות או מחאות המונים, שדורשות ארגון פוליטי. אך ארגון כזה ייעשה בלתי אפשרי בחברות מנוטרות בחודרניות.
יי ביטא חשש מהתרחיש הזה, אבל לא נקב בשמה של סין עצמה. הוא לא היה חייב לעשות זאת: ארצו היא כיום היצואנית הגדולה בעולם של ציוד ניטור באמצעות בינה מלאכותית. במלזיה, הממשלה עובדת עם יִיטוּ, חברת הזנק סינית העוסקת בבינה מלאכותית, כדי ליישם טכנולוגיית זיהוי פנים למען משטרת קואלה־לומפור, כהשלמה למערכת סיטי בריין. חברות סיניות מתחרות גם על הרכבת מצלמות זיהוי פנים על 110 אלף עמודי התאורה בסינגפור.
בדרום אסיה, ממשלת סין סיפקה ציוד ניטור לסרי־לנקה. החברה הסינית דָאהוּאַ מציבה מצלמות מעקב המסתייעות בבינה מלאכותית ברחובות בירת מונגוליה. הרחק משם, בסרביה, חברת הסלולר ואווי מסייעת להפעיל "מערכת עיר בטוחה", הכוללת מצלמות זיהוי פנים וסיורים משותפים של כוחות משטרה סרביים וסיניים שנועדו לסייע לתיירים הסינים לחוש בטוחים.
בראשית שנות האלפיים, ענקית התקשורת הסינית ZTE מכרה לאתיופיה רשת אלחוטית עם "דלת אחורית" נגישה לממשלה. לאחר מכן מתנגדי משטר נלקחו לחקירות אלימות, והושמעו להם קטעים משיחות שערכו. קניה, אוגנדה ומאוריציוס מאבזרות ערים ברשתות ניטור בייצור סיני. במצרים, מפתחים סינים חותרים לממן את בניית הבירה החדשה. היא אמורה לפעול על תשתית "עיר חכמה" הדומה לזו של סיטי בריין, אך סַפק המערכת טרם הוכרז. זמביה הסכימה לרכוש ציוד תקשורת סיני ביותר ממיליארד דולרים, כולל טכנולוגיית ניטור רשת. חברת הִיקִיוִויזֶ'ן, היצרנית הגדולה בעולם של מצלמות מעקב בסיוע בינה מלאכותית, מפעילה לשכה ביוהנסבורג.
סין משתמשת ב"הלוואות טורפניות כדי למכור ציוד תקשורת בהנחה ניכרת למדינות מתפתחות, וכך משיגה יכולת לשלוט ברשתות הללו ובמידע שלהן", אמר לי מייקל קרציוס, הטכנולוג הראשי של אמריקה. כאשר ארצות נדרשות ליטול הלוואות, סין יכולה לדרוש שליטה ברשת כחלק מהעסקה, ממש כמו שצבא סין משיג זכויות להפעיל בסיסי צי בנמלים זרים שסין מימנה את בנייתם. "אם אתה נותן לסין גישה בלתי מוגבלת למידע רשתי ברחבי העולם, זו יכולה להיות בעיה רצינית", אמר קרציוס.
קְלַאוּדְווֹק טכנולוגיות, חברה מגוואנגג'ואו שיצרו חוקרי האקדמיה הסינית למדעים, חתמה ב־2018 על חוזה להקמת רשת ניטור לצורכי ממשלת זימבבואה. על פי התנאים נדרשה הממשלה בהררה לשלוח אל משרדי קלאודווק בסין תמונות של תושביה – מידע עשיר למדי, בהתחשב בכך שזימבבואה קלטה הגירה מכל רחבי אפריקה שמדרום לסהרה. התמונות יאפשרו לחברה לכוונן את יכולתה של התוכנה לזהות פנים בעלות עור כהה, שהיו בעבר מורכבות לזיהוי אלגוריתמי.
חברות הבינה המלאכותית של סין מנסות להיכנס גם לאמריקה הלטינית, אזור שממשלת סין מתארת כ"אזור עניין כלכלי ראשי". סין מימנה את 240 מיליון הדולרים שנדרשו לאקוודור לרכישת מערכת הניטור והמצלמות שלה. בוליביה רכשה גם היא ציוד ניטור בעזרת הלוואה מבייג'ינג. ונצואלה השיקה לאחרונה מערכת תעודות זהות לאומית שמתעדת את הנטיות הפוליטיות של האזרחים במאגר מידע שבנתה ZTE. באירוניה קודרת, במשך שנים חברות סיניות הציגו רבים ממוצרי הניטור הללו בתערוכת הביטחון בשינג'יאנג, מולדת האויגורים.
במשרדי־ענק ברחבי סין, עובדים בשכר נמוך יושבים לצד שולחנות ארוכים במשך שעות, מתמללים קובצי קול ומשרטטים קווים סביב חפצים המופיעים בתמונות, כדי לסייע לבינה המלאכותית להבין את המידע הרב שמייצרת אוכלוסיית סין. אבל כדי שהמדינה תצליח להתעלות מעל הבינה המלאכותית תוצרת אמריקה, אוצרות המידע הנרחבים שלה צריכים לעבור עיבוד באמצעות אלגוריתמים המזהים דפוסים מורכבים הרבה מעבר לתובנה האנושית. אפילו מנהלי ענקית החיפוש הסינית "באידו" מודים שכישרונות הבינה המלאכותית הטובים בעולם נמצאים במערב.
בעבר התקשתה סין לשמר את מומחי התוכנה הטובים שלה: רובם עזבו למחלקות מדעי המחשב המעולות באמריקה, ואחר כך לעבודה בעמק הסיליקון. אבל אולי זה משתנה. ממשל טראמפ מקשה על סטודנטים סינים ללמוד בארה"ב. מדען מוביל בגוגל תיאר את מגבלות הוויזה כ"אחד מצווארי הבקבוק הבעייתיים ביותר לפריון המחקר הקבוצתי שלנו".
בינתיים, מחלקות מדעי המחשב בסין מתמקדות לחלוטין בבינה מלאכותית. שלוש מעשר האוניברסיטאות הטובות בעולם בתחום הבינה המלאכותית נמצאות בסין. וזה לפני שהמדינה מסיימת להקים את 50 מרכזי המחקר לבינה מלאכותית ששי הורה על הקמתם במסמך "תוכנית פעולה מוכוונת בינה מלאכותית למוסדות ההשכלה הגבוהה". חברות סיניות שאבו 36 אחוזים מההשקעה הפרטית בתחום הבינה המלאכותית ב־2017, לעומת 3 אחוזים בלבד ב־2015. מהנדסים סינים מוכשרים יכולים להישאר במולדתם, ולעבוד בחברה עולמית סינית מושכת דוגמת טיקטוק.
עד 2030 אולי יעלה בידה של סין להשיג עליונות בתחום הבינה המלאכותית, כחזונו של שי. היא תהיה כנראה הכלכלה הגדולה בעולם, ולכן יהיה לה גם תקציב להוציא על יישומי בינה מלאכותית צבאיים. אולי יהיו לה להקי מל"טים מתוחכמים במיוחד; אולי מערכות נשק אוטונומיות שיוכלו לחזות את תנועות היריב ולקבל הכרעות בשדה הקרב במהירות שבני אדם אינם מסוגלים לה. אלגוריתמים לזיהוי טילים יבטלו את יכולות המכה הגרעינית הראשונה של אמריקה. בינה מלאכותית תביא למפנה במאזן הכוח העולמי.
"אשמיד את המחשב ואלך"
בדרכי החוצה מהמכון למיכון, יי לקח אותי לסיור במעבדת הרובוטיקה שלו. באולם הגדול, סטודנטים לתואר שני השתעשעו בזרוע מתכת ענקית, נטולת גוף, וברובוט קטן דמוי אדם, עטוף בשלד חיצוני אפור. מארחי ואני שוחחנו על עבודתו ליצירת דגם של המוח. הוא אמר שהבנת מבנה המוח היא הדרך הבטוחה ביותר להבנת טבעה של התבונה.
שאלתי את יי כיצד ייראה עתיד הבינה המלאכותית. הוא אמר שהוא יכול לדמיין תוכנה שבנויה על פי דגם של המוח הרוכשת סדרת יכולות בזו אחר זו. לדבריו היא תוכל להשיג משהו דומה להכרה עצמית, ולהיעשות מודעת בהדרגה לעבר ולעתיד. היא תוכל לפתח הנעה פנימית וערכים. השלב האחרון יהיה כשהיא תבין שאחרים ראויים לאהדתה ולהזדהותה. שאלתי אותו כמה זמן יימשך תהליך כזה. "אני חושב שמכונה כזאת תוכל לפעול ב־2030", אמר.
ביקשתי ממנו לדמיין שהדברים יתחוללו בדרך אחרת. נניח שתשלים את דגם המוח הדיגיטלי המפורט שלך, אמרתי, ונניח שהוא ירכוש צורה בסיסית של מודעות; נניח שבמשך זמן מה תוכל לשפר אותו, עד שהוא יעלה על בני אדם בכל משימה, למעט אמפתיה. תשאיר אותו נעול בקופסה עד שתהיה בטוח שהוא עשה את הצעד האחרון. אבל תאר לך שאז שירותי הביטחון של הממשלה פורצים למשרד שלך: הם יודעים שיש לך בינה מלאכותית במחשב. הם רוצים להשתמש בה כתוכנה של תשתית חומרה חדשה – חייל מלאכותי דמוי אדם. הם כבר ייצרו מיליארדים מהם, ולא אכפת להם אם החיילים המלאכותיים יחושו אמפתיה. הם דורשים את הסיסמה שלך. תיתן להם אותה?
"אשמיד את המחשב שלי ואלך", אמר יי. באמת? עניתי. "כן, באמת", הוא אמר. "בנקודה הזאת זה יהיה הזמן להתפטר וללכת להתמקד ברובוטים שיוצרים אומנות".
אם אתם מבקשים מלך־פילוסוף שישרטט את עתידה של אתיקת הבינה המלאכותית, תוכלו למצוא גרועים מיי. אבל מסלול הפיתוח של הבינה המלאכותית יעוצב לא רק בידי מדענים חכמים ונאורים, אלא באמצעות מערכות חופפות של מדיניות מקומית ועולמית. לכן עליונות סינית בתחום הבינה המלאכותית היא חזון מטריד כל כך: המבנה הפוליטי של המדינה מעודד את השימוש הגרוע ביותר בטכנולוגיה הזאת. הבינה המלאכותית תרוסן רק לפי צורכי המפלגה.
עזבתי את המכון לקראת צהריים. גשם ירד. יי הזמין לי מונית וליווה אותי החוצה, אוחז מטרייה מעל לראשי. יצאתי מהעיר האסורה, מקום המושב ההיסטורי של קיסרי סין. אפילו במסעי הקצר אל מרכז העיר באתי במגע עם מדינת הניטור הסינית. לפני שנכנסנו לכיכר טיאננמן נסרקו פניי ודרכוני. בכיכר, שוטרים נושאי מגינים חסיני כדורים רצו בטור בין קבוצות התיירים. הנוכחות הכבדה של המשטרה הייתה תזכורת מצמררת לסטודנטים המוחים שנרצחו כאן ב־1989. חומת האש הגדולה של סין הוקמה, בין השאר, כדי להבטיח שהטבח לא יידון לעולם ברשת. כדי לחמוק מאלגוריתמים מצנזרים, פעילים סינים מסתמכים על "ממים" – מורד אלמוני המתקרב לטור ברווזי גומי – כדי להנציח את רצח הסטודנטים.
הצנזורה המפלגתית, המבוססת על בינה מלאכותית, מרחיקה לכת מעבר לטיאננמן. הממשלה עצרה בראשית השנה מתכנתים סינים שניסו לשמר כתבות על מגפת הקורונה, שהועלמו מהרשת. כמה מהכתבות נאסרו משום שמתחו ביקורת על שי ועל המפלגה. הם שרדו רק כי הגולשים ציטטו אותם ברשת החברתית, כששזורות בהם מילות מקודדות וסמלונים שתוכננו להטעות את האלגוריתמים. מעקפים מהסוג הזה הם קצרי טווח: מבקריו של שי נהגו ללעוג לו תוך שימוש בתמונותיו של פו הדוב, בשל הדמיון ביניהם, אבל כעת גם פו הדוב מצונזר בסין. יכולתה של המפלגה לערוך את ההיסטוריה והתרבות, תיעשה מקיפה ומדויקת יותר ככל שהבינה המלאכותית של סין תשתפר.
נטילת כוח מממשלה ששולטת במידע בעוצמה רבה כל כך תהיה קשה. אולי יידרשו מיליון מעשים של אי ציות אזרחי, כמו תרחיש השמדת המחשב שדמיין יי. אך אזרחי סין עדיין אינם מתנגדים לניטור. המגפה עלולה גם לגרום לאנשים להעריך עוד פחות את פרטיותם. עד כה, שי תיאר את תגובת הממשלה לנגיף כניצחון ב"מלחמת העם", עוד ביטוי ישן של מאו, המתייחס לגיוס כלל האוכלוסייה לשם ריסוק כוח פלישה. ייתכן שהעם הסיני יהיה צייתן עכשיו אפילו יותר משהיה לפני המגפה.
אבל יש עדויות לכך שצעירי סין – לפחות חלקם – סולדים מהחשאיות הממשלתית בתחילת ההתפרצות. ייתכן שבחשאי מתארגנת תנועת צעירים, ממתינה לרגע הנכון. תושבי הונג־קונג בהחלט חשים את האיום מן הרגע הטכנולוגי־פוליטי הזה. בלילה שלפני בואי לסין, יותר ממיליון מפגינים נהרו לרחובות האי (העיתון הממשלתי החינמי במלוני בבייג'ינג תיאר אותם באופן שקרי כתומכי המשטרה). רבים אחזו מטריות מעל לראשיהם בהפגנת אחווה עם מחאות סטודנטים בשנים עברו, וגם כדי להסתיר את פניהם. כמה מהם הפילו עמוד תאורה בחשד שהותקנה בו מצלמת זיהוי פנים. מאז שי הידק את אחיזתו באי, ותושביו לא יכולים לעשות הרבה נגד פעולותיו, בטח בלי סיועה של תנועת התנגדות מסין היבשתית.
במהלך ביקורי בכיכר טיאננמן, לא ראיתי מוחים. אנשים צעדו סביב בשלווה, הצטלמו עם דיוקנו הענק של מאו. הם אחזו מטריות, אבל רק כדי להגן על פניהם מהשמש של אוגוסט. כשהלכתי ביניהם חשבתי על המקריות ההיסטורית: המערכות הפוליטיות שמגבילות את הטכנולוגיה בראשית התפתחותה מעצבות את עתיד עולמנו. כיוונו הפוליטי של עולמנו תלוי אולי ביכולתו של העם הסיני לדמיין עד כמה מסוכנת תהיה הבינה המלאכותית בידי שלטון ריכוזי. עד שהם יבטיחו את חירותם האישית במחיר גבוה, עמים חופשיים ייאלצו לקוות שהמכונות החכמות ביותר בעולם יורכבו במקומות אחרים.
