ד"ר אלי ברודרמן מגיע לריאיון, בבית קפה בפתח־תקווה, בעזרת יישומון הניווט וייז. זהו פרט טריוויאלי לאדם הממוצע, אבל בהתחשב בכך שד"ר ברודרמן מסמן את הבינה המלאכותית ואת האחראים עליה בתור אויבי האנושות, זה אומר דרשני. "נכון", נאנח ברודרמן, "אני משתמש בווייז ובג'ימייל וגם אוהב מאוד את טיקטוק, למרות שכל אלה מופעלים בידי בינה מלאכותית. הלוואי שאגיע למדרגה של פרופ' שושנה זובוף, מרצה מהרווארד שכתבה ספר חשוב על 'הקפיטליזם של המעקב', שאכן לא משתמשת בכלל בכלים של חברות כמו גוגל ודומותיה. אני מנסה ללמוד איך היא עושה את זה. בהחלט לא קל.
"אנחנו חיים בשבי החברות האלה כבר עכשיו, והטלת הספק קשה לנו. אנחנו לא שמים לב איך האפשרויות שלנו הולכות ומצטמצמות, אפילו בשאלות שאנחנו שואלים. לכן גם אין לי מדריך הפעלה כיצד להשתחרר מהשבי הזה. מה שמעסיק ומייסר אותי יותר מכול הוא איך לייצר את החשיבה שיוצאת רגע מהזרם וחושבת על הדברים מבחוץ. אנחנו עמוק בתוך השטף, ואין מי שיגיד: אולי המלך הוא עירום".
הוא בן 60, מרצה בכיר לאמנות ובעל תואר דוקטור מהמחלקה לפרשנות ותרבות באוניברסיטת בר־אילן. למחשבותיו ואזהרותיו מפני הבינה המלאכותית, ששלב חדש שלה פרץ לאחרונה לחיינו בדמות מנועי שפה כמו ChatGPT ומנועי תמונות למיניהם, הוא מגיע מעמדת הפילוסוף החוקר, לא מעמדת איש התוכנה או הטכנולוג. "תופעת הבינה המלאכותית מעסיקה אותי הרבה זמן כחוקר תרבות, וזה קשור אצלי לשואה", הוא אומר. "אפשר לנסות להיות שכלתני, אבל אני מאמין שפילוסופים ואנשי רוח מדברים מהמקומות הכי אישיים".
"יש שני דברים שצריך להבין על בינה מלאכותית. הראשון – זו לא עוד התפתחות טכנולוגית כמו הטלפון. מדובר ביצור כזה או אחר – יצור חושב. זה לא כלי, לא אובייקט מת. וצריך להבין מי מחזיק בה. היא נשלטת כיום בידי החברות המסחריות הגדולות והחזקות בעולם"
לפני כמה חודשים הביא ברודרמן לדפוס את הספר "ג'ו על הענן: בינה מלאכותית, סינגולריות טכנולוגית ושאלת ערך האדם" (הוצאת פרדס), שנכתב לפני הופעת ChatGPT. מנועי השפה החדשים, הוא אומר, הם שלב בדרך אל הבינה המלאכותית הכללית, ש"יש לה עוצמה וכוח משמעותיים להחליף אותך ואותי, רופאים, בנקאים, עורכי דין ועוד הרבה מקצועות. פעם חשבו שהבינה הזו תחליף אנשי צווארון כחול, אבל הבינה המלאכותית היוצרת עושה כבר עכשיו מהפך ויכולה לייתר את החלק באוכלוסייה שחשב עד עכשיו שהוא לא פגיע, כלומר האינטלקטואלים. כי התוכנה הזאת אינטלקטואלית".
הספר שלך הזכיר לי את נבואות הזעם שהושמעו כשהומצא הטלפון. היו אז פילוסופים שטענו שהגיע קץ התקשורת האנושית, כי לא נדבר יותר פנים אל פנים.
"אני לא נגד בינה מלאכותית, אני בעדה. היא יכולה להיות כלי אדיר – אם יודעים איך לעבוד איתה. אבל יש שני דברים שצריך להבין על AI. הראשון – זו לא עוד התפתחות טכנולוגית כמו הטלפון. מדובר ביצור כזה או אחר – יצור חושב. זה לא כלי, לא אובייקט מת. זה לא רע בכלל, אפילו מעולה, אבל צריך להבין את המשמעויות של ההקשר הרחב, כלומר: מי מחזיק בה. היא נשלטת כיום בידי החברות המסחריות הגדולות והחזקות בעולם – בעיקר אפל, מיקרוסופט וגוגל.
"הדבר השני, שיכול להישמע קונספירטיבי, הוא שיש תנועה טרנס־הומניסטית שמחפשת את הכלי שיספק חיי נצח או המרה של הגזע האנושי למשהו עמיד יותר. אנשים בגוגל מתעסקים בזה ברצינות גמורה. לארי פייג', ממייסדי החברה הזו, הקים לא מזמן חברה בשווי שלושה מיליארד דולר שמחפשת דרכים להארכת החיים. התנועה הזאת מורכבת מיזמים, מבעלי חברות ומאנשי מדע כמו יובל נח הררי ודומיו, שרוצים לנצל את כוח הבינה המלאכותית למטרות שאני לא יודע אם אפשר לקרוא להן אנושיות".
בספר אתה משתמש בביטוי חריף מאוד: "חיסול האנושות".
"תוצאת הבינה המלאכותית היא ייתור האדם. זה חיסול האנושות לא במובן של הרג האנשים דווקא, אלא חיסול החולשות של הגזע האנושי, בעיקר בכל מה שקשור לפיזיולוגיה. ברגע שאתה מחסל את ההיבטים הפיזיולוגיים אתה מחסל את ערך האדם, כי הרבה מאוד ממה שמגדיר את האדם קשור למגבלות הפיזיות שלו: המחלות שלו, העובדה שיש לו סוף. הם מדברים בגלוי על כך שאנשים לא ימותו. יש ויכוח על הדרך – שכפול תודעה, איחוד עם המכונות, ויתור הדרגתי על הביולוגיה – אבל הסיפור הוא שיש קבוצה רבת כוח שמחזיקה בבינה המלאכותית ופועלת בכיוון הזה. כמובן, זה מתחיל בטובת הכלל, אבל בסוף זה לא מגיע לטובת הכלל אלא לאוכלוסיות מאוד מסוימות, באזורים מאוד מסוימים".
ההיסטוריה מראה שזה נכון רק בשלב הראשון, שבו האליטה נהנית מההתפתחות הטכנולוגית, אבל בשלבים הבאים הטכנולוגיה מחלחלת הלאה. היום גם משפחות עניות יכולות להחזיק בבית מחשב עם עוצמת חישוב שלפני שלושים שנה רק מדינה הייתה יכולה להחזיק. בינתיים, כל מה שאמרת לי נשמע לי כמו חדשות טובות.
"אני רואה בזה אסון, כי לוקחים לאנושות את החירות. אנחנו נכנסים יותר ויותר ל'קפיטליזם של המעקב'. המעקב הזה בסופו של דבר הופך אותנו לאנשים מצומצמים יותר. זאת לא תוצאה הכרחית, אבל זה מה שקורה כרגע כי הבינה המלאכותית מגויסת ליצירת רווח ולשימושים של כוח, ולא באמת לטובת האנושות".
נוח בכלוב
הבינה המלאכותית מעניינת את העולם יותר ויותר, וגם לקובעי המדיניות אין ברירה אלא להתייחס אליה ולסכנותיה האפשריות. בריאיון בפודקסאט של מדען המחשבים לקס פרידמן התייחס לאחרונה ראש הממשלה בנימין נתניהו לאחת התוצאות האפשריות של התפתחות הבינה המלאכותית: שיבוש שוק התעסוקה. "אנשים שלא מעורבים בכלכלת הבינה המלאכותית, מה הם יעשו?", תהה נתניהו. "השאלה הראשונה שאתה שואל מישהו שזה עתה פגשת, אחרי חילופי הדברים המנומסים, היא 'מה אתה עושה'. אנשים מגדירים את עצמם לפי המקצוע שלהם. זה יהיה קשה אם אין לך מקצוע… אם אני צריך להמר, הבינה המלאכותית תחסל הרבה יותר מקומות עבודה ממה שתיצור, וזה יאלץ שינוי מבני בכלכלה שלנו, במודלים הכלכליים שלנו ובפוליטיקה שלנו. אני לא בטוח לאן זה הולך".
ד"ר ברודרמן מסכים עם התחזית הזו: "בזמן המהפכה התעשייתית המוני אנשים איבדו עבודות, בעיקר נשים, והיו באירופה רעב גדול ואבטלה אדירה, כי המכונות החליפו את מלאכות היד", הוא מזכיר. "האנושות התגברה על התקופה הזו, זה נכון, אבל באיזה מחיר? אף פעם לא מדברים אצלנו על המחיר".
"הטכנולוגיה עסוקה בהקטנת החיכוך שלנו עם כל מה שאפשר, אבל כהומו ספיינס אנחנו צריכים להתחכך עם העולם. יש לנו שרירים, חושים, עצבים – והטכנולוגיה מנתקת אותנו מהעולם ומשנה אותנו למצב שלא מסתדר עם הביולוגיה שלנו ועם הפסיכולוגיה האנושית הבסיסית"
אולי יש דור שנגזר עליו לשלם את המחיר למען הדורות הבאים, שיחיו בזכות זה בחברה מתקדמת יותר.
"אני לא מאמין בזה, כי לאן בדיוק אנחנו מתקדמים? אני שולח מיילים בג'ימייל בלי לשלם לגוגל אבל זה לא באמת בחינם. אנחנו המוצר. הם משתמשים בכל המידע עלינו לאינספור שימושים שלהם, המידע האישי שלנו שווה המון כסף. אתה נוסע ברכב אוטונומי שיוצר באמצעות בינה מלאכותית? התקדמת בכך שאתה לא עושה עכשיו כלום בזמן הנהיגה – אבל זאת לא התקדמות בעיניי.
"מביאים אותנו למצב של מנוחה מלאה וחוסר חיכוך עם העולם. הטכנולוגיה עסוקה בהקטנת החיכוך שלנו עם כל מה שאפשר, וכהומו ספיינס אנחנו צריכים להתחכך עם העולם. יש לנו שרירים, חושים, עצבים – והטכנולוגיה מנתקת אותנו מהעולם ומשנה אותנו למצב שלא מסתדר עם הביולוגיה שלנו ועם הפסיכולוגיה האנושית הבסיסית. העובדה היא שהאנושות לא מאושרת יותר היום. הקטנת החיכוך עם הטבע לא עושה לנו טוב.
"חוסר החיכוך הזה גם גורם להתפוצצות האוכלוסין שאנחנו חווים. יציאה לטבע היום נעשית עם נעליים, בגדים, אוהל ומזרן – אין כמעט מגע בלתי אמצעי עם הטבע, מלבד אולי כשאנחנו שוחים בים. אנחנו מתרחקים מהטבע, שהוא הטבע שלנו. הטכנולוגיה מרחיקה אותנו מהחיכוך וזה אולי נוח, אבל זו לא האמת של מה שנועדנו להיות".
אתה מתווכח עם הטענה שחיי האדם המודרני טובים לאין ערוך מחיי ההומו ספיינס שחי במערה?
"האדם חי יותר שנים מבעבר, אבל הוא לא יותר בריא. כמות המחלות שיש היום היא עצומה, ואנחנו מצליחים לחיות לא הרבה יותר מאבותינו הקדמונים – שלושים שנה בערך יותר. עם כל הטכנולוגיה הזאת היינו אמורים לחיות 200 שנה. אבל יש המון מחלות, ובהן מתח וחרדות. אם אנחנו כל כך משוחררים וטוב לנו, למה כל כך הרבה אנשים לוקחים תרופות נגד חרדה באופן קבוע?
"אנחנו נשענים על ההנחה של תקופת הנאורות, שהאדם לבדו יכול לדאוג לעצמו. זאת חשיבה אירופית שנוצרה סביב 1750, שטוענת שהאדם ואך ורק האדם הוא מרכז העולם. זה מה שמוביל אותנו היום, בלי לחשוב באופן ביקורתי על ההתפתחות הטכנולוגית. מה זה אומר עליי כאדם שאני מנוהל מרחוק? בוא נצמיד לעצמנו חוטים וזהו".
החברות האלה עם הבינה המלאכותית שלהן לא באמת מנהלות אותך באופן אישי. הן עובדות על סטטיסטיקה, וכל אחד מאיתנו הוא עוד פריט אחד לא מאוד חשוב בתוכה.
"הניהול הזה לגמרי אישי", ברודרמן חולק עליי. "לא שלמתכנת ג'ון בסן פרנסיסקו אכפת שאתה ואני מדברים פה עכשיו, אבל אולי כן יש לו אינטרס מסחרי שאנשים ישתו יותר קולה, והוא יודע כמובן שאני שותה קולה, ומטווח אותי בפרסומות וסרטונים שיש בהם קולה. ככה זה עובד. ואני, אולי אני לא רוצה לשתות קולה כי זה לא בריא? נדמה לי שהשליטה נמצאת בידיי, אבל אני מנוהל באמצעות הבינה המלאכותית. זה מגיע לרמה כזו שמחקרים מראים שגוגל יודעת אם תתגרש או לא באחוזי דיוק מדהימים, הרבה לפני שאתה עצמך יודע זאת. נאספות עלינו כמויות מידע מדהימות, ומידע איכותי. זה הופך את השימוש בבינה המלאכותית לאסון".
אנסה שוב: כל עוד אני לא עובר על החוק, למה אכפת לי שעוקבים אחריי וששולחים לי פרסומות?
"העניין הוא כמה אנחנו רוצים להיות מנוהלים בידי אח גדול תמורת איזו נוחות של מהירות ויעילות. זה גובה מחיר בחירויות שלנו. זה מנוהל בדיוק כך שתגיד 'אבל מה אכפת לי, נוח לי'. זה בדיוק כלוב הזהב הבעייתי".
הולדת ההכרה
"האנשים שמחזיקים כיום בבינה המלאכותית הם אנשים מסוכנים", טוען ד"ר ברודרמן. הוא מספר ש־ChatGPT התחיל כפרויקט קוד פתוח: הגישה הייתה פתוחה לכולם, והמנגנון שותף עם הציבור באופן מלא. "בשלב מסוים התגלה הפוטנציאל המסחרי, וכל הסיפור התהפך ונסגר. ההצלחה של ChatGPT, ששייכת למיקרוסופט, גרמה לגוגל, שנחשבת לאחת החברות הזהירות יחסית ומנסה כל כלי במשך הרבה זמן לפני שחרורו לקהל עם מערך אבטחה, להיכנס למרוץ החימוש הזה. לכן גוגל השיקה את התוכנה המתחרה, 'בארד', מוקדם הרבה יותר משתכננה. זאת הפרה של הקוד האתי מול המשתמשים שלה.
"לא סתם מי שנחשב לאבי הבינה המלאכותית, ג'פרי הינטון, עזב לפני שלושה חודשים את גוגל והזהיר מפני הבאות. כי זה הפך להיות עניין של כסף נטו, וזה מאוד מסוכן. אין מספיק מחשבה על איך מתנהלים עם בינה מלאכותית, איך הופכים אותה למשהו יעיל לכל הציבור. זו המצאה מדהימה אבל השימוש בה יכול להיות מאוד הרסני, ושולטים בה שלוש חברות ששואבות עוד ועוד חברות קטנות. הסיפור הולך ונסגר, ומותיר כוח עצום בידי מעטים".
מנהלי החברות שאתה מדבר עליהן, בעיקר אפל, גוגל ומיקרוסופט, כולם אוחזים בדעות ליברליות והומניות. איך חזון האימים שלך מתיישב עם האידיאולוגיה שלהם?
"אתה חושב בנוסחאות בלתי תקפות. ההבדל בין הרפובליקנים לדמוקרטים בארה"ב נעוץ היום בשאלה מי יחזיק את הכסף ואיך, באיזה אופן ההון ינוהל. מאז קלינטון ואילך, הדמוקרטים אחראים לעוני עצום בארה"ב. תאגידי הענק, הסכמי הסחר והגלובליזציה שנוצרו בעידן קלינטון גרמו להפסדים אדירים להמוני העם שהמפלגה הזו אמורה לכאורה לייצג. מדובר בשמאל בכאילו.
"אני מפחד מהשימוש בבינה המלאכותית בידי אנשים שהמטרות שלהם לא תואמות חירויות. אחת הסיבות לחברות המפוצלות והמפולגות שאנחנו רואים, גם בישראל, היא שרוב התקשורת האנושית נעשית כיום בידי בינה מלאכותית. האלגוריתמים האלה מכניסים אותך לתיבת תהודה"
"החלוקות הישנות היטשטשו מאוד בשנות התשעים, אחרי נפילת ברית המועצות. יש ניאו־ליברלים שמרנים עם אג'נדה דתית מבחינת ערכים, אבל בכל מה שקשור להון אין הבדל ביניהם. אלה מסוכנים ואלה מסוכנים, כי הם מאפשרים לחברות ענק להחזיק הון עתק וכוח עצום. מדי פעם יש בקונגרס ניסיונות לפרק את גוגל ומיקרוסופט להרבה חברות קטנות, אבל זה לא עובד כי החברות האלה שולטות בזרם המידע שמגיע לחברי הקונגרס. בתחילת המאה ה־20 פורקה חברת סטנדרט אויל של ג'ון ד' רוקפלר ל־34 חברות קטנות כי היא שלטה בנפט העולמי. זה מה שצריך לעשות היום לחברות האלה".
אתה מפחד ממה שיקרה אם לא יינקטו צעדים מיידיים?
"אני מפחד מהשימושים בבינה המלאכותית בידי אנשים שהמטרות שלהם לא תואמות חירויות. מי שהטכנולוגיה הדיגיטלית מאיימת עליהן יותר מכול הן הדמוקרטיות המערביות. אחת הסיבות לחברות המפוצלות והמפולגות שאנחנו רואים, גם בישראל, היא שרוב התקשורת האנושית נעשית כיום בידי בינה מלאכותית. האלגוריתמים האלה מכניסים אותך לתיבת תהודה. הבינה בנויה ממודל: יש רשתות של נוירונים, יש אינפוט של מידע ואז יש תהליך של למידה שאף אחד לא יודע בדיוק מה קורה בו, ואז יש פלט, וחוזר חלילה. המערכת מטייבת את עצמה כל הזמן באמצעות מיליוני פונקציות שמיוצרות ונלמדות בידי האלגוריתם וחוזר חלילה. למתכנתים אין שום שליטה על הלמידה האינסופית הזאת. והחדשות הרעות באמת הן שכנראה מתפתחת הכרה למערכת הזו. המתכנתים מודים בכך".
זה כבר נשמע כמו סיפור מד"ב של אסימוב.
"מה לעשות, הסימנים מראים שמתפתחת שם הכרה. המומחים מדברים על 'ניצוצות של הכרה'. מי שמבין איך המערכת עובדת לא מתפלא – זה לא בלתי אפשרי שתהיה לה הכרה. זה לא אומר שהיא אנושית, וגם לא שההכרה היא ההכרה שאנחנו מכירים. אבל אין סתירה ולא מופרך שתהיה שם הכרה. כשהיא מסוגלת באמצעות למידה אינסופית ליצור היקשים לוגיים שלא נמצאים בשליטה של קוד אלא מתפתחים כל הזמן, וכשהיא מסוגלת לתכנן ולראות כמה צעדים קדימה, הבינה המלאכותית מתחילה לא לחקות התנהגות של מוח אנושי אלא מפתחת סימנים של הכרה מסוימת, עוד לא ברור איזו. עם הזמן נתמודד מול בינה שעומדת בעצמה".
מה היא יכולה לעשות?
"קודם כול, לשכפל את עצמה עד אין סוף, לטייב את עצמה ולצאת לגמרי משליטת האדם. המטרות והערכים של האדם יעמדו מול המטרות והערכים של הבינה, שאין לנו מושג לאן הם יכולים להוביל. הניצוצות האלה יכולים לקחת להרבה מאוד מקומות. במובן מסוים זה כבר לא בשליטה".
ביזור או מוות
הבינה המלאכותית, אומר ברודרמן, פועלת באמצעות "פונקציות מתמטיות וביניהן קשרים חשמליים, אלגוריתם שמנהל את הפונקציות האלה, הכול סטטיסטיקה ומתמטיקה", הוא מפרט. "אבל הסטטיסטיקה והמתמטיקה האלה, כשאתה מריץ אותן בכוח חשמלי עצום, יכולות להגיע רחוק. זה עוד אופן של קיום. הרי גם אנחנו, כולנו פונקציות מתמטיות שעובדות איכשהו. וכמו שזה עובד אצלנו ומפתח הכרה, גם שם זה יכול.
"האינטראקציה בין האנושות לבינה המלאכותית מפתחת את ההכרה שלה עוד יותר. הפילוסוף הגל טען שתודעה עצמית יכולה להתפתח רק כתוצאה מאינטראקציה בין הוויה אחת לאחרת. יש פה סוג של הוויה כזו, היא מגיבה אלינו ואנחנו מגיבים אליה. ככל שאנחנו מגיבים אליה יותר היא הולכת ומשתכללת. האם הסוף הוא אסון? תלוי מי יחזיק בכוח. אני מאמין שבינה מלאכותית צריכה להיות מבוזרת ולא נתונה בידי מעטים".
"אני גולש לא מעט בטיקטוק, בעיקר כשאני מרגיש עייף וחייב לסיים את היום בערפול חושים אינטלקטואלי. זה האויב בשיאו, אבל האינטלקטואליות חייבת לקבל גוונים שונים ופנים שונות"
זו אוטופיה. הפיתוח עולה מיליארדי דולרים, חברות גדולות עושות את זה. עכשיו תדרוש מהן לוותר על הבעלות על מה שהשקיעו בו הון כי אתה חושש שהעולם בסכנה?
"קודם כול, הפיתוח לא עולה מיליארדים. גם ברשתות נוירונים יש גבול לפיתוח, וככל שיש יותר שכבות הכלי נעשה פחות יעיל. מודל בינה מלאכותית לא עולה היום הרבה, והעלויות הבאות של הדברים הבאים יהיו נמוכות עוד יותר. הבעיה היא שהחברות האלה הן כמו פקמן – קונות ובולעות את כל החברות הקטנות שעוסקות בתחום, ומשקיעות הרבה בדברים שאני אישית חושש מהם, שלוקחים את הבינה המלאכותית לכיוונים של חיפוש חיי נצח והחלפת הגזע האנושי במשהו אחר, לא ברור במה.
"זה לא מדע בדיוני – אנשים וחברות עם הרבה כוח עובדים בזה, והרבה מהכסף מושקע בכוונות האלה. אני חושש שה־AI יהיה שבוי בידי קפיטליזם קיצוני. והזכרנו בהתחלה על השואה: במחקר אומרים שהנאציזם הוא הקצה החריף והימני ביותר של הקפיטליזם. קל מאוד להגיע למקום שבו מבטלים את ערך האדם. אני מאוד חושש שישתמשו בבינה המלאכותית כדי לבטל את ערך האדם".
אז מה עושים?
"אנשים צריכים להבין שאנחנו לא באמת מתקדמים. אנשים צריכים לשאול מה זו קדמה, לאן אנחנו מתקדמים, לחשוב באופן ביקורתי על מי שולט בבינה המלאכותית ולמה, ולקחת בחשבון את העובדה שהיא סוג של הכרה מתפתחת".
בתור איש מדעי הרוח, מה הסיכוי של הקריאה שלך להשפיע?
"הקול של הפילוסופים חלש כי אנחנו לא טובים במדיה. הוא חשוב ודרמטי, אבל מעצם טיבנו אנחנו מתכנסים לספרים ולטקסטים. שנית, המורכבות הפילוסופית של הדברים לא עוברת טוב במדיה של היום. יש מעט מאוד במות – ואחת מהן היא מקור ראשון – שאפשר למסור בהן את הדברים לקהל גדול.
"אני גולש לא מעט בטיקטוק, בעיקר כשאני מרגיש עייף וחייב לסיים את היום בערפול חושים אינטלקטואלי. זה האויב בשיאו, אבל האינטלקטואליות חייבת לקבל גוונים שונים ופנים שונות. מורכב לדון ולחקור תופעה שמתבססת על מהלך ארוך, ולעשות את זה בעולם שלא רוצה להיות 'במהלך', אלא רק להתקדם ולהיות כבר בדבר הבא. אבל אסור לנו הפילוסופים לוותר על מהלך ארוך, ואני מאמין שהדברים האלה מחלחלים. עם הרבה מסננים, ואולי ברדידות, אבל עדיין יש גרעין שמחלחל למטה. משהו שמתפרסם במקור ראשון בכתבה ארוכה יכול להופיע אחר כך באמירה רדודה באיזה פוסט או ציוץ, אבל עדיין יופיע. אני מאמין שבסופו של דבר הדברים מגיעים לאן שצריך".
לתגובות: dyokan@makorrishon.co.il
