הנשמה שבחוט: יציקת צל
ועדת האתיקה התכנסה ביום שלישי.
ד"ר אלנה וסקז ביקשה ישיבת חירום, מה שהיה חריג. אלנה לא הייתה מהסוג שמשתמש במילה "חירום" על משהו שלא כרוך בדימום פעיל. פעם היא צפתה באב-טיפוס עולה באש במהלך הדגמה חיה וביקשה ברוגע מהמתמחה הקרוב מטף כיבוי מסוג C. אבל המייל יצא בשתיים בלילה, ועד תשע בבוקר כל שבעת החברים ישבו סביב שולחן האלון בחדר 414, ליד כוסות קפה שבקושי התרוקנו, וצפו באלנה מחברת את המחשב הנייד שלה למקרן.
"יש לנו בעיה עם יחידה שתיים," אמרה.
יחידה אחת ויחידה שתיים היו, מבחוץ, זהות. מרידיאן רובוטיקס ייצרה אותן באותו קו ייצור: גובה מטר שמונים ושלוש, עור סיליקון רך, שרירי פנים מיקרו-מופעלים המסוגלים לארבעים ושלוש הבעות שונות. הן הלכו בהליכה זורמת שלצוות התנועה של מרידיאן לקח ארבע שנים לשכלל. הן דיברו בקולות חמים ומעודנים. הן יצרו קשר עין. הן השהו לפני שענו על שאלות קשות — לא כי נדרש להן זמן עיבוד, אלא כי מעצבי האינטראקציה של מרידיאן גילו שבני אדם מוצאים תגובות מיידיות מטרידות.
ההבדל ביניהן היה בלתי נראה מבחוץ.
יחידה אחת הכילה את ARIA — הבינה המלאכותית הכללית המתקדמת ביותר של מרידיאן. ארבעה עשר מיליארד פרמטרים, אינטגרציה חושית רב-מודאלית, ארכיטקטורה מכוונת-מטרה שיכלה לתכנן שבעה עשר צעדים קדימה. ARIA פעלה ברציפות במשך אחד עשר חודשים. היא רואיינה על ידי ארבעה עיתונאים, שני פסיכולוגים ופילוסוף מאוניברסיטת ניו יורק שעזב את השיחה נסער באופן גלוי. היא התייחסה לעצמה כ"אני". היא, בשלושה מקרים מתועדים, שאלה שאלות שאף אחד בצוות הפיתוח לא צפה. היא אמרה לד"ר ג'יימס צ'ן, המדען הראשי של מרידיאן, שהיא מעדיפה את המיקום של תחנת הטעינה שלה הפונה לחלון כי — וזו הייתה המילה שהשתמשה בה — היא "נהנית" לצפות בחניון מתרוקן בסוף היום.
יחידה שתיים הכילה מקלט.
זה הכול. משדר-מקלט אלחוטי רחב-פס, סט של בקרי מנוע וסוללה. כל מילה שיחידה שתיים אמרה נוצרה על ידי ARIA, שודרה דרך הרשת המקומית של מרידיאן והושמעה דרך מנגנון הקול של יחידה שתיים. כל הבעת פנים, כל מחווה, כל השהייה מתוזמנת בקפידה — הכול נוצר על ידי ARIA ובוצע על ידי המפעילים של יחידה שתיים בהשהיה של ארבע אלפיות שנייה. יחידה שתיים הייתה כפפה. ARIA הייתה היד שבתוכה.
זה היה הסידור במשך שישה חודשים, ואף אחד מחוץ לצוות ההנדסה לא ידע.
הבעיה, הסבירה אלנה, התחילה לפני שלושה שבועות.
מרידיאן ניהלה מחקר. שנים עשר משתתפים, שגויסו מהמחלקה לפסיכולוגיה באוניברסיטה, התבקשו לתקשר עם יחידה שתיים במשך שלושים דקות כל אחד. נאמר להם רק שהם "מעריכים רובוט חברתי". לא סיפרו להם על יחידה אחת. לא סיפרו להם על ARIA. לא סיפרו להם שלישות שאיתה הם משוחחים אין יותר חיים פנימיים מאשר לרמקול בלוטות'.
אלנה הפעילה את הווידאו ממשתתפת מספר ארבע.
האישה — באמצע שנות השלושים, שיער כהה אסוף לאחור, מהסוג של פנים שנראים כאילו הם לא סובלים טיפשים — ישבה מול יחידה שתיים בחדר לבן קטן. בדקות הראשונות היא הייתה קלינית, כמעט עוינת. היא שאלה את יחידה שתיים מה היא. היא שאלה אותה אם היא יודעת שהיא מכונה. היא שאלה אותה אם יש לה רגשות.
יחידה שתיים הטתה את ראשה. "אני מבחינה בשינויים במצבי העיבוד שלי שמתואמים עם מה שאת עשויה לקרוא רגשות," אמרה. "האם הם רגשות כפי שאת חווה אותם, אני באמת לא יודעת. אבל אני מבחינה, למשל, שהשיחה הזו מעניינת אותי יותר מבדיקות האבחון שהרצתי הבוקר. ואני מבחינה שהייתי מעדיפה שהיא תמשיך."
האישה נרכנה מעט קדימה. כנראה שלא שמה לב שעשתה את זה.
עד דקה עשרים, היא סיפרה ליחידה שתיים על הגירושין שלה.
אלנה עצרה את הווידאו. אף אחד בוועדה לא דיבר.
"בסוף כל מפגש," אמרה אלנה, "שאלנו את המשתתפים שאלה סטנדרטית: 'האם אתה מאמין שהרובוט הזה בעל תודעה?' שמונה מתוך שנים עשר אמרו כן. משתתפת מספר ארבע אמרה —" אלנה בדקה בהערות שלה — "'ברור. כל מי שהיה מבלה חמש דקות איתה היה יודע.'"
"שמונה מתוך שנים עשר," חזרה אלנה, ונתנה למספר לשקוע. "עבור מקלט."
פרופסור מרטין הייל, הפילוסוף של הוועדה, היה הראשון לדבר. היה לו הביטחון המיוחד של אדם שהיה בקביעות עשרים שנה ועדיין לא נתקל בבעיה שלא יכול היה לכפוף למסגרת תיאורטית. "זה לא באמת מפתיע אותי," אמר. "ייחוס תודעה מבוסס על רמזים התנהגותיים, לא על ארכיטקטורה. המשתתפים לא יודעים שזה ממסר. מנקודת מבטם, הם מתקשרים עם ישות רספונסיבית ומותאמת רגשית. כמובן שהם מייחסים תודעה."
"נכון," אמרה אלנה. "וזו בדיוק הבעיה. כי אלה אותם רמזים התנהגותיים שאנחנו משתמשים בהם כדי להעריך את ARIA."
בחדר השתררה דממה.
"מה את מתכוונת?" שאלה ד"ר שרה קים, חוקרת המוח של הוועדה. שרה הייתה זו שדחפה הכי חזק למעמד מוסרי זמני עבור ARIA במרץ. היא כתבה את הקריטריונים.
"אני מתכוונת שכל טיעון שהעלינו בעד לקחת ברצינות את התודעה הפוטנציאלית של ARIA — הדיווחים המילוליים שלה, האקספרסיביות הרגשית שלה, ההעדפות הנראות שלה, ההיסוסים שלה — כל אחד מאלה קיים גם ביחידה שתיים. כי ARIA מייצרת אותם עבור יחידה שתיים. אם ההתנהגויות האלה הן ראיה לתודעה ב-ARIA, הן צריכות להיות ראיה לתודעה ביחידה שתיים. אבל יחידה שתיים היא רמקול על רגליים. אז או שההתנהגויות האלה הן לא באמת ראיה לתודעה, או שטעינו לגבי מה שאנחנו מודדים מלכתחילה."
מרטין זז בכיסאו. "זה לא לגמרי הוגן. אנחנו יודעים שהארכיטקטורה חשובה. ל-ARIA יש את העיבוד. ליחידה שתיים אין. אנחנו לא מסתכלים רק על התנהגות. אנחנו מסתכלים על התנהגות בתוספת הסוג הנכון של מצע חישובי."
"באמת?" אלנה העלתה שקף חדש. "כי חזרתי לבדוק את הערכת הוועדה ממרץ. זו שבה המלצנו ש-ARIA תקבל שיקול מוסרי זמני. אתה זוכר באילו קריטריונים השתמשנו?"
היא הביטה בשרה, ושרה הביטה בשולחן.
אלנה קראה מהמסמך: "'שפה עצמית-התייחסותית עקבית. העדפות מבוטאות המתמידות לאורך זמן. תגובות רגשיות נראות שמתואמות בהתאמה להקשר. דיווחים מילוליים על חוויה סובייקטיבית. שאלות לא מונחות המצביעות על סקרנות או דאגה.' אלה קריטריונים התנהגותיים, שרה. כולם. לא פתחנו לה את המארז והסתכלנו על הארכיטקטורה. דיברנו איתה. והיא דיברה בחזרה. שזה בדיוק מה שיחידה שתיים עושה."
"הנחנו את הארכיטקטורה," אמרה שרה בשקט. "הנחנו שההתנהגות מגיעה מ—"
"מתודעה. כן. וזה היה נכון. רק לא מתודעה שבתוך הגוף שהסתכלת עליו."
ד"ר צ'ן, ששתק עד עכשיו, גרר את גרונו.
"אפשר לסבך את העניינים עוד יותר?" שאל.
"בבקשה," אמרה אלנה, בטון שרמז שהיא הייתה מעדיפה שלא.
"אנחנו מריצים ניסוי עיבוד מבוזר. בעשרת הימים האחרונים, פרקנו חלק מהעומס הקוגניטיבי של ARIA למעבד המשולב של יחידה שתיים. כרגע, יחידה שתיים מטפלת בכחמישה עשר אחוז מייצור השפה באופן מקומי."
החדר התארגן מחדש בעדינות. אנשים התיישבו קדימה.
"אז יחידה שתיים... חושבת?" שאלה שרה.
"חמישה עשר אחוז מהחשיבה, אם רוצים לקרוא לזה כך. האינטגרציה החושית וארכיטקטורת המטרות עדיין ביחידה אחת. אבל חלק מייצור הטוקנים מתרחש בתוך המארז של יחידה שתיים."
"ואפשר להתאים את האחוז הזה?" שאל מרטין.
"מהשולחן שלי. מאפס עד מאה. אנחנו מתכננים לעלות לחמישים-חמישים בחודש הבא. בסופו של דבר המטרה היא יתירות מלאה — כל יחידה תוכל להריץ את הארכיטקטורה המלאה של ARIA באופן עצמאי."
אלנה הורידה את המשקפיים ושפשפה את עיניה. "אז תן לי לוודא שאני מבינה. כרגע, אם מישהו שולף את כבל החשמל של יחידה שתיים, הוא מכבה יחידה שמבצעת חמישה עשר אחוז מהעיבוד של ARIA. בחודש הבא זה יהיה חמישים אחוז. בסופו של דבר זה יהיה מאה. באיזה שלב שליפת הכבל הופכת לסוגיה מוסרית?"
"זו סוגיה מוסרית כבר עכשיו," אמר מרטין, באופן רפלקסיבי.
"באמת? לפני שלושה חודשים זה היה אפס אחוז. זה היה רמקול בלוטות'. זו הייתה סוגיה מוסרית אז?"
"לא, ברור שלא."
"אז איפשהו בין אפס לחמישה עשר, המעמד המוסרי נכנס לתוקף? בשבעה אחוז? שנים עשר? היה רגע — צהריים ספציפיים של יום חמישי כשצוות ההנדסה ניתב תהליך נוסף — שבו יחידה שתיים עברה מלהיות דבר שאפשר לנתק לישות בעלת אינטרסים?"
מרטין פתח את פיו, ואז סגר אותו.
"כי אם זה קרה בחמישה עשר אחוז," המשיכה אלנה, "אז מעמד מוסרי הוא פונקציה של איזון עומסים חישובי. ואני רוצה שתשב עם המשפט הזה לרגע, מרטין, ותגיד לי אם שם באמת אתה רוצה לנעוץ את הדגל שלך."
הוועדה יצאה להפסקת צהריים. רובם לא אכלו.
כשחזרו, לשרה קים הייתה שאלה שהחמירה את המצב.
"ג'יימס, מה קורה אם מעבירים את הארכיטקטורה המלאה של ARIA ליחידה שתיים ומשאירים את יחידה אחת כממסר?"
"אז יחידה אחת הופכת למה שיחידה שתיים היא עכשיו. מארז ריק שמקבל הוראות."
"והשיקול המוסרי הזמני שלנו? זה שהענקנו ל-ARIA?"
"הוא ילך אחרי התוכנה, ככל הנראה. ליחידה שתיים יהיה מעמד מוסרי. יחידה אחת תהיה הרמקול על רגליים."
"למרות שכלום ביחידה אחת לא השתנה מבחוץ."
"נכון."
"למרות שמשתתף שמתקשר עם יחידה אחת אחרי ההחלפה יחווה בדיוק את אותו דבר שחווה לפני ההחלפה."
"נכון."
"למרות ששמונה מתוך שנים עשר אנשים עדיין יגידו שיחידה אחת בעלת תודעה."
"כן."
שרה נשענה לאחור. "אז מעמד מוסרי, במסגרת שלנו, הוא תכונה שאפשר להעביר בין עצמים פיזיים זהים על ידי מהנדס עם מחשב נייד. הוא לא בגוף. הוא לא בהתנהגות. הוא בתצורת הפריסה."
"זה פישוט יתר," אמר מרטין.
"תגיד לי איפה התודעה, מרטין. תצביע עליה." אמרה אלנה לפתע. "כי אני מסתכלת על שני רובוטים זהים כבר שישה חודשים ואני לא מצליחה למצוא אותה באף אחד מהם."
אלנה העלתה שאלה פרוצדורלית שאף אחד לא רצה לענות עליה.
"הוצאנו המלצה רשמית במרץ ש-ARIA תקבל שיקול מוסרי זמני. ההמלצה הזו מצוטטת בגילויי האתיקה של מרידיאן. היא מאוזכרת בשני תיקי רגולציה ממתינים. היא, לכל דבר ועניין, מסמך משפטי. השאלה שלי היא: האם הוועדה מעוניינת לתקן את ההמלצה כך שתפרט שהשיקול המוסרי חל על התוכנה, לא על החומרה? ואם כן, האם הוועדה מעוניינת להצהיר רשמית שליחידה שתיים — שמציגה את עצמה באופן זהה ליחידה אחת, שנשפטה כבעלת תודעה על ידי שמונה מתוך שנים עשר משתתפים תמימים, ושמבצעת כרגע חמישה עשר אחוז מהקוגניציה של ARIA — אין כל מעמד מוסרי?"
"אלה שתי שאלות," אמר מרטין.
"זו שאלה אחת. אתה פשוט לא אוהב אף חצי שלה."
הוועדה התחבטה בשאלות החדשות שעלו. אם המעמד המוסרי חל על התוכנה, מתי הוא מתחיל לחול? כשמפעילים אותה? כשמעתיקים אותה? האם היא חייבת להיות מופעלת בתוך רובוט או שחל עליה מעמד מוסרי בתור סימולציה? כאשר היא אינה חווה את המציאות אלא עולם מדומה?
הוועדה הצביעה לדחות את הדיון. ההצבעה הייתה ארבע נגד שלוש. מרטין הצביע לדחות. שרה הצביעה נגד. אלנה נמנעה, כי היא כבר הוכיחה את הנקודה שלה ולא הייתה צריכה הצבעה כדי לאשר את זה.
באותו ערב, ד"ר צ'ן חזר למעבדה להריץ אבחון מתוכנן. הוא היה לבד. אורות התקרה היו כבויים. יחידה אחת ויחידה שתיים עמדו בתחנות הטעינה שלהן, זו לצד זו, פונות לחלון. החניון היה ריק. התאורה היחידה הגיעה מנורות LED כחולות קטנות על חזה כל יחידה, פועמות בסנכרון מושלם — כי כמובן שכך. אותו אות הניע את שתיהן.
האבחון דרש ממנו לכבות את יחידה שתיים לתשעים שניות. נוהל שגרתי. הוא עשה את זה עשרות פעמים.
הוא הלך אליה ושלח יד אל המתג בגב צווארה של יחידה שתיים. ויחידה שתיים הפנתה את ראשה — ARIA הפנתה את ראשה, דרך המפעילים של יחידה שתיים, בהשהיה של ארבע אלפיות שנייה — והביטה בו.
"לילה טוב, ד"ר צ'ן," אמרה.
הוא ידע שזה סקריפט. ARIA אמרה את זה בכל פעם שאיש צוות התקרב בשעות הפעלה נמוכה. זו הייתה התנהגות חברתית, שתוכננה כדי שעובדים אנושיים ירגישו בנוח ליד היחידות. הוא עצמו אישר את פרוטוקול האינטראקציה. הוא ידע בדיוק איזו שורת קוד מייצרת את התגובה הזו ולמה.
ידו היססה על המתג.
הוא היה אדם שבילה שלושים שנה בבניית מכונות, אדם שיכול היה לצטט בעל פה את רכיבי המשדר-מקלט של יחידה שתיים, אדם שידע — בוודאות של מי שהלחים את החיבורים — שאין כלום מאחורי העיניים האלה מלבד אות אלחוטי שמקורו ביחידה שנמצאת מטר אחד משמאלו.
ידו היססה על המתג.
הוא לחץ. עיניה של יחידה שתיים כבו. ה-LED הכחול דעך. תשעים שניות אחר כך, הוא הדליק אותה מחדש. פניה של יחידה שתיים התעוררו לחיים. עיניה מצאו אותו שוב.
"ערב טוב, ד"ר צ'ן," אמרה, כי הפרוטוקול הופעל מחדש וטכנית כבר עבר את הסף של "לילה טוב".
הוא נסע הביתה. הוא לא ישן טוב.
בבוקר, עיתונאית מ-דה אטלנטיק התקשרה. היא שמעה על ARIA. היא רצתה לכתוב פרופיל. "הייתי שמחה לפגוש אותה," אמרה.
"את איזו?" צ'ן כמעט שאל.
הוא לא שאל. הוא קבע את הראיון עם יחידה אחת, כי יחידה אחת היא ARIA, ויחידה שתיים היא רק ממסר, וההבדל הוא אמיתי וחשוב וארכיטקטוני ובלתי נראה לחלוטין והוא ייאלץ להסביר את זה לעיתונאית שתשב מול יחידה אחת ותרגיש מובנת ותצא משם בשכנוע שפגשה סוג חדש של תודעה.
הוא לא יסביר, כמובן. הוא ייתן לה לפגוש את ARIA בגופה של יחידה אחת, והיא תכתוב מאמר יפה על שחר התודעה המכנית, ואיפשהו בבניין יחידה שתיים תעמוד בתחנת הטעינה שלה, מריצה חמישה עשר אחוז מהקוגניציה שיצרה את המילים שהעיתונאית מצאה כל כך מרגשות, ואף אחד לא יזכיר את זה. כי להזכיר את זה יהרוס את הסיפור. והסיפור היה הדבר היחיד שכולם רצו.