هل حُلَّت المشكلة؟
إن نجحنا في بناء نُظم ذكاءٍ اصطناعيٍّ نافعة على نحوٍ مُثبت، فسنُقلِّل خطر احتمالية فقداننا للتحكُّم في الآلات الخارقة. يُمكن للبشرية حينها أن تستمرَّ في تطورها وتجني الفوائد التي تكاد تكون غير مُتخيَّلة التي ستنشأ من القُدرة على السيطرة على ذكاء أكبر بكثير في قيادة حضارتنا لمزيد من التقدُّم. سنتحرَّر من قرونٍ من العبودية كُنا فيها مثل روبوتات تعمل في مجال الزراعة والصناعة والعمل الإداري، وسيكون بإمكاننا استغلال الفُرَص التي تُوفِّرها لنا الحياة على النحو الأمثل. وفي ضوء ذلك العصر الذهبي، سننظُر إلى حياتنا في الوقت الحاضر تمامًا كما تخيَّل توماس هوبز الحياة بدون حكومة: منعزلة وفقيرة وشرِّيرة وبهيمية وقصيرة.
أو ربما لا يكون هذا هو الحال. فقد يحتال أشرار بارعون على احتياطاتنا ويُطلقون آلات خارقة لا يُمكن السيطرة عليها وليس للبشرية قدرة على حماية نفسها منها. وإن نجونا من هذا، فقد نجد أنفسنا نضعُف تدريجيًّا مع نقل المزيد والمزيد من معرفتنا ومهاراتنا للآلات. قد تنصحُنا الآلات بعدم فعل هذا، لأنَّها تُدركُ القيمة الطويلة الأمد للاستقلالية البشرية، لكنَّنا قد نتجاهلُ نصائحها.
(١) الآلات النافعة
يقوم النموذجُ القياسيُّ الذي يعتمد عليه قدْر كبير من تقنيات القرن العشرين على آلاتٍ تسعى على النحو الأمثل لتحقيق هدفٍ ثابتٍ جرى تزويدُها به من الخارج. وكما رأينا، هذا النموذج بالأساس معيب. فهو ينجح فقط إن كان هناك ضمان بأنَّ الهدف كامل وصحيح، أو إن كان من السهولة بمكانٍ إيقاف الآلة. وهذان الشَّرطان لن يتحقَّقا مع اكتساب الذَّكاء الاصطناعي لمزيدٍ من الفاعلية والقوة.
إن كان من المُمكن أن يكون الهدف المزوَّد من الخارج خاطئًا، فمن غير المنطقي أن تتصرَّف الآلة وكأنه صحيح على الدَّوام. ومن هنا جاءت رُؤيتي للآلات النافعة: الآلات التي أفعالُها من المتوقَّع أن تُحقِّق أهدافنا «نحن». ولأنَّ تلك الأهداف موجودة بداخلنا وليس بداخل الآلات، فستحتاج الآلات إلى معرفة المزيد عما نرغبُ فيه بالفعل من ملاحظة الاختيارات التي نقوم بها وكيفية قيامنا بها. إن الآلات المُصمَّمة على هذا النحو ستكون خاضعةً للبشر؛ ستطلبُ الإذن منهم وستتصرَّف بحذَرٍ عندما تكون التوجيهات غير واضحة وستسمح بأن يُوقف تشغيلها.
مع اكتسابنا لمزيدٍ من الخبرة من خلال إعداداتٍ أخرى، أتوقَّع أننا سنتفاجأ بنطاق وطلاقة سلوكيات الآلات عند تفاعُلها مع البشر. إننا مُعتادُون بشدة على غباء الآلات التي تُنفِّذ سلوكياتٍ مُبرمجة غير مرنة أو تسعى إلى تحقيق أهدافٍ مُحدَّدة، ولكنَّها غير صحيحة، والتي قد نُصدم من مدى المنطقية الذي أصبحت عليه. إن تقنية الآلات النافعة على نحوٍ مُثبت هي أساس توجُّهٍ جديدٍ للذَّكاء الاصطناعي ولبُّ علاقةٍ جديدةٍ بين البشر والآلات.
يبدو من المُمكن أيضًا تطبيق أفكارٍ مُماثلة فيما يتعلَّق بإعادة تصميم «الآلات» الأخرى التي من المُفترض أنها تخدُم البشر، بدءًا من النُّظُم البرمجية العادية. لقد تعلَّمنا كيفية إنشاء برمجيات بكتابة روتينات فرعية، كلٌّ منها لها «مواصفات» معروفة جيدًا تُحدِّد المخرجات التي ستنتج عن أحد المُدخلات؛ تمامًا كما هو الحال بالنِّسبة إلى زرِّ الجذر التربيعي في أيِّ آلةٍ حاسبة. تلك المُواصفات هي المُقابل المُباشر للهدف المُدمج في أيِّ نظام ذكاءٍ اصطناعي. ليس من المفترض من الروتين الفرعي أن يتوقَّف وينقُل التحكُّم إلى الطبقات الأعلى في النظام البرمجي حتى يُنتج مخرجاتٍ تتوافق مع المواصفات. (هذا يجب أن يُذكِّرك بنظام الذكاء الاصطناعي الذي يستمرُّ في مسعاه الضيِّق الأُفُق إلى تحقيق الهدف المُعطى له.) سيتمثَّل النهج الأفضل في السماح بوجود عدم يقين في المواصفات. على سبيل المثال، يُعطى للروتين الفرعي، الذي يقوم بعملية حوسبة رياضية معقَّدة على نحوٍ مُخيف، حدُّ خطأ يُحدِّد الدقة المطلوبة للإجابة، ويكون عليه إنتاجُ حلٍّ صحيح داخل نطاق حدِّ الخطأ هذا. في بعض الأحيان، قد يتطلَّب هذا أسابيع من العمل الحوسبي. بدلًا من ذلك، قد يكون من الأفضل أن تكون هناك دقَّة أقل فيما يتعلق بالخطأ المسموح به، بحيث يمكن أن يأتي الروتين الفرعي بعد ٢٠ ثانية ويقول: «لقد وجدتُ حلًّا بأن «هذا» جيد. فهل هذا يكفي أم تُريدني أن أستمرَّ؟» في بعض الحالات، قد يستمرُّ طرح السؤال طوال الطريق حتى المستوى الأعلى من النظام البرمجي بحيث يُمكن للمُستخدِم البشريِّ أن يُوفِّر مزيدًا من الإرشاد للنِّظام. وحينها ستُساعد الإجابات البشرية في تنقيح المواصفات في كل المستويات.
يُمكن تطبيق نفس نوع التفكير على كياناتٍ مثل الحكومات والشركات. تتضمن العيوب الواضحة في الحكومات إبداء اهتمامٍ شديد بالتفضيلات (المالية وكذلك السياسية) لمن هم في سُدَّة الحكم وإبداء اهتمام قليل جدًّا بتفضيلات المحكومين. من المفترض أن تنقل الانتخابات التفضيلات للحكومة، لكن يبدو أن لها نطاق عرضٍ صغيرًا على نحوٍ ملحوظ (مشابهًا بعض الشيء لبايت واحد من المعلومات كلَّ بضع سنوات) بالنسبة إلى مُهمة مُعقَّدة كهذه. في عددٍ كبير جدًّا من الدول، الحكومة ببساطة وسيلة لفرض مجموعة من الناس إرادتهم على الآخرين. أما الشركات، فتقوم بجُهودٍ أكبر لمعرفة تفضيلات العملاء، سواء من خلال أبحاث السوق أو التقييم المُباشر في شكل قرارات الشراء. على الجانب الآخر، إن صياغة التفضيلات البشرية من خلال الإعلان والمؤثِّرات الثقافية وحتى الإدمان الكيميائي تُعدُّ طريقةً مقبولة للقيام بالعمل.
(٢) حوكمة الذَّكاء الاصطناعي
للذَّكاء الاصطناعي القُدرة على إعادة تشكيل العالم، وتجبُ إدارة عملية إعادة التَّشكيل وتوجيهها بطريقةٍ ما. إن كان العددُ الهائل للمُبادرات الخاصَّة بتطوير حكومة فعَّالة للذَّكاء الاصطناعي مؤشِّرًا لنا، فنحن في وضعٍ مُمتاز. فعدد كبير من الجهات تُشكِّل معًا هيئة أو مجلسًا أو لجنة دولية. لقد حدَّد المُنتدى الاقتصاديُّ العالميُّ حوالي ٣٠٠ مُحاولة مُنفصلة لتطوير مبادئ أخلاقية للذَّكاء الاصطناعي. ويُمكن النظر إلى صُندوق بريدي الإلكتروني باعتباره دعوةً واحدة طويلة لعقد مُنتدى قمةٍ عالمي عن مُستقبل الحوكمة الدولية للتأثيرات الثقافية والأخلاقية لتقنيات الذكاء الاصطناعي الناشئة.
هذا يختلف تمامًا عما حدث في مجال الطاقة النَّووية. فبعد الحرب العالمية الثانية، أمسكت الولايات المتَّحدة بكلِّ أوراق اللَّعب النووية في يدَيها. وفي عام ١٩٥٣، اقترح الرئيس الأمريكي دوايت أيزنهاور على الأمم المتَّحدة إنشاء هيئةٍ دولية لتنظيم استخدام التقنيات النووية. وفي عام ١٩٥٧، بدأت الوكالة الدولية للطاقة الذَّرية عملها، وهي تُعدُّ الجهة الدولية الوحيدة المُشرفة على التطوير الآمن والمُفيد للطاقة النووية.
هؤلاء، إذن، هم اللاعبون الذين يمتلكون غالبية أوراق اللعب في هذا المجال. إن مصالحهم لا تتوافق معًا على نحوٍ مثالي، لكنَّهم كلهم لديهم رغبة في السيطرة على نُظم الذكاء الاصطناعي عندما تُصبح أكثر قوة. (الأهداف الأخرى، مثل تجنُّب تفشي البطالة، يشترك في تبنيها الحكومات والباحثون الجامعيون، ولكن ليس بالضَّرورة الشركات التي تتوقَّع التربُّح على المدى القصير من أكبر استخدامٍ مُمكن للذكاء الاصطناعي.) ولدعم هذا الاهتمام المُتبادل والقيام بتحرُّك مُتناسق، هناك مُنظَّمات لها «سلطة الدعوة إلى الاجتماعات»، وهذا يعني، على وجه التحديد، أنَّ المُنظَّمة إن نظَّمت اجتماعًا، فسيقبل الناسُ دعوة المشاركة فيه. فبالإضافة إلى الجمعيات المهنية، التي يُمكن أن تجمع باحثي الذَّكاء الاصطناعي معًا، ومجموعة «الشراكة في الذكاء الاصطناعي»، التي تجمع معًا الشركات والمعاهد غير الهادفة للرِّبح؛ فإنَّ الدعاة الأساسيِّين إلى الاجتماعات هم الأمم المتَّحدة (فيما يتعلَّق بالحكومات والباحثين) والمُنتدى الاقتصادي العالمي (فيما يتعلَّق بالحُكومات والشركات). وبالإضافة إلى ذلك، اقترحت مجموعة الدول الصناعية السبع الكُبرى إنشاء لجنة دولية معنية بالذكاء الاصطناعي، على أمل أن تكبُر وتُصبح يومًا شيئًا في حجم اللجنة الحكومية الدولية المعنية بتغيُّر المناخ التابعة للأمم المتحدة. إن التقارير الرنانة تتضاعف كما تتكاثرُ الأرانب.
في ظلِّ كل هذا النشاط، هل هناك احتمال لحُدوث تقدُّمٍ حقيقيٍّ فيما يتعلَّق بعملية الحوكمة؟ ما قد يدعُو إلى الدهشة أنَّ الإجابة هي نعم، على الأقل تدريجيًّا. إن العديد من الحكومات حول العالم تستعين بخدمات جهاتٍ استشارية لمساعدتها في عملية تطوير التشريعات؛ ربما المثال الأبرز هو مجموعة الخبراء الرفيعي المُستوى المعنية بالذَّكاء الاصطناعي التابعة للاتحاد الأوروبي. بدأت الاتفاقيات والقواعد والمعايير في الظهور فيما يتعلَّق بمسائل مثل خصوصية المُستخدمين وتبادُل البيانات وتجنُّب الانحياز العرقي. وتعمل الحكومات والشركات جاهدة من أجل الصياغة النهائية للقواعد الخاصة بالسيارات الذاتية القيادة؛ تلك القواعد التي لا محالة لها عناصرُ عابرة للحُدود. هناك إجماع على أنَّ القرارات الخاصَّة بالذكاء الاصطناعية يجب أن تكون قابلةً للتَّفسير حتى يُمكن الوثوق في نُظم الذَّكاء الاصطناعي، وهذا الإجماع قد تجلَّى بالفعل جزئيًّا في تشريع النظام العام لحماية البيانات الخاصِّ بالاتِّحاد الأوروبي. وفي كاليفورنيا، يحظُر قانون جديد أن تنتحل نظمُ الذَّكاء الاصطناعي شخصية البشر في ظروفٍ مُعيَّنة. هذان الأمران الأخيران — القابلية للتفسير والانتحال — بالتأكيد لهما بعض الأثر فيما يتعلَّق بمسألتي أمان الذكاء الاصطناعي والتحكُّم فيه.
في الوقت الحاضر، لا تُوجَد توصيات قابلة للتنفيذ يُمكن رفعها للحكومات أو غيرها من المؤسسات فيما يتعلَّق بمسألة الإبقاء على السيطرة على نُظم الذكاء الاصطناعي. إن التشريع الذي يقول مثلًا: «يجب أن يكون نظام الذكاء الاصطناعي آمنًا وقابلًا للتحكم فيه» لن يكون له وزن؛ لأنَّ هذين المصطلحين ليس لهما حتى الآن معنًى دقيق، ولأنه لا تُوجَد منهجية هندسية معروفة على نطاقٍ واسع لضمان الأمان والقابلية للتفسير. لكن دعنا نكن متفائلين ونتخيل أنه بعد بضعة أعوام من العمل قد ثبتت صلاحية النهج المُتمثِّل في الذكاء الاصطناعي «النافع على نحو مُثبت» من خلال كلٍّ من التحليل الرياضي والتطبيق العملي في شكل تطبيقات مُفيدة. ربما، على سبيل المثال، يُصبح لدينا مُساعد رقمي شخصي يُمكننا الوثوق فيه، وجعلُه يستخدم بطاقات الائتمان الخاصة بنا ويُفرز مكالمتنا وبريدنا الإلكتروني، ويُدير أمورنا المالية؛ لأنه قد تكيَّف مع تفضيلاتنا البشرية وعرف متى يُمكنه المُضيُّ قُدُمًا بنفسه، ومتى من الأفضل أن يطلب مشورتنا. وربما تكون سياراتنا الذاتية القيادة قد تعلَّمت أُسس حُسن السلوك من أجل التفاعل بعضها مع بعض ومع السائقين البشريين، ومن المُفترَض أن تتفاعل الروبوتات المنزلية على نحوٍ سلس حتى مع أكثر الأطفال الصغار عنادًا. ومع وقوف الحظ في صفنا، لن يجري شوي أي قطط من أجل إعداد العشاء، ولن يجري تقديم لحم الحيتان لأعضاء حزب الخضر.
في تلك المرحلة، قد يكون من المُمكن تحديد قوالب التصميم البرمجي التي يجب أن تتوافق معها الأنواع المختلفة من التطبيقات حتى يجري بيعُها أو حتى تتصل بالإنترنت، تمامًا كما يجب على التطبيقات أن تمرَّ بعددٍ من الاختبارات البرمجية قبل أن يكون بالإمكان بيعُها على «أب ستور» الخاص بشركة أبل أو «جوجل بلاي». يستطيع مُصنِّعُو البرامج اقتراح قوالب إضافية، ما دام بإمكانهم تقديمُ براهين على أن القوالب تُلبِّي المتطلبات (التي ستكون حينها معرفة جيدًا) الخاصة بالأمان وقابلية التحكُّم. ستكون هناك آليات لإرسال تقارير بالأخطاء وتحديث النظم البرمجية التي تُنتج سلوكًا غير مرغوب فيه. وسيكون من المنطقي أيضًا إنشاء مدونات سلوك مهنية متعلقة بفكرة برامج الذكاء الاصطناعي النافعة على نحوٍ مُثبت ودمج الطرق والمُبرهنات المناظرة في المنهج الدراسي ذي الصلة من أجل إلهام الممارسين في مجال تعلُّم الآلة والذكاء الاصطناعي.
لكن في النهاية سيكون على الصناعة التِّقنية أن تُدرك أن منتجاتها مُهمة، وما دامت منتجاتها كذلك، فمن المهم ألا تكون لها تأثيرات ضارَّة. هذا يعني أنه ستكون هناك قواعد تحكم طبيعة التفاعُل مع البشر وتحظر التصميمات التي، لنقُل، تتلاعب باستمرار بالتفضيلات أو تؤدي إلى سلوكٍ إدماني. أنا ليس لديَّ شكٌّ في أن التحوُّل من عالَم غير ذي قواعد إلى آخر ذي قواعد سيكون مُؤلمًا. دعنا نأمُل ألا يتطلَّب التغلُّب على مقاومة الصناعة حدوثَ كارثةٍ في حجم كارثة تشيرنوبل (أو ما هو أسوأ من هذا).
(٣) إساءة الاستخدام
إن تنظيم صناعة البرمجيات قد يكون أمرًا مُؤلمًا، لكنه لن يكون محتملًا بالنسبة إلى الأشرار الذين يُخطِّطون للهيمنة على العالم من أوكارهم السرية الموجودة تحت الأرض. لا شك أن العناصر الإجرامية والإرهابيين والأمم المارقة سيكون لديها دافع لتجنُّب وجود أيِّ قيود على تصميم الآلات الذكية حتى يُمكن استخدامها للتحكم في الأسلحة أو لابتكار أنشطةٍ إجرامية وتنفيذها. إن الخطر لا يكمُن في أن الخُطط الشرِّيرة سوف تنجح بقدْر ما أنه يتمثَّل في أنها ستفشل بسبب فقْد القُدرة على التحكُّم في النُّظم الذكية السيئة التصميم، وخاصَّة تلك المدمجة فيها أهداف شرِّيرة والمتاح لها استخدام أسلحة.
اقترح البعض، من بينهم نيك بوستروم، أن نستخدم نُظم الذكاء الاصطناعي الخارقة النافعة الخاصة بنا في اكتشاف أيِّ نُظم ذكاء اصطناعي ضارَّة أو سيئة السلوك على أيِّ نحوٍ آخر وتدميرها. بالتأكيد، يجبُ أن نستخدم الأدوات المتاحة أمامنا، مع تقليل تأثير ذلك على حريتنا الشخصية، لكنَّ صورة البشر الذين يحتشدُون في الأوكار، وهم يفتقدون القُدرة على الدفاع عن أنفسهم ضدَّ القوات الهائلة التي تنتج عن مواجهة الآلات الخارقة، بالكاد مُطمئنة حتى لو كان بعضها في صفِّنا. سيكون من الأفضل كثيرًا إيجاد طرق لوأد الذكاء الاصطناعي الضار في المهد.
تتمثَّل أولى الخطوات الجيدة في إطلاق حملة ناجحة ومُتناسقة ودولية ضد الجرائم الإلكترونية، بما في ذلك توسيع نطاق اتفاقية بودابست المعنية بالجرائم الإلكترونية. سيُشكِّل هذا قالبًا تنظيميًّا للجهود المستقبلية المُمكنة لمنع ظهور برامج الذكاء الاصطناعي غير المُتحكَّم فيها. وفي نفس الوقت، سيُولِّد فهمًا ثقافيًّا واسعًا يرى أن إنشاء هذه البرامج، سواء عن قصد أو عن غير قصد، يُعدُّ على المدى الطويل بمنزلة عملٍ انتحاريٍّ يُقارَن بصنع كائنات وبائية.
(٤) الضعف واستقلالية البشر
ألا يُمكنك أن ترَي … أننا نحن من نموت وأن الآلة هي الشيء الوحيد الذي يحيا حقًّا هنا بالأسفل؟ لقد صنعنا الآلة كي تُنفِّذ إرادتنا، ولكنَّنا لا نملك أن ندفعها إلى تنفيذها الآن. لقد سلبتنا إحساسنا بالمكان وإحساسنا باللمس، وقد شوَّهت كل الصلات البشرية وشلَّت أجسادنا وإراداتنا. … نحن موجودون فقط ككريات دمٍ تسري في شرايينها، وإذا كانت قادرة على العمل بدوننا، فسوف تتركنا نموت. أوه، أنا ليس لديَّ حل؛ أو لديَّ على الأقل حل واحد، والذي يتمثَّل في إخبار الناس مرارًا وتكرارًا أنني رأيت تلال ويسيكس كما رآها ألفريد عندما أطاح بالدنماركيين.
لقد عاش أكثر من مائة مليار شخص على كوكب الأرض. وقد قضوا تقريبًا تريليون سنة يتعلَّمون ويُعلِّمون حتى يُمكن لحضارتنا أن تستمرَّ. وحتى الآن، الاحتمالية الوحيدة للاستمرار هي عن طريق إعادة الإنتاج في عقول الأجيال الجديدة. (إنَّ الورق يُعَدُّ وسيلة نقلٍ جيدة، ولكنه لا يفعل شيئًا حتى تصل المعرفة المسجَّلة عليه إلى عقل الشخص التالي.) هذا يتغير الآن؛ فعلى نحوٍ مُتزايد، من المُمكن أن ننقُل معرفتنا إلى الآلات التي يُمكنها بمفردها إدارة حضارتنا بالنيابة عنا.
بمجرَّد أن يختفي دافعنا العملي لتوريث حضارتنا للجيل التالي، سيكون من الصعب للغاية عكس العملية. وسيضيع فعليًّا تريليون سنة من التعلُّم المُتراكم. وسنُصبح ركَّابًا في باخرةٍ عملاقة تقودها الآلات، في رحلة مُستمرَّة للأبد؛ تمامًا كما هو مُتخيَّل في فيلم الرسوم المتحركة «وول-إي».
إن العواقبي الذكيَّ سيقولُ: «من الواضح أن تلك نتيجة غير مرغوب فيها للاستخدام المفرط للأتمتة! إن الآلات المُصمَّمة على نحوٍ مُلائم لن تفعل هذا أبدًا!» هذا صحيح، لكن فكر فيما يعنيه هذا. قد تدرك الآلات جيدًا أن الكفاءة والاستقلالية البشرية سِمتان مُهمَّتان للكيفية التي نفضل أن نعيش بها حياتنا. وقد تُصرُّ على أن يحتفظ البشر بتحكُّمهم في مصلحتهم الشخصية ومسئوليتهم عنها؛ بعبارةٍ أخرى، سترفُض الآلات فعل ذلك. لكن نحن البشر الكُسالى قصيري النظر قد نرفُض هذا. تُوجَد هنا مأساة مشاع؛ بالنسبة لكل فرد، قد يبدو من غير المُجدي الانهماك في سنواتٍ من التعلُّم المُضني لاكتساب معرفة ومهاراتٍ تمتلكُها الآلات بالفعل؛ لكن إن فكر الجميع بهذه الطريقة، فسيفقد الجنس البشريُّ على نحوٍ جماعي استقلاليته.
يبدو أن حلَّ هذه المشكلة ثقافي وليس تقنيًّا. سنحتاج إلى حركةٍ ثقافية لإعادة تشكيل مُثلنا وتفضيلاتنا باتجاه الاستقلالية والوساطة والقُدرة، وبعيدًا عن الترف والاعتمادية؛ إن شئتَ القول، نسخة ثقافية حديثة من الرُّوح العسكرية لإسبرطة القديمة. سيعني هذا هندسة التفضيلات البشرية على نطاقٍ عالمي إلى جانب إحداث تغييراتٍ جذرية في الطريقة التي يعمل بها مجتمعنا. ولتجنُّب جعل الوضع السيئ أسوأ، قد نحتاج إلى مساعدة الآلات الخارقة، من أجل تشكيل الحل وفي العملية الفعلية لتحقيق توازُن لكلِّ فرد.
إن هذه العملية مألوفة لأيِّ أبٍ لطفلٍ صغير. فبمُجرَّد أن يتجاوز الطفل المرحلة التي لا يستطيع فيها مساعدة نفسه، تحتاج الرعاية الأبوية إلى توازنٍ مُتطوِّر دائمًا بين فعل كل شيءٍ للطفل وتركه بالكامل لرغباته يفعل ما يريد. في مرحلة مُعينة، يدرك الطفل أن الأب قادر على نحوٍ تام على ربط رباط حذاء الطفل ولكنَّه يختار عدم فعل ذلك. هل هذا سيكون هو مُستقبل الجنس البشري؛ أي سيعامل كطفل، على الدوام، من جانب آلات تفوقه بشدة؟ أشكُّ في ذلك. أحد الأسباب هو أن الأطفال لا يُمكنُهم إيقاف آبائهم. (شكرًا للرب!) ولا يُمكننا أيضًا أن نُصبح حيوانات أليفة أو حيوانات تُودَع في حدائق الحيوان. لا يُوجَد حقًّا نظير في عالمنا الحالي للعلاقة التي ستكون بيننا وبين الآلات الذكية النافعة في المستقبل. سيكون علينا الانتظار لمعرفة كيف ستنتهي تلك المرحلة الختامية من اللعبة.
