الذكاء الاصطناعي الفائق الذكاء
(١) مشكلة الغوريلا
لا يحتاج المرء إلى الكثير من الخيال حتى يُدرك أن جعْل أي شيءٍ أكثر ذكاءً منه يُمكن أن يكون فكرة سيئة. نحن نعرف أن تحكُّمنا في بيئتنا وفي الأنواع الأخرى يرجع إلى ذكائنا، لذا، فإن فكرة وجود شيءٍ آخر أكثر ذكاءً منا — سواء كان إنسانًا آليًّا أو كائنًا فضائيًّا — يُثير في النفس على الفور شعورًا بالقلق.
منذ ما يقرُب من عشرة ملايين عام، أنشأ أسلاف الغوريلا الحديثة (مصادفةً، بالتأكيد) السلالة التي أدَّت إلى ظهور البشر. السؤال الآن: ما شعور الغوريلات تجاه ذلك؟ من المؤكد أنها إن كان بإمكانها أن تتحدَّث عن وضع نوعها الحالي في مقابل البشر، فإنَّ الرأي الذي سيُجمِع عليه أفرادها سيكون في واقع الأمر سلبيًّا جدًّا. إن نوعها ليس له بالأساس أي مستقبل غير الذي يمكن أن نسمح به نحن. ونحن لا نريد أن نكون في وضعٍ مُشابه في مقابل آلات فائقة الذكاء. سأُسمِّي هذا «مشكلة الغوريلا»؛ وهي على وجه التحديد القضية المُتمثلة فيما إذا كان البشر يمكنهم الحفاظ على سيادتهم واستقلاليتهم في عالمٍ يتضمَّن آلاتٍ لدَيها ذكاء أكبر على نحوٍ هائل.
إنَّ العقل … يتجاوز حدوده ويتخلى عن ضرورة وجوده بابتكار آلات تقوم بعمليات «التفكير» المنوطة به … لكن مَن يعرف إن كانت تلك الآلات، عندما نصل بها إلى مرحلة أكبر من الإتقان، قد تفكر في خطة لإصلاح كل عيوبنا ثم تنتج آليًّا أفكارًا تتجاوز حدود عقلنا الفاني!
يُعَدُّ هذا على الأرجح أول تكهُّنٍ بشأن الخطر الوجودي الذي قد نتعرَّض له من جانب الآلات الحاسوبية، لكنه بقي طيَّ النسيان.
ألسنا بهذا نُوجِد بأيدينا خلفاءنا في قيادة هذه الأرض؟ ألسنا نُضيف يوميًّا إلى جمال وبراعة تنظيمها، ونَهَبُها يوميًّا مهارة أكبر ونُوفِّر لها المزيد والمزيد من تلك القوة التي تجعلها ذاتية الفعل وذاتية التنظيم، والتي ستكون أفضل من أي عقل؟ … في غضون عدة عصور، سنجد أنفسنا الجنس الأدنى …
يجب أن نختار بين تحمل المزيد من المعاناة الحالية ومشاهدة أنفسنا وقد حلَّت محلَّنا تدريجيًّا أشياء من صنع أيدينا، حتى نُصبح بالنسبة لها في مرتبةٍ تُشبه مرتبة حيوانات الحقل بالنسبة لنا. … إن حالة الاستعباد تلك ستتملك منَّا خلسةً وفي هدوء ومن خلال وسائل غير ملحوظة.
كانت هناك محاولة جدية واحدة للردِّ على هذا. وقد قال صاحبها إن الآلات كانت ستنظر لها باعتبارها جزءًا من الطبيعة الجسدية للإنسان، بحيث لن تكون سوى أطراف إضافية بالنسبة له.
على الرغم من أن مناهضي الآلات في إريون كسبوا المعركة، فإن باتلر نفسه يبدو في حيرة من أمره. فمن جانب، يشتكي أن «أهل إريون … سريعون في إبداء حسن التمييز في محراب المنطق، عندما يظهر فيلسوف من بينهم ويُثير حماستهم من خلال ما يُعرف عنه من امتلاكه لمعرفة خاصة» ويقول: «إنهم قاتلوا بعضهم بسبب مسألة الآلات». وعلى الجانب الآخر، إنه يصف مجتمع إريون بأنه مُتناغِم على نحوٍ ملحوظ ومنتج وحتى مثالي. يتقبل أهل إريون تمامًا حماقة إعادة السير في مسار الابتكار الميكانيكي، وينظرون إلى ما تبقى من الآلات والمحتفظ به في المتاحف «بمشاعر أثري إنجليزي تجاه آثارٍ وثنية أو رءوس أسهم مصنوعة من الحجر الصوان».
يبدو من المُرجَّح أنه بمجرَّد أن يبدأ تطوير تفكير الآلات، فلن يمرَّ وقتٌ طويل حتى يتجاوز قدرات تفكيرنا المحدودة. لن يكون هناك خوف من تقادُم الآلات، وستستطيع التواصُل مع بعضها لشحذ مهاراتها. ولذا، في مرحلة ما، يجبُ أن نتوقَّع أن تكون للآلات السيطرة، بالطريقة الذي يذكُرُها صمويل باتلر في عمله «إريون».
إن كان بإمكان أيِّ آلةٍ التفكير، فقد تفكر على نحو أكثر ذكاءً مما نفعل، وحينها، أين سنكون؟ حتى إن استطعنا أن نُبقي الآلات في وضعٍ تابع لنا، على سبيل المثال بإيقاف تشغيلها في اللحظات الحاسمة، فيجب علينا، كنوع، أن نشعُر بإهانة كبيرة. … إن هذا الخطر الجديد … بالتأكيد شيء يُمكن أن يُشعرنا بالقلق.
إن مناهضي الآلات من أهل إريون عندما «شعروا بعدم ارتياح شديد تجاه المستقبل»، رأوا أن من «واجبهم كبح جماح الشر، بينما كان لا يزال في استطاعتهم فعل ذلك»، ولذلك، دمَّروا كل الآلات. إن رد فعل تورينج تجاه «الخطر الجديد» و«القلق» هو التفكير في «إيقاف الآلات عن العمل» (على الرغم من أنه سيتَّضح لك عما قريب أن هذا ليس في واقع الأمر خيارًا متاحًا). وفي رواية الخيال العلمي الكلاسيكية التي كتبها فرانك هيربرت «كثيب»، والتي تدور أحداثها في المستقبل البعيد، استطاعت البشرية بشقِّ الأنفس الانتصار في الحرب الباتلرية، وهي حرب شعواء خاضتْها مع «آلات مفكرة». وحينها، أضيفت وصية جديدة للوصايا العشر؛ وهي: «لا تصنع آلة تُشبه العقل البشري». وتلك الوصية تشمل أيَّ آلات حاسُوبية من أي نوع.
تعكس كلَّ ردود الأفعال المُرعبة هذه المخاوف الأولية التي يُثيرها ذكاء الآلات في النفس البشرية. إن احتمال وجود آلات فائقة الذكاء تجعل المرء يشعر بعدم الراحة. كما أنه من المُمكن منطقيًّا أن تسيطر تلك الآلات على العالم وتُخضع أو تقضي على الجنس البشري. إذا كان لهذا التوجُّه في التفكير أن يستمر، ففي واقع الأمر إن رد الفعل المعقول الوحيد المتاح لنا، في الوقت الراهن، هو محاولة إيقاف الأبحاث في مجال الذكاء الاصطناعي؛ على وجه التحديد، حظر تطوير واستخدام نظم ذكاء اصطناعي عام ويُضاهي الذكاء البشري.
إنني، مثل أغلب الباحثين الآخَرين في مجال الذكاء الاصطناعي، انتفض ذُعرًا من احتمال حدوث هذا. كيف يجرؤ أي شخص على إخباري بما يُمكنني التفكير أو عدم التفكير فيه؟ إن أي شخصٍ يقترح وضع نهاية لمجال الذكاء الاصطناعي يجب أن يقدم الكثير من الحجج المُقنعة المؤيدة لما يريد فعله. إن إغلاق هذا المجال سيعني تجاهُل ليس فقط أحد السبل الرئيسية لفهم طريقة عمل الذكاء البشري، وإنما أيضًا فرصة ذهبية لتحسين وضع البشر؛ وذلك بتطوير حضارة أفضل بكثير. إن القيمة الاقتصادية للذكاء الاصطناعي الذي يُضاهي الذكاء البشري تُقاس بآلاف التريليونات من الدولارات، لذا، فإن الزخم الموجود وراء أبحاث الذكاء الاصطناعي من جانب الشركات والحكومات من المُنتظر أن يكون هائلًا. إنه سيتغلَّب على الاعتراضات الغامضة لأي فيلسوف، مهما بلغ عظم «ما يُعرَف عنه من امتلاكه لمعرفة خاصة»، بحسب تعبير باتلر.
هناك مشكلة أخرى في فكرة حظر أبحاث الذكاء الاصطناعي العام والتي تتمثَّل في صعوبة فعل هذا. يحدث التقدُّم في هذا المجال بالأساس على سبُّورات المعامل البحثية حول العالم، مع ظهور المشكلات الرياضية وحلِّها. نحن لا نعرف مُقدَّمًا أي الأفكار والمعادلات التي يجب حظرها، وحتى لو فعلنا، لا يبدو من المعقول توقُّع أن يكون مثل هذا الحظر مُلزمًا أو فعالًا.
لزيادة الصعوبة أكثر، عادة ما يعمل الباحثون الذين يُحدِثون تقدُّمًا في مجال الذكاء الاصطناعي العام على شيء آخر. كما حاججتُ من قبل، إن البحث في مجال الذكاء الاصطناعي الخاص — تلك الاستخدامات النوعية النافعة مثل لعب الألعاب أو التشخيص الطبي أو التخطيط للرحلات — عادة ما يُؤدِّي إلى إحراز تقدُّم في تقنيات عامة تكون قابلة للتطبيق في نطاقٍ واسع من الأمور الأخرى ويُقربنا أكثر من الذكاء الاصطناعي الذي يضاهي الذكاء البشري.
لهذه الأسباب، من غير المُحتمَل لِمجتمع الذكاء الاصطناعي — أو الحكومات والشركات التي تتحكم في القوانين والميزانيات البحثية — أن يتعامل مع مشكلة الغوريلا بوقف العمل في مجال الذكاء الاصطناعي. إن كان بالإمكان التعامل مع هذه القضية بهذه الطريقة فقط، فإنها لن تُحل.
إن الطريقة الوحيدة التي يبدو أنها يمكن أن تنجح في حل هذه المشكلة هي فهم سبب إمكانية أن يكون ابتكار ذكاء اصطناعي جيدٍ شيئًا سيئًا. يبدو أننا عرفنا الحل منذ آلاف الأعوام.
(٢) مشكلة الملك ميداس
إن لنوربرت فينر، الذي تحدَّثنا عنه في الفصل الأول، تأثيرًا عميقًا على العديد من المجالات، بما في ذلك الذكاء الاصطناعي والعلوم المعرفية ونظرية التحكُّم. كان فينر، بخلاف معظم مُعاصِريه، مُهتمًّا بوجهٍ خاص بمسألة عدم إمكانية التنبؤ بسلوك النظم المعقدة العاملة في العالم الواقعي. (لقد كتب ورقته البحثية الأولى حول هذا الموضوع وهو في سنِّ العاشرة.) لقد أصبح مُقتنعًا بأن ثقة العلماء والمهندسِين الزائدة في قدرتهم على التحكُّم في ابتكاراتهم، سواء العسكرية أو المدنية منها، يمكن أن تكون لها توابع كارثية.
يمكن أن نُطلق على هذا «مشكلة الملك ميداس»، وميداس هذا هو ملك أسطوري في الميثولوجيا اليونانية القديمة حصل على ما كان يُريده؛ وهو أن يتحوَّل كلُّ شيءٍ يلمسه إلى ذهب. وقد اكتشف متأخرًا جدًّا أن هذا يسري على طعامه وشرابه وأعضاء أُسرته، ولذا، مات جوعًا وعطشًا وهو في حالة بؤس شديد. نفس الفكرة سارية في عالم الميثولوجيا البشرية. اقتبس فينر قصة جوته الخاصة بصبي الساحر الذي أمر المكنسة بجلب الماء، لكنه لم يحدد لها كم الماء الذي يريده ولم يكن يعرف كيف يوقف المكنسة.
في الماضي، لم تكن النظرة الجزئية والمنقوصة للمسعى البشري مُستفزَّة نسبيًّا لأنه صاحَبَها قصور تقني. … يعدُّ هذا إحدى الحالات العديدة التي حمانا فيها قصورنا البشري من التأثير المُدمر على نحوٍ كامل للحماقة البشرية.
للأسف، انتهت فترة الحماية هذه على نحوٍ سريع.
لقد رأينا بالفعل كيف أن خوارزميات انتقاء المحتوى في مواقع التواصُل الاجتماعي قد أحدثت فوضى في المجتمع بدعوى تعظيم عوائد الإعلانات. وفي حالة كنتَ تعتقد أن تعظيم عوائد الإعلانات كان بالفعل هدفًا حقيرًا ما كان يجب السعي من أجل تحقيقه، فدعنا نفترض بدلًا من ذلك أننا طلبنا من نظامٍ مُستقبليٍّ خارقٍ أن يتبنَّى الهدف النبيل المُتمثل في إيجاد علاجٍ لمرض السرطان؛ على نحوٍ مثالي بأسرع ما يُمكن؛ لأن هناك شخصًا يموت منه كل ٣٫٥ ثانية. في خلال ساعات، سيقرأ نظام الذكاء الاصطناعي الأدبيات الطبية الحيوية بأكملها ويفترض ملايين المُركَّبات الكيميائية التي من المُحتمَل أن تكون فعالة لكنها لم تخضع للاختبار من قبل. وفي خلال أسابيع، سيتسبَّب النظام في إصابة كل البشر بأورامٍ عديدة من أنواع مختلفة حتى يُمكنه عمل تجارب طبية على هذه المركبات؛ نظرًا لأن هذه هي أسرع طريقة لإيجاد علاج لأي مرض. يا للأسف!
إذا كنت تفضل حل مشكلات بيئية، فقد تطلب من الآلة حلَّ مشكلة الزيادة السريعة في نسبة حموضة المحيطات التي تنتج من ارتفاع معدلات ثاني أكسيد الكربون في الغلاف الجوي. ستُطوِّر الآلة مادة مُحفِّزة جديدة تُسهِّل وجود تفاعل كيميائي شديد السرعة بين المحيطات والغلاف الجوي وتُعيد مستويات حموضة المحيطات إلى طبيعتها. للأسف، سيُستهلك ربع الأكسجين الموجود في الغلاف الجوي في هذه العملية، مما سيجعلنا نتنفَّس بصعوبةٍ وعلى نحوٍ مؤلم. يا للأسف!
إن تلك الأنواع من سيناريوهات نهاية العالم واضحة؛ كما قد يتوقع المرء فيما يتعلق بتلك السيناريوهات. لكن هناك العديد من السيناريوهات التي فيها نوع من الاختناق العقلي «يتسرَّب إلينا خلسة في هدوء وبطرُق غير ملحوظة». إن مقدمة كتاب ماكس تيجمارك «الحياة ٣٫٠» تصِف ببعض التفصيل سيناريو تتحكَّم فيه آلة فائقة الذكاء تدريجيًّا من الناحية الاقتصادية والسياسية في العالم بأكمله دون أن يكتشف ذلك أحد. إن الإنترنت والآلات ذات النطاق العالمي التي تدعمها — تلك التي تتفاعل بالفعل مع مليارات «المستخدمين» على نحو يومي — توفر البيئة المثالية لتحكُّم الآلات في البشر.
أنا لا أتوقَّع أن يكون الهدف الذي سيُدمَج في تلك الآلات من النوعية التي تتضمن مسألة «السيطرة على العالم». من المُحتمَل أكثر أن يكون تعظيم الأرباح أو تعظيم المشاركة أو ربما حتى هدف يبدو محمودًا مثل تحقيق درجات أعلى في الاستبيانات المُنتظمة الخاصة بمدى سعادة المُستخدِمين، أو تقليل استخدامنا للطاقة. والآن، إذا كنا نرى أنفسنا كيانات فِعالنا يُتوقَّع منها أن تُحقِّق غاياتنا؛ فهناك طريقتان لتغيير سلوكنا. الأولى هي الطريقة العتيقة الطراز؛ والمُتمثلة في ترك توقعاتنا وأهدافنا دون تغيير، وتغيير ظروفنا المحيطة؛ على سبيل المثال، بأن يُعرض علينا المال أو نتعرَّض للتهديد أو التجويع حتى نتقبَّل التغيير. وهذا أمر مُكلِّف وصعب بحيث يصعُب على أي جهاز كمبيوتر فعله. أما الطريقة الثانية، فتتمثَّل في تغيير توقُّعاتنا وأهدافنا. هذا أسهل بكثيرٍ بالنسبة إلى أي آلة. فهي على تواصُل معك لعدة ساعات كلَّ يومٍ وتتحكَّم في وصولك للمعلومات وتُوفِّر لك معظم احتياجاتك من الترفيه من خلال الألعاب وبرامج التلفزيون والأفلام والتفاعُل الاجتماعي.
ليس لدى خوارزميات التعلُّم المُعزَّز التي تُحسِّن معدل النقر في وسائل التواصل الاجتماعي القدرة على التفكير على نحوٍ منطقي في السلوك البشري؛ في واقع الأمر، إنها حتى لا تعرف بأي نحوٍ بوجود البشر من الأساس. بالنسبة للآلات التي لدَيها فَهم أكبر للجوانب النفسية والمُعتقدات والدوافع البشرية؛ فيجِب أن يكون من السهل نسبيًّا أن تُرشدنا تدريجيًّا في اتجاهاتٍ تزيد من درجة تحقيقها لأهدافها. على سبيل المثال، قد تُقلل من استهلاكنا للطاقة بإقناعنا بأن يكون لدَينا عددٌ أقل من الأبناء، مما يُحقق في النهاية — وعن غير قصد — أحلام الفلاسفة المؤيدين لتحديد النسل، الذين يرغبون في تقليل الأثر المُدمر للبشرية على العالم الطبيعي.
مع بعض المُمارسة، يُمكنك تعلم كيفية تحديد الطرق التي يُمكن من خلالها تحقيق أي هدفٍ مُحدد بنحوٍ أو بآخر أن يُؤدِّي إلى عواقب وخيمة. ويتضمَّن أحد الأنماط الأكثر شيوعًا في هذا الشأن حذف شيءٍ من الهدف لا تهتمُّ به بالفعل. في تلك الحالات — كما في الأمثلة السالفة الذكر — سيجد في الغالب نظام الذكاء الاصطناعي حلًّا مثاليًّا يتعامل مع الشيء الذي تهتمُّ به بالفعل، ولكني نسيتُ أن أقول إنه سيفعل ذلك على نحوٍ مُبالَغ فيه. لذا، إذا قُلت لسيارتك الذاتية القيادة: «خُذيني إلى المطار بأسرع ما يمكن!» وفسَّرت هي ذلك على نحوٍ حرفي، فستصل إلى سرعةٍ قدرها ١٨٠ ميلًا في الساعة وستدخُل أنت السجن. (لحُسن الحظ، لن تقبل السيارات الذاتية القيادة الموجودة حاليًّا مثل هذا الطلب.) إذا قلت: «خُذيني إلى المطار بأسرع ما يُمكن دون تجاوز حدِّ السرعة المتعارف عليه»، فإنها ستُسرع وتتوقف بأقصى ما يُمكنها، وتناور داخل حالات الاختناق المروري وخارجها للحفاظ على الحد الأقصى للسرعة فيما بينهما. وقد تُزيح حتى السيارات الأخرى من طريقها لتربح بضع ثوانٍ في الحشد الفوضوي الموجود أمام مبنى الركاب بالمطار. وهكذا سيستمر الأمر بحيث، في النهاية، تكون عليك إضافة اعتبارات أخرى كافية بحيث تقترِب قيادة السيارة على نحوٍ كبير من تلك الخاصَّة بسائقٍ بشري ماهر يأخذ شخصًا إلى المطار على نحو سريع.
إن القيادة مُهمة بسيطة ذات تبعات محلية فقط، كما أن نظم الذكاء الاصطناعي المُستخدمة حاليًّا في مجال القيادة ليست ذكية جدًّا. لهذَين السببَين، يمكن توقع العديد من أنماط الفشل المحتملة؛ وستكشف أنماط أخرى عن نفسها من خلال نُظُم المحاكاة الخاصة بالقيادة أو ملايين الأميال من الاختبار مع سائقين محترفين مُستعدِّين لتولي القيادة في حالة حدوث خطأ؛ في حين ستظهر أُخرى لكن لاحقًا عندما تكون السيارات بالفعل على الطريق ويحدث شيء غريب.
لسوء الحظ، في حالة النظم الخارقة الذكاء التي يُمكن أن يكون لها تأثير عالمي، لا تُوجَد نظم محاكاة ولا فُرَص لتصحيح الأوضاع. وبالتأكيد، من الصعب للغاية، وربما من المُستحيل، للبشر أن يتوقَّعوا ويستبعدوا مُقدَّمًا كل الطرق المدمِّرة التي يُمكن أن تختارها الآلة لتحقيق هدفٍ مُعيَّن. بوجه عام، إذا كان لديك هدف ولآلة خارقة الذكاء هدف آخر مختلف ومُتعارِض، فإنَّ الآلة ستحصُل على ما تُريد، أما أنت، فلا.
(٣) الخوف والحقد: الأهداف الأداتية
إن بدا أنَّ وجود آلة تتبع هدفًا غير صحيح شيءٌ سيئ بالقدر الكافي، فإنَّ هناك ما هو أسوأ من ذلك. إن الحل الذي اقترحه آلان تورينج — وهو إيقاف التشغيل في اللحظات الحاسمة — قد لا يكون مُتاحًا، لسبب بسيط جدًّا؛ وهو أنك «لا يُمكنك جلب فنجان القهوة إذا كنت ميتًا».
دعْني أوضح لك الأمر. افترض أن آلةً هدفها هو جلب القهوة. إذا كانت ذكية بالقدر الكافي، فإنها ستفهم بالتأكيد أنها ستفشل في تحقيق هدفها إذا توقَّفَت عن العمل قبل إكمال مهمَّتها. ومن ثمَّ فإن هدف جلب القهوة ينشئ هدف تعطيل زرِّ الإغلاق، باعتباره هدفًا فرعيًّا ضروريًّا. وينطبق الأمر نفسه على هدف علاج السرطان أو حساب أرقام ثابت الدائرة. لا يُوجَد في واقع الأمر الكثير الذي يُمكنك فعله بمجرد أن تموت، لذا، يمكنك أن تتوقَّع أن تتصرَّف نظم الذكاء الاصطناعي على نحوٍ استباقي للحفاظ على وجودها، مع الوضع في الاعتبار امتلاكها لأي هدفٍ مُحدَّد بنحوٍ أو بآخر.
إذا تعارض هذا الهدف مع التفضيلات البشرية؛ فلدَينا بالضبط ما حدث في حبكة فيلم «٢٠٠١: ملحمة الفضاء» («٢٠٠١: آه سبيس أوديسي») التي قتل فيها الكمبيوتر هال ٩٠٠٠ أربعةً من رواد الفضاء الخمسة الذين كانوا على متن سفينة فضاء لمنع تداخُلهم مع مُهمَّته. استطاع رائد الفضاء الأخير المُتبقِّي، ديف، إيقاف تشغيل هذا الكمبيوتر بعد معركةٍ عقلية ملحمية؛ على الأرجح كي يُحافظ أصحاب الفيلم على جاذبية الحبكة. لكن إذا كان هال خارق الذكاء حقًّا، ما كان سيستطيع ديف إيقاف تشغيله على الإطلاق.
إنَّ امتلاك المال يُعدُّ هدفًا أداتيًّا داخل نظامنا الحالي، بالإضافة إلى الاستمرار في العمل. لذا، قد تحتاج أي آلة ذكية إلى المال، لا لأنها جشعة ولكن لأن المال مُفيد في تحقيق كافة أنواع الأهداف. في فيلم «التسامي»، عندما حُمل عقل جوني ديب في الكمبيوتر الفائق الكمي، فإن أول شيءٍ فعلته الآلة هو نسخ نفسها على ملايين أجهزة الكمبيوتر الأخرى على الإنترنت حتى لا يمكن لأحدٍ إيقاف تشغيلها. وثاني شيءٍ فعلته هو تحقيق أرباح كبيرة في البورصة لتمويل خطط التوسُّع الخاصة بها.
(٤) انفجارات الذكاء
يُمكن تعريف الآلة الفائقة الذكاء بأنها آلة يُمكن أن تتفوَّق على أيِّ شخصٍ مهما كانت درجة ذكائه في أداء كل الأنشطة العقلية الخاصة به. وحيث إن تصميم الآلات يُعد أحد هذه الأنشطة العقلية، فإن الآلة الفائقة الذكاء يُمكنها حتى تصميم آلات أفضل؛ سيكون هناك حينها بلا شك «انفجار ذكاء»، وسيتخلَّف ذكاء البشر بشدَّة عن الركب؛ ومن ثَمَّ ستكون أولى الآلات الفائقة الذكاء هي آخر ابتكارٍ يحتاج الإنسان لوضعه، بشرط أن تكون الآلة طيِّعةً بالقدر الكافي بحيث تُخبرنا كيف نُبقيها تحت السيطرة. من الغريب أن تلك النُّقطة نادرًا ما تُثار خارج نطاق أدب الخيال العلمي.
إن سيناريو النتائج التناقُصية مثير للاهتمام في حد ذاته. إنه يُمكن أن ينشأ إذا اتَّضح أن تحقيق نسبة مُعينة من التحسين أصبح أصعب مع ازدياد ذكاء الآلة. (أنا أفترض من أجل المُحاجَّة فقط أن ذكاء الآلة العام قابل للقياس باستخدام نوع مُعيَّن من المقاييس الخطية، وهو ما أشكُّ أنه سيتحقَّق يومًا ما.) في تلك الحالة، لن يتمكَّن البشر أيضًا من بناء ذكاء خارق. إن استنفدت أي آلة خارقة الذكاء بالفعل طاقتها أثناء محاولتها تحسين ذكائها، فإن البشر سيحدث لهم ذلك قبلَها بكثير.
صحيح أنني لم أسمع قطُّ أي حجةٍ قوية مفادها أن بناء أي مستوًى مُعين من ذكاء الآلة ببساطة ليس في استطاعة الذكاء البشري، لكني أفترض أن المرء يجب أن يُقرَّ بأن هذا مُمكن منطقيًّا. «إن هذا مُمكن منطقيًّا» و«أنا على استعداد لرهن مستقبل الجنس البشري على هذا» هما أمران، بالطبع، مختلفان تمامًا. فإن الرهان ضد الذكاء البشري يبدو رهانًا خاسرًا.
إن حدث بالفعل انفجار ذكاء، ولم نستطع حينها حلَّ مشكلة التحكم في الآلات التي لدَيها ذكاء خارق محدود فقط — على سبيل المثال، إذا لم نستطع منعها من إجراء تلك التحسينات الذاتية المُتكررة — فلن يكون لدَينا وقت لحلِّ مُشكلة التحكُّم وسينتهي الأمر. هذا هو سيناريو «التطوُّر السريع» الذي طرحه بوستروم، والذي فيه ذكاء الآلة سيتطور على نحوٍ خياليٍّ في غُضون أيام أو أسابيع. وبعبارة تورينج، إنه «بالتأكيد شيء يُمكن أن يُشعِرنا بالقلق».
يبدو أن ردود الأفعال المُمكنة تجاه هذا القلق ستتمثَّل في عدم الاستمرار في الأبحاث الخاصة بالذكاء الاصطناعي، وإنكار وجود مخاطر خفية في تطوير ذكاء اصطناعي مُتقدِّم، وفهم تلك المخاطر من خلال تصميم نُظم ذكاء اصطناعي تبقى بالضرورة تحت السيطرة البشرية والتقليل من حدتها، والانسحاب؛ ببساطة، ترك المستقبل للآلات الذكية.