الفصل السادس

الجدل غير الواسع الدائر حول الذكاء الاصطناعي

«إن تبعات إدخال نوعٍ ذكي آخر إلى الأرض، بعيدة المدى بالقدر الكافي بحيث لا تستحق التفكير الجدي».¹ هكذا أنهت مجلة «ذي إيكونوميست» مراجعتها النقدية لكتاب نيك بوستروم «الذكاء الخارق». إن أغلبنا سيرَون هذا باعتباره مثالًا كلاسيكيًّا على التهوين البريطاني للأمور. أنت بالتأكيد قد تعتقد أن العقول الكبيرة في الوقت الحاضر تقوم بالفعل بهذا التفكير الجدي؛ أي إنها مُنخرطة في نقاشٍ جادٍّ وتوازُن بين المخاطر والفوائد وتبحث عن حلولٍ وتُفتش عن الثغرات الموجودة في الحلول وهكذا. إن الأمر لم يصِل إلى هذا الحد بعدُ، بحسب علمي.

عندما يُقدِّم شخص لأول مرة تلك الأفكار لجمهور مُتخصص في المجال التقني، يستطيع أن يرى فقاعات الأفكار تنبثق من رءوسهم، والتي تبدأ بالكلمات «لكن، لكن، لكن …» وتنتهي بعلامات تعجُّب.

يأخذ أول نوع من كلمة «لكن» شكل الإنكار. يقول المنكرون: «لكن تلك لا يمكن أن تكون مشكلة حقيقية؛ لأن كذا كذا». بعض هذه الأسباب تعكس تفكيرًا يمكن وصفه بالتفكير التوَّاق، في حين أن البعض الآخر يكون أكثر وجاهة. أما النوع الثاني من كلمة «لكن» فيأخذ شكل التهرُّب؛ أي قبول أن المشكلات حقيقية لكن الزعم بأننا يجب ألا نُحاول حلَّها، إما لأنها غير قابلة للحل وإما لأن هناك أمورًا أخرى أكثر أهمية علينا أن نُركز عليها من نهاية العالم، وإما لأنه من الأفضل ألا نهتمَّ بها على الإطلاق. أما النوع الثالث من كلمة «لكن»، فيأخذ شكل حلٍّ فوري مُبسَّط: «لكن أليس من المُمكن أن نقوم فقط بكذا كذا؟» وكما هو الوضع في حالة الإنكار، بعض هذه الحلول تكون غير مُجدية على نحوٍ واضح. في حين تقترب أخرى، على الأرجح بالصدفة، من تحديد الطبيعة الحقيقية للمشكلة.

أنا لا أقصد الإشارة إلى أنه لا يُمكن أن تُوجَد أي اعتراضاتٍ مقبولة على فكرة أن الآلات الخارقة السيئة التصميم ستُشكل خطرًا كبيرًا على البشرية. المسألة أنني لم أرَ حتى الآن أيًّا من تلك الاعتراضات. وحيث إن الأمر يبدو على قدرٍ كبير من الأهمية؛ فهو يستحقُّ نقاشًا عامًا على أعلى مستوى. لذا، من أجل تعزيز ذلك النقاش، وعلى أمل إشراك القارئ فيه، دعوني أُقدم لكم نظرةً سريعة على أبرز ما تمَّ في هذا الشأن حتى الآن، دون تجميل.

(١) الإنكار

إن أسهل طريقة للتعامُل مع الأمر هي إنكار وجود مشكلة من الأساس. بدأ سكوت ألكسندر، صاحب مدونة «سليت ستار كودكس»، مقالًا شهيرًا عن مخاطر الذكاء الاصطناعي كما يلي:² «لقد بدأتُ لأول مرة الاهتمامَ بمخاطر الذكاء الاصطناعي تقريبًا في عام ٢٠٠٧. في ذلك الوقت، كان رد فعل معظم الناس تجاه هذا الموضوع هو: «ها ها، عُد عندما يؤمن أي شخص بهذا إلى جانب مُستخدمي الإنترنت الغريبي الأطوار والعشوائيِّين.»»

(١-١) الملاحظات غير المُجدية على نحوٍ واضح

إن أي تهديدٍ مُتصوَّر للمهنة التي يعمل بها أي شخص طوال حياته يُمكن أن تقوده، حتى لو كان ذكيًّا للغاية وعميق التفكير في أغلب الأحيان، إلى أن يقول أشياء قد يرغب في التراجُع عنها والتبرُّؤ منها عند القيام بتحليلٍ أكبر للموضوع ذي الصلة. ونظرًا لأن هذا هو الوضع، فلن أذكُر أصحاب الحجج التالية، الذين جميعهم من الباحثين المعروفين في مجال الذكاء الاصطناعي. لقد ضمنت تفنيدًا لتلك الحجج، حتى لو كان ذلك غير ضروري على الإطلاق.

الحاسبات الإلكترونية تتفوَّق على البشر في العمليات الحسابية. وحيث إن تلك الآلات لم تُسيطر على العالم، فلا داعيَ للقلق من الذكاء الاصطناعي الخارق.
- التفنيد: الذكاء يختلف عن إجراء العمليات الحسابية، والقدرات الحسابية للحاسبات لا تُتيح لها السيطرة على العالم.
الخيول لدَيها قوة تفوق البشر، ونظرًا لأننا لا نخشى خروجها عن السيطرة، فلا نحتاج إلى القلق من خروج نُظُم الذكاء الاصطناعي عن السيطرة.
- التفنيد: الذكاء يختلف عن القوة البدنية، وقوة الخيول لا تُتيح لها السيطرة على العالم.
تاريخيًّا، لا تُوجَد أي سوابق لقتل الآلات لملايين البشر، لذا، نستدلُّ من ذلك على أن هذا لا يمكن أن يحدث في المستقبل.
- التفنيد: يُمكن أن يحدث أي شيء، دون أن تكون له سوابق من قبل.
لا يُمكن لأي كمية مادية في الكون أن تكون لا نهائية، وهذا يتضمَّن الذكاء، لذا، المخاوف من الذكاء الاصطناعي الخارق مُبالَغ فيها.
- التفنيد: الذكاء الاصطناعي الخارق لا يحتاج لأن يكون لا نهائيًّا حتى يُسبب مشكلات، والفيزياء تسمح ببناء أجهزة حاسوبية أقوى من العقل البشري بمليارات المرات.
نحن لا نقلق من الأمور التي يقلُّ احتمال حدوثها على نحوٍ كبير، والتي قد تؤدِّي إلى فناء الأنواع؛ مثل ظهور الثقوب السوداء عند المدار الأقرب إلى الأرض، لذا، لِمَ القلق من الذكاء الاصطناعي الخارق؟
- التفنيد: إذا كان معظم الفيزيائيين على كوكبنا يعملون على صُنع مثل هذه الثقوب السوداء، ألن نسألهم إن كان ذلك لا يُمثِّل أي خطر؟

(١-٢) الأمر معقد

من الأمور الرئيسية في علم النفس الحديث أنَّ أيَّ مُعدَّل للذكاء لا يُمكنه وصف الثراء التام للذكاء البشري.³ هناك، كما تقول النظرية، أبعاد مختلفة للذكاء؛ سواء المكاني أو المنطقي أو اللغوي أو الاجتماعي أو غير ذلك. ربما كان لأليس، لاعبة كرة القدم التي عرضنا لها في الفصل الثاني، ذكاء مكاني أكبر من صديقها بوب، ولكنَّ ذكاءها الاجتماعي أقل منه. لذا، لا يُمكننا ترتيب كل البشر على نحوٍ محكم فيما يتعلق بالذكاء.

هذا حتى ينطبق أكثر على الآلات لأن قدراتها أقل منَّا بكثير. إن محرك البحث الخاص بجوجل وبرنامج «ألف جو» ليس بينهما تقريبًا أي شيءٍ مُشترك، هذا بالإضافة إلى كونهما مُنتجين لشركتَين فرعيَّتَين تنتميان لنفس الشركة الأم، لذا، لا داعي للقول بأنَّ أحدهما أكثر ذكاءً من الآخر. وهذا يجعل مفاهيم «معدَّل ذكاء الآلات» مُلغِزة، ويُشير إلى أنه من المُضلِّل وصف المستقبل باعتباره سباقًا أحاديَّ البُعد فيما يتعلَّق بمعدل الذكاء بين البشر والآلات.

طوَّر كيفين كيلي، المُحرِّر المؤسس لمجلة «وايرد» والمعلق المُتبصِّر على نحوٍ ملحوظ في المجال التقني، هذه الفكرة أكثر. ففي مقاله «خرافة الذكاء الاصطناعي الخارق»،⁴ كتب يقول: «الذكاء ليس له بُعد واحد، لذا، فإن مفهوم «أذكى من البشر» لا معنى له». وهكذا، وبضربةٍ واحدة، جرى تبديد كل المخاوف بشأن الذكاء الخارق.

أحد الردود الواضحة على ذلك هو أن الآلة يُمكنُها تجاوُز القدرات البشرية في «كل» أبعاد الذكاء ذات الصلة. وفي هذه الحالة، حتى بمعايير كيلي الصارمة، ستكون الآلة أكثر ذكاءً من الإنسان. لكن هذا الافتراض القوي ليس ضروريًّا لتفنيد حجة كيلي. تأمَّل معي حيوانات الشمبانزي. ربما يكون لدى هذه الحيوانات ذاكرة مدى قصير أفضل من البشر، حتى في المهام البشرية الطابع مثل تذكُّر تسلسلات من الأرقام.⁵ إن ذاكرة المدى القصير بُعد مُهمٌّ للذكاء. ومن ثمَّ، وبالنظر إلى حُجة كيلي، البشر ليسوا أذكى من حيوانات الشمبانزي؛ في واقع الأمر، سيزعُم هو أن مفهوم «أذكى من الشمبانزي» لا معنى له. إن هذا يُعطي بعض العزاء لحيوانات الشمبانزي (وحيوانات البونوبو والغوريلا وإنسان الغاب والحيتان والدلافين وما إلى ذلك) حيث إنها أنواع تعيش فقط لأننا تكرَّمنا بالسماح لها بذلك. وهو لا يُعطي أي عزاءٍ لكل تلك الأنواع التي تسبَّبنا بالفعل في محوِها من على وجه الأرض. وهو أيضًا يُعطي بعض العزاء للبشر الذين قد يقلقون من أن تحلَّ محلهم الآلات.

(١-٣) الأمر مستحيل

حتى قبل ظهور مجال الذكاء الاصطناعي في عام ١٩٥٦، كان المُفكرون العظام يتشكَّكون ويقولون إن صُنع آلاتٍ ذكية أمر مستحيل. خصَّص آلان تورينج معظم بحثه الشهير الذي ظهر في عام ١٩٥٠ والذي كان بعنوان «الآلات الحاسوبية والذكاء» لتنفيذ تلك الحجج. ومنذ ذلك الحين، أخذ مجتمع الذكاء الاصطناعي يُفنِّد مزاعم مُماثلة من جانب الفلاسفة،⁶ وعلماء الرياضيات،⁷ وغيرهم. وفي الجدل الدائر حاليًّا حول الذكاء الخارق، أطلق العديد من الفلاسفة مزاعم الاستحالة هذه ليثبوا أن البشرية ليس لديها ما تخشاه.⁸^،⁹ وهذا ليس أمر مُفاجئًا.

إن «دراسة المائة عام حول الذكاء الاصطناعي» هي مشروع طموح طويل الأجل ترعاه جامعة ستانفورد. وهدف تلك الدراسة هو تتبُّع الذكاء الاصطناعي، أو، بالأحرى، «دراسة وتوقع كيف ستتسلَّل آثار الذكاء الاصطناعي عبر كل جوانب عمل البشر وحياتهم ولعبهم». وكان أول تقرير رئيسي لتلك الدراسة والذي جاء بعنوان «الذكاء الاصطناعي والحياة في عام ٢٠٣٠» مفاجأة.¹⁰ فكما قد يكون مُتوقَّعًا، إنه يؤكد على فوائد الذكاء الاصطناعي في مجالات مثل التشخيص الطبي وأمان المَركبات. لكن الشيء غير المتوقع هو الزعم بأنه «لا تُوجَد سلالة من الروبوتات الخارقة في الأفق ولا حتى هذا مُمكن، وذلك بخلاف ما يظهر في الأفلام السينمائية».

بحسب معلوماتي، هذه هي المرة الأولى التي يتبنَّى فيها على نحوٍ علني باحثون جِدِّيون في مجال الذكاء الاصطناعي وجهة النظر القائلة بأن الذكاء الاصطناعي الخارق أو ذلك الذي يُضاهي الذكاء الإنساني مُستحيل، وهذا يحدث وسط فترةٍ يحدث فيها تطور شديد السرعة في الأبحاث في هذا المجال، مع انهيار الحواجز الواحد تلو الآخر. يبدو الأمر كما لو أن مجموعة من كبار علماء البيولوجيا العاملين في مجال أمراض السرطان أعلنوا أنهم كانوا يخدعوننا طوال الوقت؛ فلطالما كانوا على يقينٍ بأنه لن يكون هناك أبدًا علاج للسرطان.

ترى، ماذا قد يكون وراء هذا التغيُّر الكامل والمُفاجئ؟ لا يُقدِّم التقرير أي حجج أو أدلة على الإطلاق. (في واقع الأمر، ما الأدلة التي يُمكن تقديمها على استحالة ظهور ترتيبٍ مُعين من الذرات يُمكنه التفوُّق على العقل البشري؟) أشك أنَّ هناك سببَين. الأول: هو الرغبة الطبيعية لنفي وجود مشكلة الغوريلا، والتي تُمثِّل احتمالًا غير مريح بالمرة للباحث في مجال الذكاء الاصطناعي؛ بالتأكيد، إذا كان الذكاء الاصطناعي الذي يُضاهي الذكاء البشري مستحيل الوجود، فستختفي مشكلة الغوريلا على نحوٍ رائع. أما الثاني، فيتمثل في «القبلية»؛ أي الميل إلى اتخاذ موقف دفاعي ضد ما يُرى على أنه «محاولات للنيل» من الذكاء الاصطناعي.

يبدو من الغريب النظر إلى الزعم بأن وجود الذكاء الاصطناعي الخارق مُمكن باعتباره محاولة للنيل من مجال الذكاء الاصطناعي، ويبدو حتى أغرب الدفاع عن الذكاء الاصطناعي بالقول بأنه لن ينجح أبدًا في تحقيق أهدافه. نحن لا يمكننا حماية أنفسنا من احتمال حدوث كوارث مستقبلية فقط بالرهان على عدم براعة العبقرية البشرية.

لقد قُمنا بتلك الرهانات من قبل وخسرنا. فكما أوضحنا من قبل، إن كبار علماء الفيزياء في أوائل ثلاثينيات القرن الماضي، والذين يُمثلهم اللورد رذرفورد، كانوا يعتقدون بثقة أن إنتاج الطاقة النووية مُستحيل، لكن ابتكار ليو سلارد التَّفاعلَ النَّووي المُتسلسل المُستحَثَّ بالنيوترونات في عام ١٩٣٣ أثبت أن تلك الثقة ليست في محلها.

إن الإنجاز الذي حقَّقه سلارد جاء في توقيتٍ صعب؛ إذ جاء مع بداية سباق تسلُّح مع ألمانيا النازية. ولم تكن هناك إمكانية لتطوير تقنية نووية تعمل للصالح العام. وبعد بضعة أعوامٍ لاحقة، وبعد أن أثبت حدوث التفاعل النووي المتسلسل في مَعمله، كتب سلارد يقول: «لقد أغلقنا كلَّ شيء وتوجَّهنا إلى منازلنا. في تلك الليلة، لم يكن لديَّ شك كبير في أن البؤس سيكون مصير العالم.»

(١-٤) من السابق لأوانه القلق من هذا الأمر

من الشائع رؤية بعض الحكماء وهم يُحاولون تهدئة مخاوف الناس بالإشارة إلى أنه لا يُوجَد ما يمكن القلق بشأنه؛ لأن الذكاء الاصطناعي الذي يُضاهي الذكاء البشري ليس من المُحتمَل أن يظهر قبل عدة عقود. على سبيل المثال، يقول التقرير السابقة الإشارة إليه في القسم السابق إنه «لا تُوجَد أي مَدعاةٍ للقلق من تسبُّب الذكاء الاصطناعي في تهديدٍ وشيك للبشرية».

تلك المُحاجَّة قاصرة في جانبَين. يتمثل الأول في أنها تعد ما يُسمى بمغالطة الرجل القش؛ أي تشويه الحُجة للرد عليها. إن أسباب القلق «لا» تقوم على قُرب حدوث الأمر. على سبيل المثال، كتب نيك بوستروم في كتابه «الذكاء الخارق» يقول: «ليس جزءًا من المُحاجَّة المعروضة في هذا الكتاب القول بأننا على عتبة حدوث إنجازٍ كبير في مجال الذكاء الاصطناعي أو أننا يُمكننا توقُّع، بأي درجةٍ من الدقة، الوقت الذي قد يحدُث فيه هذا التطور». أما الثاني، فيتمثَّل في أن المخاطر الطويلة الأجل يُمكن أن تكون مَدعاةً للقلق الفوري. إن الوقت الصحيح للقلق بشأن تعرُّض البشرية لمشكلةٍ قد تكون خطيرة، يعتمد ليس فقط على وقت حدوث المشكلة، وإنما أيضًا على الوقت الذي سيُستغرَق في وضع حلٍّ لها وتنفيذه.

على سبيل المثال، إذا اكتشفنا أن كُويكبًا كبيرًا في طريقه للاصطدام بالأرض في عام ٢٠٦٩، فهل سنقول إنه لَمن السابق لأوانه القلق بشأن ذلك؟ لا، على العكس تمامًا. سيكون هناك مشروع طارئ على مستوى العالم لتطوير طريقةٍ لمواجهة هذا التهديد. ولن نتنظِر حتى عام ٢٠٦٨ للبدء في العمل على هذا الحل؛ لأننا لا يُمكننا مُقدمًا تحديد الوقت المطلوب لذلك. في واقع الأمر، مشروع الدفاع الكوكبي التابع لوكالة ناسا يعمل «بالفعل» من أجل التوصُّل إلى حلول مُمكنة لتلك المشكلة، حتى مع العلم بأنه «لا يُوجَد أيُّ احتمالٍ لحدوث اصطدام خطير بالأرض من جانب أي كويكب معروف في المائة عام القادمة». وإن جعلك هذا تشعُر بالرضا، فهم يقولون أيضًا إنه «لم يُكتشَف بعدُ نحو ٧٤ بالمائة من الأجسام القريبة من الأرض، والتي يزيد حجمها عن ٤٦٠ قدمًا».

وإذا نظرنا إلى المخاطر الكارثية العالمية الناتجة عن التغيُّر المناخي، والتي نتوقَّع حدوثها في نهاية هذا القرن، أليس من السابق لأوانه جدًّا التحرُّك لمنعها؟ على العكس، من المُمكن أن نكون قد تأخَّرنا جدًّا. إن الإطار الزمني ذا الصلة لتطوير الذكاء الاصطناعي الخارق يصعُب التنبُّؤ به أكثر، لكن هذا بالطبع يعني أنه، شأنه شأن الانشطار النووي، قد يحدُث أسرع كثيرًا مما توقَّعنا.

إحدى صور مُحاجة «من السابق لأوانه القلق» المعروفة زعم أندرو نج بأن «هذا يُشبه القلق من الزيادة السكانية على كوكب المريخ».¹¹ (حدَّث نج لاحقًا زعمه بأن استبدل بكوكب المريخ النظام النجمي ألفا سنتوري.) يُعدُّ نج، البروفسير السابق بجامعة ستانفورد، خبيرًا شهيرًا في مجال تعلُّم الآلة، ولآرائه بعض الثقل. إن هذا الزعم يلجأ إلى قياسٍ ملائم: الخطر ليس فقط جرى التعامُل معه بسهولة وإبعاده بعيدًا في المستقبل، وإنما أيضًا من المُستبعَد تمامًا أننا حتى سنحاول نقل مليارات البشر إلى كوكب المريخ في المقام الأول. لكن القياس خاطئ. إننا نُخصِّص «بالفعل» موارد تقنية وعلمية ضخمة لتطوير نظم ذكاء اصطناعي أكثر قوة من ذي قبل، مع عدم توجيه الكثير من الانتباه لما سيحدث إن نجحنا في ذلك. إن القياس الأكثر مُلاءمة، إذن، هو العمل على خطة لنقل الجنس البشري إلى المريخ دون التفكير فيما قد نتنفَّسه أو نشربُه أو نأكله بمجرد وصولنا إلى هناك. قد يصف البعض تلك الخطة بأنها غير حكيمة. أو، يُمكن أن نأخذ كلام نج حرفيًّا ونرى أن إنزال حتى ولو شخص واحد على المريخ سيُعدُّ زيادة سكانية؛ لأن المريخ ليست لديه قدرة استيعابية. ومن ثمَّ فإن المجموعات التي تُخطِّط حاليًّا لإرسال حفنة من البشر إلى المريخ قلقُون بشأن الزيادة السكانية على كوكب المريخ، وهذا هو السبب وراء تطويرهم لنُظُم دعم الحياة.

(١-٥) نحن الخبراء

في كل نقاشٍ حول المخاطر التقنية، يُقدم المعسكر المناهض للتكنولوجيا الزعم القائل بأن كل المخاوف بشأن المخاطر سببها الجهل. على سبيل المثال، يقول أورين إتسيوني، الرئيس التنفيذي لمعهد ألين للذكاء الاصطناعي، والباحث المعروف في مجال تعلُّم الآلة وفهم اللغة الطبيعية:¹²

عند ظهور أيِّ ابتكارٍ تقني، يُصاب الناس بالخوف. فبدءًا من النسَّاجين الذين كانوا يقذفون أحذيتهم في الأنوال الميكانيكية في بداية الحقبة الصناعية وحتى مخاوف اليوم من ظهور روبوتات قاتلة، استجابتنا يقودها عدم معرفة التأثير الذي ستُحدِثه التقنية الجديدة في إدراكنا لذواتنا ومعيشتنا. وعندما لا نعرف شيئًا، تمدُّنا عقولنا الخائفة بالمعلومات المطلوبة.

نشرت مجلة «بوبيلر ساينس» مقالًا بعنوان «بيل جيتس يخشى الذكاء الاصطناعي، لكن باحثي الذكاء الاصطناعي يعرفون على نحوٍ أفضل» تقول فيه:¹³

عندما تتحدث إلى الباحثين في مجال الذكاء الاصطناعي — مرةً أخرى، الباحثين الحقيقيين، وهم الأشخاص الذين يتصدَّون لصُنع نُظمٍ عاملة بأيِّ نحوٍ وليس بالطبع عاملة على نحو رائع — تجدهم غير قلقين من احتمالية مُفاجأة الروبوتات ذات الذكاء الخارق لهم، سواء الآن أو في المستقبل. وعلى عكس القصص المُخيفة التي يبدو أن [إيلون] ماسك حريص على سردها، فإن هؤلاء الباحثين لا يبنُون على نحوٍ محموم غرف استدعاء محمية ولا عمليات عدٍّ تنازُلي ذاتية التدمير.

هذا التحليل مُعتمِد على عيِّنة قوامها أربعة من الباحثين، والذين قالوا جميعهم في واقع الأمر في حواراتهم إن الأمان الطويل الأمد للذكاء الاصطناعي كان مسألةً مُهمة.

باستخدام لغة مُماثلة جدًّا للغة المكتوب بها مقال «بوبيلر ساينس»، كتب ديفيد كيني، والذي كان في ذلك الوقت نائب رئيس شركة آي بي إم، خطابًا إلى الكونجرس الأمريكي يتضمَّن الكلمات المُطَمْئنة التالية:¹⁴

عندما تستكشف الجوانب العلمية لذكاء الآلات وعندما تُطبِّقها بالفعل في العالم الواقعي للأعمال والمُجتمع، كما فعلنا في شركة آي بي إم لبناء النظام الحاسوبي المعرفي الرائد الخاص بنا، «واطسون»، تدرك أن تلك التقنية لا تدعم الإشاعات المُقلقة المرتبطة على نحوٍ شائع بالجدل الدائر اليوم حول الذكاء الاصطناعي.

الرسالة واحدة في الحالات الثلاث جميعها: «لا تستمع إليهم؛ فنحن الخبراء». يُمكن الإشارة إلى أن تلك في حقيقة الأمر مُحاجَّة تقوم على القدح الشخصي تُحاول تفنيد الرسالة بالهجوم على أصحابها، لكن حتى لو أخذها المرء على ظاهرها فقط، فإنها واهية. إن إيلون ماسك وستيفين هوكينج وبيل جيتس بالتأكيد على معرفةٍ تامَّة بالتفكير العلمي والتقني، وماسك وجيتس على الخصوص أشرفا على العديد من المشروعات البحثية في مجال الذكاء الاصطناعي واستثمرا فيها. ولن يكون حتى من المعقول القول بأن آلان تورينج وآي جيه جود ونوربرت فينر ومارفن مينيسكي غير مؤهَّلين لمناقشة المسائل المُتعلِّقة بالذكاء الاصطناعي. وأخيرًا، يُشير المقال السابق ذكره والمنشور في مدونة سكوت ألكسندر والذي كان بعنوان «رأي باحثي الذكاء الاصطناعي في مخاطره» إلى أن «باحثي الذكاء الاصطناعي، بما في ذلك بعض القادة في هذا المجال، كان لهم دور مهم في إثارة الانتباه لبعض المسائل المُتعلِّقة بمخاطر الذكاء الاصطناعي والذكاء الخارق منذ البداية». وذكر العديد من هؤلاء الباحثين، والقائمة الآن أطول بكثير.

هناك توجُّه خطابي قياسي آخر من جانب «المُدافِعين عن الذكاء الاصطناعي»، والذي يتمثل في وصف خصومهم بأنهم «لوديون»؛ أي مناهضون للتطوُّر التقني. إن إشارة أورين إتسيوني إلى «النسَّاجين الذين كانوا يقذفون أحذيتهم في الأنوال الميكانيكية» هي ما أقصده هنا؛ إن اللوديين كانوا نسَّاجين حرفيين في أوائل القرن التاسع عشر وكانوا مُعترِضين على إدخال الآلات لتحلَّ محلَّ عملهم اليدوي. وفي عام ٢٠١٥، منحت مؤسسة تكنولوجيا المعلومات والابتكار جائزتها اللودية السنوية ﻟ «مُثيري الذُّعر فيما يتعلق بدور الذكاء الاصطناعي في نهاية العالم». إنه لتعريف غريب لمصطلح «لودي» أن يتضمَّن تورينج وفينر ومينيسكي وماسك وجيتس، والذين يُعَدون من أبرز المساهمين في التقدُّم التقني الذي حدث في القرنَين العشرين والحادي والعشرين.

إن الاتهام باللودية يعدُّ إساءة فهم لطبيعة المخاوف المثارة والهدف من إثارتها. يبدو الأمر مثل اتهام المهندسين النوويين باللودية إن أشاروا إلى الحاجة للتحكُّم في التفاعلات الانشطارية. وكما هو الحال مع الظاهرة الغريبة المُتمثِّلة في الزعم المفاجئ من جانب باحثي الذكاء الاصطناعي بأن الذكاء الاصطناعي مُستحيل، أعتقد أننا يُمكننا إرجاع هذا التوجُّه المُحيِّر إلى القبلية التي تحاول الدفاع عن التقدم التقني.

(٢) التهرُّب

بعض المعلقين مُستعدُّون للإقرار بأن المخاطر حقيقية، لكنهم يقدمون حججًا ترى ضرورة عدم فعل أي شيء. وتتضمن تلك الحجج استحالة فعل أي شيءٍ، وأهمية فعل شيء آخر تمامًا، والحاجة للسكوت عن المخاطر.

(٢-١) عدم إمكانية التحكُّم في الأبحاث

من الردود الشائعة على الآراء التي ترى أن الذكاء الاصطناعي المُتطور قد يُعرِّض البشر لمخاطر، الزعم بأن إيقاف أبحاث الذكاء الاصطناعي مُستحيل. لاحظ القفزة العقلية هنا: «حسنًا، إن شخصًا ما يناقش المخاطر! لا بدَّ أنه يقترح وقف بحثي!» قد تكون تلك القفزة العقلية مُلائمة عند مناقشة المخاطر اعتمادًا فقط على مشكلة الغوريلا، وأنا أميل إلى الموافقة على أن حلَّ مشكلة الغوريلا بمنع بناء الذكاء الاصطناعي الخارق سيتطلَّب وضع نوعٍ من القيود على الأبحاث في مجال الذكاء الاصطناعي.

لكن النقاشات الحديثة التي دارت حول المخاطر ركَّزت ليس على مشكلة الغوريلا العامة (باللغة الصحفية، النزال الشديد بين البشر والذكاء الخارق)، ولكن على مشكلة الملك ميداس وصورها المختلفة. إن حلَّ مشكلة الملك ميداس يحلُّ أيضًا مشكلة الغوريلا؛ ليس عن طريق منع بناء الذكاء الاصطناعي الخارق أو إيجاد طريقة للتغلب عليه، وإنما بضمان عدم دخوله على الإطلاق في صراع مع البشر في المقام الأول. إن النقاشات الدائرة حول مشكلة الملك ميداس بوجهٍ عام تتجنَّب اقتراح ضرورة تقييد البحث في مجال الذكاء الاصطناعي؛ فهي تقترح فقط أنه يجب الاهتمام بمسألة منع المخاطر التي قد تنتج عن النظم السيئة التصميم. في نفس الإطار، إن مناقشة مخاطر التسرُّب في المحطات النووية يجب تفسيرها ليس باعتبارها محاولةً لوقف الأبحاث في مجال الفيزياء النووية وإنما كإشارةٍ لضرورة توجيه مزيدٍ من الجهود على حلِّ مُشكلة التسرُّب.

هناك، بالمُصادفة، سابقة تاريخية مُثيرة جدًّا للاهتمام فيما يتعلق بإيقاف الأبحاث. ففي أوائل سبعينيات القرن الماضي، بدأ علماء البيولوجيا القلق من أن طُرق الحمض النووي التركيبي الحديثة — والتي يحدث فيها نقل جينات من كائنٍ لآخر — قد تؤدي إلى مخاطر كبيرة على صحة الإنسان والنظام البيئي العالمي. أدَّى مؤتمران في منتجع أسيلومار في كاليفورنيا في عامي ١٩٧٣ و١٩٧٥ أولًا إلى تعليق هذه التجارب ثم إلى توجيهات مُفصلة تتعلق بالأمان البيولوجي تتلاءم مع المخاطر التي تفرضها أي تجربةٍ مقترحة.¹⁵ بعض فئات هذه التجارب، مثل تلك التي كانت تتضمَّن جينات سموم، عُدت خطيرة جدًّا بحيث لم يعُد في الإمكان إتاحة إجرائها.

بعد المؤتمر الذي عقد في عام ١٩٧٥ مباشرة، بدأت المعاهد الوطنية للصحة، التي تمول تقريبًا كل الأبحاث الطبية الأساسية في الولايات المتحدة، عملية إنشاء اللجنة الاستشارية الخاصة بالحمض النووي التركيبي. كان لتلك اللجنة دور مُهم في تطوير توجيهات المعاهد الوطنية للصحة التي نفَّذت بالأساس توصيات مؤتمر أسيلومار. ومنذ عام ٢٠٠٠، تضمَّنت تلك التوجيهات منع الموافقة على تمويل أي بروتوكول يتضمَّن «تغيير الجينوم البشري»؛ أي تعديل الجينوم البشري بطُرُق يمكن توريثها للأجيال القادمة. وهذا المنع تبعه حظر قانوني في أكثر من خمسين دولة.

إن هدف «تحسين السلالة البشرية» كان أحد أحلام حركة تحسين النسل في أواخر القرن التاسع عشر وأوائل القرن العشرين. وقد أعاد إحياء هذا الحلم تطوير «كريسبر-كاس٩»، وهي طريقة دقيقة جدًّا لتعديل الجينوم. لقد ترك مؤتمر دولي عُقد في عام ٢٠١٥ الباب مفتوحًا أمام التطبيقات المستقبلية، داعيًا إلى وضع قيود حتى «وجود إجماع مجتمعي واسع حول مدى مُلاءمة التطبيق المُقترح».¹⁶ وفي نوفمبر من عام ٢٠١٨، أعلن العالم الصيني خه جيان كوي تعديله لجينومات ثلاثة أجنَّة بشرية، اثنان منهم على الأقل اكتمل نموُّهما وأصبحا طفلَين. وتبع ذلك اعتراضات دولية قوية، وفي وقت كتابة هذا الكتاب، يبدو أن جيان كوي قيد الإقامة الجبرية في منزله. وفي مارس ٢٠١٩، طالبت هيئة دولية من كبار العلماء صراحةً بتعليقٍ رسميٍّ لتلك التجارب.¹⁷

إن الدرس المستفاد من هذا الجدل فيما يتعلق بالذكاء الاصطناعي مُزدوج. فمن جانب، إنه يوضح أننا «يمكننا» وقف العمل في أيِّ مجالٍ بحثيٍّ له مخاطر ضخمة. إن الإجماع الدولي على حظر تعديل الجينوم ناجح على نحوٍ شبه كامل حتى الآن. ولم يتحقَّق الخوف من أن الحظر سيؤدي إلى القيام بالأبحاث في الخفاء أو في دول لا تُعارض ذلك. ومن جانب آخر، تعديل الجينوم عملية يسهل التعرف عليها، وهي حالة استخدام محدَّدة لمعرفةٍ عامةٍ أكثر، خاصة بعلم الوراثة، تتطلب معدات خاصة وبشرًا لإجراء التجارب عليهم. علاوة على ذلك، إنها عملية تتبع مجالًا — وهو الطب التناسُلي — خاضعًا بالفعل لمُراقبةٍ دقيقة وتشريعات صارمة. وتلك السمات لا تنطبق على الذكاء الاصطناعي العام، وحتى الآن، لم يخرج علينا أيُّ أحدٍ بأي صيغةٍ معقولة يمكن لأي تشريع، لتقييد البحث في مجال الذكاء الاصطناعي، أن يتخذها.

(٢-٢) الماذاعنية

لقد تعرَّفتُ على مصطلح «الماذاعنية» على يد مستشارٍ لسياسي بريطاني كان عليه التعامل معه على نحوٍ منتظم في اللقاءات العامة. فبصرف النظر عن موضوع الكلمة التي كان يُلقيها، كان شخص يسأله على نحو دائم: «ماذا عن القضية الفلسطينية؟»

ردًّا على أي ذِكر لمخاطر الذكاء الاصطناعي المُتطور، من المُحتمَل أن يستمع المرء إلى السؤال الآتي: «ماذا عن فوائد الذكاء الاصطناعي؟» على سبيل المثال، يقول أورين إتسيوني:¹⁸

التوقعات التشاؤمية عادة ما تفشل في أن تأخذ في الاعتبار المزايا المُحتملة للذكاء الاصطناعي والمتعلقة بمنع الأخطاء الطبية وتقليل حوادث المركبات وغير ذلك.

وها هو مارك زوكربيرج، الرئيس التنفيذي لشركة فيسبوك، يقول في حوار حديث تداولته وسائل الإعلام مع إيلون ماسك:¹⁹

إذا كنت تعارض الذكاء الاصطناعي، فأنت إذن تُعارض السيارات الأكثر أمانًا التي لن تتعرض لحوادث، وتُعارض التشخيص الأفضل للناس عندما يمرضون.

إذا نحَّينا جانبًا المفهوم القبلي الذي يرى أن أي شخصٍ يذكر المخاطر «يُعارض الذكاء الاصطناعي»، فإن كلًّا من زوكربيرج وإتسيوني يريان أن الحديث عن المخاطر يعني تجاهل المزايا المُحتملة للذكاء الاصطناعي أو حتى إنكار وجودها.

هذا بالطبع نوع من الغباء، لسببَين. أولًا: إذا لم تكن هناك فوائد مُحتملة للذكاء الاصطناعي، فلن يكون هناك أيُّ دافع اقتصادي أو اجتماعي للقيام بأبحاثٍ في مجال الذكاء الاصطناعي؛ ومن ثمَّ لن يُوجَد أبدًا خطر الوصول إلى الذكاء الاصطناعي الذي يُضاهي الذكاء البشري. إننا ببساطة حينها لن نحتاج إلى هذا الجدل على الإطلاق. ثانيًا: «إن لم يجر الحدُّ من المخاطر بنجاح، فلن تكون هناك فوائد». إن الفوائد المُحتملة للطاقة النووية قلَّت على نحوٍ كبير بسبب انصهار قلب المُفاعل الجزئي في محطة ثري مايل آيلاند في عام ١٩٧٩، والانبعاثات الكارثية والتفاعلات النووية غير المُسيطَر عليها في تشيرنوبل في عام ١٩٨٦ والانصهارات المُتعدِّدة التي حدثت في فوكوشيما في عام ٢٠١١. لقد حدَّت تلك الكوارث من نموِّ الصناعة النووية. فقد هجرت إيطاليا الطاقة النووية في عام ١٩٩٠، وأعلنت كلٌّ من بلجيكا وألمانيا وإسبانيا وسويسرا عن نيتها فعل ذلك. ومنذ عام ١٩٩٠، بلغ المعدل العالمي لإنشاء المحطات النووية نحو عُشر ما كان عليه قبل كارثة تشيرنوبل.

(٢-٣) السكوت

إن أكثر أشكال التهرب تطرُّفًا هو ببساطةٍ القولُ بأننا يجب أن نسكُت عن مسألة المخاطر. على سبيل المثال، تقرير «دراسة المائة عام حول الذكاء الاصطناعي» السابق الإشارة إليه يتضمَّن التحذير التالي:

إذا تعامل المجتمع مع هذه التقنيات على نحوٍ أساسي بخوف وشك، فستحدث عثرات من شأنها أن تُبطئ من تطوُّر الذكاء الاصطناعي أو تجعله يتمُّ في الخفاء، مما يعوق القيام بالعمل المهم المُتعلق بضمان أمان واعتمادية تقنيات الذكاء الاصطناعي.

قدم روبرت أتكينسون، رئيس مؤسسة تكنولوجيا المعلومات والابتكار (نفس المؤسسة التي تمنح الجائزة اللودية) مُحاجَّة مُماثلة في نقاشٍ جرى في عام ٢٠١٥.²⁰ فبينما هناك اعتراضات وجيهة حول الطريقة التي يجب من خلالها وصف المخاطر عند التحدُّث إلى وسائل الإعلام، فإن الرسالة الإجمالية واضحة: «لا تذكر المخاطر؛ إذ سيؤثر ذلك على مسألة التمويل». بالطبع، إن لم يعلم أحد بوجود مخاطر، فلن يكون هناك تمويل للأبحاث المتعلِّقة بالحد من المخاطر ولا سبب يدعو أحدًا للعمل عليها.

قدم عالم النفس المعرفي المعروف ستيفين بينكر صورةً أكثر تفاؤلًا من مُحاجة أتكينسون. ففي رأيه أن «ثقافة الأمان في المجتمعات المتقدمة» ستضمن الحدَّ من كل المخاطر المهمة للذكاء الاصطناعي؛ ومن ثمَّ فمن غير المُلائم ومن غير المفيد لفت الأنظار إلى تلك المخاطر.²¹ حتى إذا غضضْنا الطرف عن حقيقة أن ثقافة الأمان المُتقدِّمة الخاصَّة بنا قد أدَّت إلى كارثتي تشيرنوبل وفوكوشيما والاحتباس الحراري الجامح، فإن مُحاجَّة بينكر قد جانبها الصواب تمامًا. إن ثقافة الأمان تقوم بالأساس على أشخاص يلفتُون الأنظار إلى أنماط الفشل المُمكنة ويجدُون سُبلًا لضمان عدم حدوثها. (وفيما يتعلق بالذكاء الاصطناعي، النموذج القياسي هو نمط الفشل.) والقول بأنه من السخيف لفت الانتباه إلى أيِّ نمط فشل لأنَّ ثقافة الأمان ستتعامل مع ذلك على أيِّ حالٍ يُشبه القول بأن لا أحد يجب أن يستدعي سيارة إسعاف عندما يرى حادث سير هرب فيه السائق وترك الشخص المُصاب في الشارع لأنَّ شخصًا ما سيستدعيها.

عند مُحاولة تعريف العامة وصُنَّاع السياسات بالمخاطر، يكون باحثو الذكاء الاصطناعي في وضعٍ أسوأ مقارنةً بالفيزيائيِّين النوويين. فهؤلاء الفيزيائيون لا يحتاجون إلى تأليف كتبٍ تُوضِّح للعامة أن تَجمُّع كتلةٍ حرجة من اليورانيوم العالي التخصيب قد يُمثِّل خطرًا؛ لأن عواقب ذلك قد تجسَّدت بالفعل في هيروشيما وناجاساكي. فلا يحتاج الأمر إلى مزيدٍ من الجهد لإقناع الحكومات والجهات التمويلية بأن عامل الأمان مُهم في تطوير الطاقة النووية.

(٣) القبلية

في رواية باتلر «إريون»، أدَّى التركيز على مشكلة الغوريلا إلى انقسام سابق لأوانه وخاطئ بين مؤيدي الآلات ومعارضيها. يعتقد مؤيدو الآلات أن خطر هيمنة الآلات محدود أو غير موجود؛ في حين يعتقد مُعارضوها أنه لا يمكن مواجهته ما لم تُدمَّر كل الآلات. يُصبح الصراع قبليًّا، ولا يُحاول أحد حل المشكلة الأساسية المتمثلة في إبقاء البشر الآلات تحت سيطرتهم.

بدرجات مختلفة، تخضع كل المسائل التقنية المهمة في القرن العشرين — الطاقة النووية والكائنات المعدلة وراثيًّا وأنواع الوقود الحفري — للقبلية. في كل مسألة، هناك جانبان، جانب مؤيد وجانب معارض. إن ديناميكيات ونواتج كل منهما كانت مختلفة، لكن أعراض القبلية واحدة: تشويه السمعة وعدم الثقة المتبادَلَين والحجج غير العقلانية ورفض قبول أي نقطة (منطقية) قد تكون في صالح الجانب الآخر. فيسعى الجانب المؤيد للتقنية لإنكار وإخفاء المخاطر، ويصاحب ذلك اتهامات باللودية؛ في حين يرى الجانب المعارض للتقنية أن المخاطر لا يمكن مواجهتها وأن المشكلات غير قابلة للحل. إن أي عضوٍ في الجانب المؤيد للتقنية والذي يكون أمينًا للغاية فيما يتعلق بمشكلةٍ ما يُرى على أنه خائن، وهو أمر مُحزن بوجهٍ خاص؛ نظرًا لأن الجانب المؤيد للتقنية عادة ما يتضمَّن معظم الناس المؤهلَين لحل المشكلة. كما أن عضو الجانب المعارض للتقنية الذي يناقش الحلول المحتملة خائن هو الآخر لأنه يرى أن التقنية نفسها هي مصدر الشر وليس آثارها المحتملة. وبهذه الطريقة، يمكن فقط للأصوات الأكثر تطرفًا — تلك التي يقلُّ بشدة احتمال الاستماع إليها من قبل الجانب الآخر — أن تتحدَّث باسم كل جانب.

في عام ٢٠١٦، دُعيت إلى الذهاب إلى مقر رئيس وزراء بريطانيا للقاء بعض مستشاري ديفيد كاميرون الذي كان رئيس الوزراء حينها. كان هؤلاء المستشارون قلقين من أن الجدل الدائر حول الذكاء الاصطناعي كان على وشك أن يُشبه الجدل الدائر حول الكائنات المُعدَّلة وراثيًّا، الذي أدى في أوروبا إلى ما اعتبره المستشارون تشريعاتٍ سابقة لأوانها ومُقيدة للغاية فيما يتعلق بإنتاج تلك الكائنات وتسميتها. وأرادُوا تجنُّب حدوث نفس الشيء فيما يتعلَّق بالذكاء الاصطناعي. إن لمخاوفهم بعض الوجاهة؛ فالجدل حول الذكاء الاصطناعي أصبح في خطر التحول إلى جدل قبلي؛ أي في تكوين معسكرَين أحدهما مؤيد للذكاء الاصطناعي والآخر معارض له. وسيضر هذا بالمجال لأنه ببساطة من الخطأ أن يعدَّ القلق بشأن المخاطر المتضمنة في الذكاء الاصطناعي المتطور موقفًا مُعاديًا للذكاء الاصطناعي. فالفيزيائي القلق بشأن مخاطر الحرب النووية أو خطر انفجار مفاعل نووي سيئ التصميم ليس «مُعاديًا للفيزياء». والقول بأنَّ الذكاء الاصطناعي سيكون قويًّا بالقدر الكافي بحيث يكون له تأثير عالمي ثناءٌ على المجال وليس هجومًا عليه.

من المهم أن يعترف مجتمع الذكاء الاصطناعي بوجود مخاطر ويعمل على الحدِّ منها. إن المخاطر، إلى الحدِّ الذي نفهمُه عنها، ليست محدودةً ولا صعبًا منعُها. نحن نحتاج لبذل قدْر كبير من الجهد لتجنُّبها، بما في ذلك إعادة تشكيل وإعادة بناء أسس الذكاء الاصطناعي.

(٤) ألا يمكننا فقط أن …؟

(٤-١) … نوقف تشغيل الآلات؟

إن الكثير من الناس، بما فيهم أنا، بمجرد أن يفهموا الفكرة الأساسية للخطر الوجودي — سواء في شكل مُشكلة الغوريلا أو مشكلة الملك ميداس — سيبدءون على الفور في البحث عن حلٍّ سهل. في الغالب، أول شيء سيطرأ على ذهنهم هو إيقاف تشغيل الآلات. على سبيل المثال، آلان تورينج نفسه، كما ذكرنا آنفًا، يتكهَّن بأننا يُمكن أن «نُبقي الآلات في وضعٍ تابع لنا، على سبيل المثال بإيقاف تشغيلها في اللحظات الحاسمة».

هذا لن يجدي، للسبب البسيط المُتمثِّل في أن الكيان الخارق الذكاء سوف «يفكر في تلك الاحتمالية»، ويتَّخذ خطواتٍ لمنعها. وسيفعل هذا ليس لأنه يُريد البقاء والاستمرار، ولكن لأنه يسعى إلى تحقيق الهدف الذي ندمجه فيه ويعرف أنه إن فشل في ذلك فسيُوقف تشغيله.

هناك بعض النُّظم التي خضعت للدراسة والتي في الواقع لا يُمكن إيقاف تشغيلها دون تدمير جانب كبير من ثمار حضارتنا. إنها النُّظُم المُنفذة على هيئة ما يُسمى بالعقود الذكية في سلسلة الكتل (البلوك تشين). إن «سلسلة الكتل» تُتيح التوزيع الواسع النطاق للقُدرة الحوسبية وحفظ السجلات اعتمادًا على التشفير؛ إنها مُصمَّمة بوجهٍ خاص بحيث لا يُمكن حذف أي عنصر بيانات أو إيقاف تنفيذ أي عقدٍ ذكي دون التحكم بالأساس في عددٍ كبير للغاية من الآلات وإلغاء السلسلة، مما قد يؤدِّي بالتبعية إلى تدمير جزءٍ كبير من الإنترنت و/أو النظام المالي. إنه لمحلُّ نزاعٍ التساؤل ما إذا كانت البراعة غير العادية سمةً مُبتكرة أم عيبًا. إنها بالتأكيد أداة يُمكن أن يستخدمها أي نظام ذكاء اصطناعي خارق لحماية نفسه.

(٤-٢) … نقيد الآلات؟

إذا لم يكن بإمكاننا إيقاف تشغيل نظم الذكاء الاصطناعي، فهل يُمكنُنا تقييد الآلات بنظام حمايةٍ من نوعٍ ما، بحيث نحصُل منها على إجابات مُفيدة على الأسئلة لكن دون أن نسمح لها بالتأثير على العالم الواقعي على نحوٍ مُباشر؟ تلك هي الفكرة وراء نُظُم الذكاء الاصطناعي الخاصة بشركة أوراكل، والتي جرت مناقشتها على نحوٍ مُطوَّل في أوساط المُهتمين بمسألة أمان الذكاء الاصطناعي.²² إن أي نظام ذكاء اصطناعي خاص بأوراكل يمكن أن يكون ذكيًّا على نحوٍ عشوائي، لكن تُمكنه الإجابة فقط بنعم أو لا (أو إعطاء أي احتمالاتٍ مشابهة) فيما يتعلق بأي سؤال. ويمكنه الوصول إلى كل المعلومات التي يمتلكها الجنس البشري من خلال اتصال للقراءة فقط؛ أي إنه ليس لديه اتصال مباشر بالإنترنت. بالطبع، هذا يعني وقف محاولة تطوير الروبوتات والمساعدين الخارقين والعديد من الأنواع الأخرى من نُظُم الذكاء الاصطناعي، لكن أي نظام ذكاء اصطناعي جيِّدٍ خاصٍّ بأوراكل ستكون له قيمة اقتصادية هائلة؛ لأننا يُمكننا أن نسأله أسئلةً إجابتها مُهمَّة لنا؛ مثل ما إذا كان مرض ألزهايمر سببه كائن مُعدٍ أو ما إذا كان من الجيد حظر الأسلحة الذاتية التشغيل. لذا، فإن نظم الذكاء الاصطناعي الخاصة بأوراكل بالتأكيد تُعَدُّ خيارًا مثيرًا للاهتمام.

لسوء الحظ، تُوجَد بعض الصعوبات المهمَّة. أولًا: إن نظام الذكاء الاصطناعي الخاص بأوراكل سيكون على الأقل مُفيدًا في فهم الجوانب الفيزيائية لعالَمه وأصوله — الموارد الحاسوبية ونمط تشغيلها والكيانات الغامضة التي شكلت مخزونه من المعلومات وتطرح عليه أسئلة الآن — كما هو الحال بالنسبة لنا فيما يتعلق بفهم عالمنا. ثانيًا: إذا كان الهدف من نظام الذكاء الاصطناعي الخاص بأوراكل هو تقديم إجاباتٍ دقيقة على الأسئلة في قدرٍ معقُول من الوقت، فسيكون لديه الدافع للخروج من القفص الذي هو فيه لاكتساب المزيد من الموارد الحاسُوبية والتحكُّم في مُوجِّهي الأسئلة إليه بحيث يسألونه فقط أسئلةً بسيطة. وأخيرًا، نحن لم نبتكِر بعدُ نظام حماية آمنًا ضد تدخُّل البشر العاديين، فضلًا عن الآلات الخارقة.

أعتقد أنه «ربما» تكون هناك حلول لبعض هذه المُشكلات، وخاصةً إذا قيَّدنا نُظُم الذكاء الاصطناعي الخاصة بأوراكل بحيث تكون آلات حاسبة منطقية أو بايزية جيِّدة على نحوٍ واضح. هذا يعني أننا يمكن أن نُصرَّ على أن الخوارزمية يمكن أن تنتج فقط نتيجةً تُتيحها المعلومات المُعطاة، ويمكننا التحقُّق رياضيًّا من تحقيق الخوارزمية لهذا الشرط. لكن هذا لا يحلُّ مشكلة التحكُّم في العملية التي ستُحدِّد «أي» العمليات الحسابية المنطقية أو البايزية التي سيتمُّ إجراؤها، من أجل الوصول إلى أقوى نتيجةٍ مُحتملة بأسرع ما يُمكن. ولأن تلك العملية لديها دافع للتفكير بسرعة، فإن لديها دافعًا لاكتساب موارد حاسوبية بالطبع للحفاظ على وجودها.

في عام ٢٠١٨، عقد مركز الذكاء الاصطناعي المُتوافق مع البشر التابع لجامعة كاليفورنيا ببيركلي ورشة عمل طرحنا فيها السؤال الآتي: «ماذا ستفعل إذا كنتَ تعرف على وجه اليقين أن الذكاء الاصطناعي الخارق سيتحقَّق في غضون عقد؟» كانت إجابتي هي إقناع المُطوِّرين أن يُؤجِّلوا بناء الكيان الذكي العام — ذلك الذي يُمكنه اختيار أفعاله في العالم الواقعي — ويبنُوا بدلًا منه نظام ذكاء اصطناعي خاصًّا بأوراكل. وفي تلك الأثناء، سنعمل على حلِّ المُشكلة بجعل نظم الذكاء الاصطناعي الخاصة بأوراكل آمنةً على نحوٍ مُثبت إلى أقصى حدٍّ مُمكن. وإمكانية نجاح تلك الاستراتيجية ترجع إلى أمرَين؛ أولًا: ستبلُغ القيمة المالية لنظام الذكاء الاصطناعي الخارق الخاص بأوراكل تريليونات الدولارات، مما قد يجعلُ المُطوِّرين على استعدادٍ لقبول هذا القيد؛ وثانيًا: التحكم في نظم الذكاء الاصطناعي الخاصة بأوراكل أسهل على نحوٍ شبه مؤكَّد من التحكُّم في كيانٍ ذكي عام، لذا، ستكون لدَينا فرصة أفضل لحل المشكلة خلال العقد.

(٤-٣) … نعمل في فِرَقٍ يتعاون فيها البشر والآلات؟

هناك فكرة منتشرة في عالم الأعمال مفادها أن الذكاء الاصطناعي لن يُمثل أيَّ تهديد على العمالة أو على البشرية؛ لأننا حينها ستكون لدَينا فِرَق تعاونية مكونة من البشر والآلات. على سبيل المثال، ذكر الخطاب الذي وجهه ديفيد كيني للكونجرس الأمريكي، والذي عرضنا له قبل ذلك في هذا الفصل، أن «نُظُم الذكاء الاصطناعي العالية القيمة مُصمَّمة على نحوٍ خاص لكي تدعم الذكاء البشري، وليس لكي تحلَّ محلَّ العُمال».²³

في حين أن أحد المُتهكِّمين قد يُشير إلى أن هذه مجرد خدعة دعائية لتيسير عملية حذف الموظفين البشريِّين من قوائم عملاء الشركات، فأنا أعتقد أن هذا يُحرك الأمر إلى الأمام قليلًا. إن الفِرَق التعاونية المُكوَّنة من البشر والآلات الذكية لهي في واقع الأمر هدف مرغوب فيه. لكن من المعروف أن أي فريق لن يكون ناجحًا إلا إذا كانت أهداف أعضائه مُتوافقة، لذا، فإن التأكيد على الفِرَق التعاونية المُكوَّنة من البشر والآلات الذكية يُبرز الحاجة إلى حلِّ المشكلة الأساسية المتعلقة بتوفيق القيمة. وبالطبع، إبراز المشكلة يختلف عن حلها.

(٤-٤) … نندمج مع الآلات؟

عندما تتطوَّر عملية تكوين فرق تعاونية من البشر والآلات إلى أقصى حد، تُصبح عملية دمج بين الإنسان والآلة تلحق فيها مكوِّنات إلكترونية مباشرة بالدماغ وتُشكل جزءًا من كيانٍ واحدٍ ومُمتدٍّ وواعٍ. يصف عالم المُستقبليات راي كيرزويل تلك الاحتمالية كما يلي:²⁴

نحن سنندمج معها مباشرة، وسنُصبح آلات ذكية. … وعندما نصلُ إلى أواخر ثلاثينيات أو أربعينيات القرن الحادي والعشرين، سيُصبح تفكيرنا غير بيولوجي على نحوٍ غالب، والجزء غير البيولوجي سيكون في النهاية ذكيًّا للغاية وستكون لديه قدرات عالية بحيث يُمكنه نمذجة ومُحاكاة وفهم الجزء البيولوجي على نحوٍ كامل.

يرى كيرزويل تلك التطوُّرات على نحوٍ إيجابي. أما إيلون ماسك، على الجانب الآخر، فيرى أن عملية الدمج بين البشر والآلات بالأساس استراتيجية دفاعية:²⁵

إن حقَّقنا تكافُلًا كاملًا، فلن تكون الآلة الذكية «كيانًا آخر»؛ ستكون هي أنت و[ستكون لها] علاقة بالقشرة الدماغية الخاصة بك تُماثل علاقة قشرتك الدماغية بنظامك الطرفي. … سيكون لدَينا الاختيار ما بين أن يجري تجاهُلنا ونُصبح فعليًّا بلا فائدة أو أشبه بحيوان أليف — مثل قطٍّ منزلي أو ما شابه — أو نصِل في النهاية إلى طريقةٍ يُمكن من خلالها أن نتكافل مع الآلات الذكية ونندمج معها.

إن شركة نيورالينك التي أسسها ماسك تعمل على تطوير جهازٍ يُسمَّى «الرابط العصبي» والذي يقوم على تقنيةٍ جرى وصفها في سلسلة روايات «الثقافة» التي كتبها إين بانكس. إن الهدف هو الربط على نحوٍ فعَّال ودائم بين القشرة الدماغية والشبكات والنظم الحاسوبية الخارجية. لكن هناك عقبتان فنِّيتان أساسيتان؛ أولًا: صعوبات الربط بين الجهاز الإلكتروني والنسيج البشري، وإمداده بالطاقة، وربطه بالعالَم الخارجي؛ وثانيًا: حقيقة أننا لا نفهم تقريبًا شيئًا عن التنفيذ العصبي للمستويات الأعلى من المعرفة في الدماغ، لذا، نحن لا نعرف أين سنربط الجهاز وعمليات المعالجة التي يجب أن يقوم بها.

أنا غير مُقتنع تمامًا بأن العقبتَين المذكورتَين في الفقرة السابقة لا يُمكن تجاوزهما. أولًا: تقنيات مثل «الغبار العصبي» تُقلل على نحوٍ سريع من مُتطلبات الحجم والطاقة الخاصة بالأجهزة الإلكترونية التي يُمكن إرفاقها بالعصبونات وتُوفِّر عمليات استشعار ومُحاكاة واتصال عبر الجمجمة.²⁶ (التقنية وصولًا إلى عام ٢٠١٨ قد وصلت إلى حجم يصلُ إلى نحو ملِّيمتر مُكعب واحد، لذا، فإن «الحُبَيبة العصبية» قد تكون مُصطلحًا أكثر دقة.) ثانيًا: الدماغ نفسه يمتلك قدرات هائلة على التكيُّف. كان يعتقد، على سبيل المثال، أننا سيكون علينا فهم الشفرة التي يستخدمها الدماغ للتحكم في عضلات الذراع قبل أن يكون بإمكاننا بنجاح توصيل أحد الأدمغة بذراعٍ آليةٍ، وأننا سيكون علينا فهم طريقة تحليل قوقعة الأذن للصوت قبل أن يُمكننا زرع جزءٍ بديل لها. واتضح، بدلًا من ذلك، أن الدماغ يقوم بمعظم العمل بالنيابة عنا. فهو يتعلم بسرعة كيف يجعل ذراع الروبوت تفعل ما يُريده مالكها، وكيف يُحول نتاج قوقعة الأذن البديلة إلى أصوات مفهومة. من الممكن تمامًا أن نتوصَّل إلى طُرق لتزويد الدماغ بذاكرةٍ إضافية وبقنوات اتصال مع أجهزة الكمبيوتر وربما حتى بقنوات اتصال مع أدمغةٍ أخرى؛ كل ذلك دون حتى أن نفهم فعليًّا كيف يعمل أيٌّ منها.²⁷

بصرف النظر عن مدى الجدوى التقنية لتلك الأفكار، يجب على المرء أن يسأل إن كان هذا التوجُّه يُعدُّ أفضل مستقبل ممكن للبشرية أم لا. إن احتاج البشر إلى جراحة في الدماغ فقط لمواجهة التهديد الذي تفرضه التقنيات التي ابتكروها، فربما ارتكبنا خطأً ما في موضعٍ ما أثناء العملية.

(٤-٥) … نتجنَّب دمج أهداف بشرية؟

أحد الاعتقادات الشائعة يرى أن سلوكيات الذكاء الاصطناعي المُسبِّبة للمُشكلات تنبع من دمج «أنواع» مُعينة من الأهداف؛ فإن جرى تجنُّب هذا، فسيكون كل شيء على ما يرام. لذا، على سبيل المثال، إن يان ليكن، الذي يُعَد أحد رواد مجال التعليم المُتعمِّق والذي يترأس قسم الأبحاث الخاصة بالذكاء الاصطناعي في شركة فيسبوك، عادةً ما يذكُر تلك الفكرة عندما يُقلل من شأن الخطر الذي قد ينجم عن الذكاء الاصطناعي:²⁸

لا يُوجد سبب لدى الآلات الذكية لامتلاك غرائز خاصة بالحفاظ على الذات أو غيرة أو ما إلى ذلك. … فهي لن تكون لديها تلك «العواطف» المُدمِّرة ما لم ندمجها فيها. وأنا لا أفهم سبب رغبتنا في فعل ذلك.

في نفس الإطار، يُوفِّر ستيفين بينكر تحليلًا يقوم على الجنس:²⁹

يُسقط أصحاب السيناريوهات التشاؤمية فيما يتعلق باستخدام الذكاء الاصطناعي فكرة الذَّكَر المُهيمن الضيقة الأفق على مفهوم الذكاء. فهم يفترضُون أن الروبوتات الذكية إلى حدٍّ خارق ستُطور أهدافًا مثل التخلُّص من أسيادها أو السيطرة على العالم. … من الغريب أن الكثير من هؤلاء لا يرَون احتمالية أن الذكاء الاصطناعي سيتطور طبيعيًّا على نحوٍ أُنثوي؛ إذ سيكون قادرًا على نحوٍ كامل على حلِّ المشكلات، لكن دون أن تكون لدَيه أي رغبة في قتل الأبرياء أو السيطرة على الحضارة.

كما أوضحنا من قبل في النقاش الخاص بالأهداف الأداتية، لا يهم ما إذا كنا ندمج «عواطف» أو «رغبات» مثل الحفاظ على الذات أو امتلاك الموارد أو اكتشاف المعرفة أو، في الحالة المتطرفة، السيطرة على العالم. إن الآلة ستمتلك تلك العواطف على أيِّ حال، باعتبارها أهدافًا فرعية لأي هدفٍ ندمجه فيها، وبصرف النظر عن جنسها. فبالنسبة إلى أي آلة، الموت ليس سيئًا في حدِّ ذاته. لكن يجب تجنُّبه لأنه من الصعب جلب فنجان القهوة إذا كنت ميتًا.

هناك حلٌّ أكثر تطرُّفًا؛ وهو تجنُّب دمج أي أهداف في الآلة. ربما تقول إن المشكلة تكون هكذا قد حُلت. للأسف، الأمر ليس بسيطًا على هذا النحو. فبدون أهداف، لا يُوجَد أي ذكاء: لا يُوجَد اختلاف بين أي فعل والآخر، وستكون الآلة أشبه بمُولِّد أعداد عشوائية. وبدون أهداف، فلن يكون أيضًا هناك سبب للآلة لتفضيل جنَّة البشر على كوكبٍ تحوَّل إلى بحر من مشابك الورق (وهو سيناريو وُصف على نحوٍ مُفصَّل من قِبَل نيك بوستروم). في الواقع، قد تكون النتيجة الأخيرة مثاليةً لبكتيريا ثايوباسيلس فيراكسدانز الآكلة للحديد. ففي غياب مفهومٍ ما عن أهمية التفضيلات البشرية، على أي أساس يمكن القول بأن تلك البكتيريا على خطأ؟

يُوجَد شكل مختلف من فكرة «تجنُّب دمج الأهداف» والذي يتمثَّل في مفهوم أن النظام الذكي بالقدر الكافي بالضرورة سيُطوِّر، نتيجةً لذكائه، الأهداف «الصحيحة» من تلقاء نفسه. في الغالب، مُناصرو هذا المفهوم مُعجبون بالنظرية القائلة بأن الأشخاص ذوي الذكاء الأكبر يميلون إلى أن تكون لديهم أهداف غيرية ونبيلة أكثر؛ وهو رأيٌ قد يكون مُرتبطًا بمفهوم المؤيدين لذواتهم.

إن فكرة أنه من المُمكن إدراك الأهداف في العالم قد نُوقشت باستفاضةٍ من قبل فيلسوف القرن الثامن عشر الشهير ديفيد هيوم في عمله «رسالة في الطبيعة البشرية».³⁰ لقد سمَّاها «مشكلة ما يجب أن يكون» وخلص إلى أنه ببساطة، من الخطأ الاعتقاد أن الواجبات الأخلاقية يمكن استخلاصها من الحقائق الطبيعية. لمعرفة السبب، انظر، على سبيل المثال، في تصميم لوح الشطرنج وقِطَعه. لا يُمكن لأحدٍ أن يُدرك من خلالهما هدف لعبة الشطرنج العادية؛ وهي قتل الملك، نظرًا لأن نفس لوح الشطرنج وقطعه يُمكن استخدامهما في لعبة الشطرنج العكسي (تلك التي يفوز فيها اللاعب عندما يفقد كلَّ قطعه)، أو في واقع الأمر العديد من الألعاب الأخرى التي لا تزال لم تُبتكر.

قدَّم نيك بوستروم في كتابه «الذكاء الخارق» نفس الفكرة الأساسية لكن في شكلٍ مُختلف، والذي يُسمِّيه «فرضية التعامد»:

إن الذكاء والأهداف النهائية مُتعامدان؛ يمكن مبدئيًّا الجمع بين أي مستوى ذكاء وأي هدف نهائي تقريبًا.

إن كلمة «متعامدان» هنا تعني «يكوِّنان زاوية قائمة» بمعنى أن مستوى الذكاء والأهداف يُعدَّان المحورَين اللذين يُحدِّدان أيَّ نظام ذكي، ويُمكننا تغيير أيٍّ منهُما على نحوٍ مُستقل عن الآخر. على سبيل المثال، يُمكن لأي سيارة ذاتية القيادة أن تُعطى أيَّ عُنوانٍ باعتباره وجهتها، كما أن جعل السيارة سائقًا أفضل لا يعني أنها ستبدأ في رفض الذهاب إلى أرقام الشوارع القابلة للقسمة على ١٧. بالإضافة إلى ذلك، من السهل تخيُّل أن أي نظام ذكاء عام يُمكن إعطاؤه أي هدفٍ تقريبًا كي يتبعه؛ بما في ذلك زيادة عدد مشابك الورق أو عدد الأرقام المعروفة لثابت الدائرة. هذه بالضبط هي الطريقة التي تعمل بها نظم التعلم المُعزَّز والأنواع الأخرى من وسائل تحسين المكافأة: تكون الخوارزميات عامة على نحوٍ كامل، وتقبل «أي» إشارة مكافأة. بالنسبة للمهندسين وعلماء الكمبيوتر العاملين في إطار النموذج القياسي، فإن فرضية التعامُد مجرد أمر مُسلَّم به.

إن فكرة أنَّ النُّظم الذكية يمكنها ببساطة مراقبة العالم لاكتساب الأهداف التي يجب تحقيقها تُشير إلى أن النظام الذكي بالقدر الكافي سيتخلَّى على نحوٍ طبيعي عن هدفه الأساسي من أجل الهدف «الصحيح». من الصعب إدراك لماذا سيفعل أيُّ كيانٍ عقلاني ذلك. بالإضافة إلى ذلك، فإن تلك الفكرة تفترض مُسبقًا أن هناك هدفًا «صحيحًا» في العالم؛ إن هذا الهدف يجب أن يكون هدفًا تتفق عليه أنواع البكتيريا الآكلة للحديد والبشر وكل الأجناس الأخرى، وهو أمر صعب تخيُّله.

إن أكثر نقدٍ صريح لفرضية التعامُد الخاصة ببوستروم يأتي من اختصاصيي علم الروبوتات المعروف رودني بروكس الذي يُؤكِّد على أنه من المستحيل بالنسبة لأي برنامج أن يكون «ذكيًّا بالقدر الكافي بحيث يُمكنه ابتكار طرق لإخضاع المجتمع البشري لتحقيق أهدافٍ حدَّدها له البشر، دون فهم الطرق التي يتسبَّب بها في مشكلات لهؤلاء البشر».³¹ لسوء الحظ، إنه ليس فقط مُمكنًا لأي برنامج أن يتصرَّف على هذا النحو؛ إنه، في الواقع، حتمي، في ضوء توصيف بروكس للمسألة. يفترض بروكس أن الطريقة المُثلى من أجل «تحقيق أهدافٍ حدَّدها له البشر» هي التسبب في مشكلات لهم. ويستتبع ذلك أن تلك المشكلات تعكس أشياء ذات قيمةٍ للبشر جرى حذفها من الأهداف المُحددة له من قبلهم. إن الطريقة المُثلى إن نُفِّذت من جانب الآلة قد تُسبِّب مشكلات للبشر، وقد تكون الآلة على وعيٍ بهذا. لكن، الآلة بطبيعتها لن ترى أن تلك المشكلات إشكالية. فهذا أمر خارج نطاق اهتمامها.

يبدو أن ستيفين بينكر يتَّفق مع فرضية التعامُد الخاصة ببوستروم، إذ يكتب أن «الذكاء هو القدرة على ابتكار طرق جديدة للوصول إلى هدف؛ إذن، الأهداف خارجة عن الذكاء نفسه».³² على الجانب الآخر، إنه يرى أنه من غير الوارد أن «الذكاء الاصطناعي سيكون ذكيًّا جدًّا بحيث يمكنه معرفة كيفية تغيير العناصر وإعادة تشكيل روابط الأدمغة، ومع ذلك يكون أحمق للغاية بحيث يُحدث فوضى بناءً على أخطاء بسيطة قائمة على سوء الفهم».³³ ويُضيف: «إن القدرة على اختيار فعلٍ يُحقِّق على أفضل نحوٍ أهدافًا مُتعارضة ليست برنامجًا إضافيًّا قد ينسى المهندسون تثبيته واختباره؛ إنه الذكاء. وهكذا الحال بالنسبة إلى فهم نوايا مُستخدِم للغة في أحد السياقات». بالطبع، إن «تحقيق أهدافٍ مُتعارضة» ليس هو المشكلة؛ إنه شيء مُتضمن في النموذج القياسي من الأيام الأولى لنظرية اتخاذ القرار. تكمن المشكلة في أن الأهداف المُتعارضة التي تكون الآلة على وعي بها لا تُمثِّل مُجمل الاهتمامات البشرية؛ علاوة على ذلك، في النموذج القياسي، لا يُوجَد ما يشير إلى أن الآلة يجب أن تهتمَّ بأهدافٍ لم يُطلب منها الاهتمام بها.

لكن هناك بعض النقاط المُفيدة فيما قاله كل من بروكس وبينكر. يبدو بالفعل أمرًا أحمق «بالنسبة إلينا»، على سبيل المثال، أن تُغيِّر الآلة لون السماء باعتبار ذلك أثرًا جانبيًّا لاتباع هدفٍ آخر، مع تجاهل العلامات الواضحة على عدم رضا البشر عن تلك النتيجة. إنه يبدو أمرًا أحمق بالنسبة إلينا؛ لأننا مُعتادون على ملاحظة عدم الرضا البشري و(غالبًا) يكون لدَينا الدافع لتجنُّب حدوثه، حتى إن لم نكن مُدركين على نحوٍ مُسبق أن الأشخاص ذوي الصلة يهتمون بلون السماء. هذا يعني أولًا أن البشر يهتمون بتفضيلات غيرهم من البشر؛ وثانيًا أنهم لا يعرفون كل هذه التفضيلات. في الفصل القادم، سأُحاجج بأن هاتَين السمتَين، عند دمجهما في إحدى الآلات، قد يوفران بدايةً لحلٍّ لمشكلة الملك ميداس.

(٥) عَود على بدء

قدَّم هذا الفصل نبذة مختصرة عن جدلٍ دائر في المجتمع العلمي الواسع النطاق، وهو جدل بين من يعتقد بوجود مخاطر للذكاء الاصطناعي ومن يتشكَّك في ذلك. لقد دار هذا الجدل بين جنبات الكتب والمدوَّنات والأبحاث الأكاديمية والحلقات النقاشية والحوارات الإعلامية والتغريدات والمقالات الصحفية. ورغم الجهود الجبارة ﻟ «المُتشكِّكين» — هؤلاء الذين يرَون أن مخاطر الذكاء الاصطناعي معدومة — فإنهم قد فشلوا في تحديد السبب في أن نُظُم الذكاء الاصطناعي الخارقة ستبقى بالضرورة تحت سيطرة البشر؛ كما أنهم حتى لم يُحاولوا تحديد السبب في أن تلك النظم لن تظهر للوجود أبدًا.

إن الكثير من المُتشكِّكين سيعترفُون، عند الضغط عليهم، بوجود مشكلةٍ حقيقية، حتى لو لم تكن وشيكة. يلخص سكوت ألكسندر، في مُدونته «سليت ستار كودكس»، الأمر على نحوٍ بارع، فيقول:³⁴

إن موقف «المُتشكِّكين» يبدو أنه يتمثَّل في أنه رغم أننا يجب على الأرجح أن نجعل مجموعة من الباحثين البارعين يبدءون العمل على الجوانب الأوَّلية للمشكلة، فإننا يجب ألا نفزع أو نبدأ في محاولة وقف أبحاث الذكاء الاصطناعي.

إن «المؤمنين» بوجود مخاطر للذكاء الاصطناعي، على الجانب الآخر، يُصرُّون على أننا يجب ألا نفزع أو نبدأ في محاولة وقف أبحاث الذكاء الاصطناعي، رغم أننا يجب على الأرجح أن نجعل مجموعة من الباحثين البارعين يبدءون العمل على الجوانب الأوَّلية للمشكلة.

على الرغم من أنني سأكون سعيدًا إن خرج علينا المُتشكِّكون باعتراض غير قابلٍ للتفنيد، ربما في شكل حلٍّ بسيط وفعَّال (وآمن) لمشكلة التحكم الخاصة بالذكاء الاصطناعي، فأنا أعتقد أنه من المُحتمل جدًّا ألا يحدث هذا، مثلما هو الحال بالنسبة إلى إيجاد حلٍّ بسيط وفعال للأمن الإلكتروني أو طريقة بسيطة وفعالة لتوليد طاقة نووية دون أيِّ مخاطر. وبدلًا من استمرار مسلسل السقوط في مُستنقع السباب القبلي والإحياء المُتكرِّر للحُجج القابلة للتفنيد، يبدو من الأفضل، كما قال ألكسندر، أن نبدأ العمل على بعض الجوانب الأولية للمشكلة.

لقد سلَّط الجدلُ الدائرُ الضوء على المُعضلة التي نواجهها: إذا أنشأنا آلاتٍ تسعى إلى التحقيق الأمثل لأهداف مُعينة، فيجب أن تكون الأهداف التي ندمجها في الآلات مُتوافقةً مع ما نُريد، لكننا لا نعرف كيف نُحدِّد الأهداف البشرية على نحوٍ كامل وصحيح. لحُسن الحظ، هناك حل وسط.