عندما تدخل إلى عيادة الطبيب، فإنك تفترض شيئًا أساسيًا للغاية لدرجة أنه بالكاد يحتاج إلى توضيح: لقد لمس طبيبك جسدًا من قبل. لقد درسوا علم التشريح، ورأوا الأعضاء، وتعلموا الفرق بين الألم الذي يشع والألم الذي ينبض. لقد طوروا هذه المعرفة، كما تفترض، ليس فقط من خلال القراءة ولكن أيضًا من خلال سنوات من الخبرة العملية والتدريب.
تخيل الآن أنك اكتشفت أن هذا الطبيب لم يسبق له أن واجه جسدًا على الإطلاق. وبدلاً من ذلك، فقد قرأوا فقط الملايين من تقارير المرضى وتعلموا، بتفاصيل رائعة، كيف “يبدو” التشخيص عادةً. ستظل تفسيراتهم مقنعة، بل وحتى مريحة. سيكون الإيقاع صحيحًا، والمفردات لا تشوبها شائبة، والصيغ مألوفة بشكل مطمئن. ومع ذلك، في اللحظة التي تتعلم فيها ماهية معرفتهم فعليًا – الأنماط الموجودة في النص بدلاً من الاتصال بالعالم – فإن شيئًا أساسيًا سوف يذوب.
يلجأ الكثير منا كل يوم إلى أدوات مثل ChatGPT من OpenAI للحصول على المشورة الطبية أو التوجيه القانوني أو البصيرة النفسية أو الدروس التعليمية أو إصدار الأحكام حول ما هو صحيح وما هو غير صحيح. وعلى مستوى ما، نحن نعلم أن هذه النماذج اللغوية الكبيرة (LLMs) تحاكي فهمًا للعالم ليس لديهم في الواقع، حتى لو كانت طلاقتهم تجعل من السهل نسيان ذلك.
حول دعم الصحافة العلمية
إذا كنت تستمتع بهذا المقال، ففكر في دعم صحافتنا الحائزة على جوائز من خلال الاشتراك. من خلال شراء اشتراك، فإنك تساعد على ضمان مستقبل القصص المؤثرة حول الاكتشافات والأفكار التي تشكل عالمنا اليوم.
ولكن هل المنطق في ماجستير القانون يشبه الحكم البشري، أم أنه مجرد توليد الصورة الظلية اللغوية للاستدلال؟ باعتباري عالمًا يدرس الحكم البشري وديناميكيات المعلومات، شرعت مؤخرًا مع زملائي في معالجة هذا السؤال غير المستكشف بشكل مدهش. قمنا بمقارنة كيفية استجابة حاملي شهادة الماجستير في القانون والأشخاص عندما طُلب منهم إصدار أحكام عبر عدد قليل من الاختبارات التي تمت دراستها لعقود من الزمن في علم النفس وعلم الأعصاب. لم نتوقع أن “تفكر” هذه الأنظمة مثل البشر، لكننا اعتقدنا أنه سيكون من المفيد فهم كيفية اختلافها فعليًا عن البشر لمساعدة الأشخاص على تقييم كيفية وتوقيت استخدام هذه الأدوات.
في إحدى التجارب، قدمنا لـ 50 شخصًا وستة ماجستير إدارة أعمال عدة مصادر إخبارية، ثم طلبنا منهم تقييم مصداقية المصدر وتبرير تقييمهم. تظهر الأبحاث السابقة أنه عندما يواجه شخص ما عنوانًا مشكوكًا فيه، تحدث عدة أشياء عادةً. أولاً، يقوم الشخص بمقارنة العنوان الرئيسي بما يعرفه بالفعل عن العالم: ما إذا كان يتناسب مع الحقائق الأساسية أو الأحداث الماضية أو الخبرة الشخصية. ثانيًا، يجلب القارئ توقعاته حول المصدر نفسه، مثل ما إذا كان يأتي من وسيلة إعلام لها تاريخ من التقارير الدقيقة أو معروفة بالمبالغة أو التحيز. ثالثًا، يأخذ الشخص في الاعتبار ما إذا كان الادعاء منطقيًا كجزء من سلسلة أوسع من الأحداث، وما إذا كان من الممكن حدوثه بشكل واقعي وما إذا كان يتوافق مع كيفية ظهور المواقف المماثلة عادةً.
لا تستطيع نماذج اللغات الكبيرة أن تفعل الشيء نفسه. لمعرفة ما يفعلونه بدلاً من ذلك، طلبنا من النماذج الرائدة تقييم مدى موثوقية عناوين الأخبار باتباع إجراء محدد. تم توجيه LLMs لتوضيح المعايير التي كانوا يستخدمونها للحكم على المصداقية وتبرير حكمهم النهائي. لاحظنا أنه حتى عندما توصلت النماذج إلى استنتاجات مماثلة لتلك التي توصل إليها المشاركون من البشر، فإن مبرراتها عكست باستمرار أنماطًا مستمدة من اللغة (مثل عدد المرات التي تتطابق فيها مجموعة معينة من الكلمات وفي أي سياقات) بدلاً من الإشارة إلى حقائق خارجية، أو أحداث أو تجارب سابقة، وهي عوامل استند إليها البشر.
وفي تجارب أخرى، قمنا بمقارنة تفكير البشر وطلاب ماجستير العلوم حول المعضلات الأخلاقية. يعتمد البشر على الأعراف والتوقعات الاجتماعية والاستجابات العاطفية والحدس المشكل ثقافيًا حول الضرر والعدالة للتفكير في الأخلاق. على سبيل المثال، عندما يقوم الناس بتقييم الأخلاق، فإنهم غالبا ما يستخدمون المنطق السببي. إنهم يفكرون في كيف يؤدي حدث إلى آخر، ولماذا يهم التوقيت، وكيف كان من الممكن أن تسير الأمور بشكل مختلف إذا تغير شيء ما على طول الطريق. يتخيل الناس مواقف مختلفة من خلال حقائق مضادة يسألون فيها: “ماذا لو كان هذا مختلفًا؟”
لقد وجدنا أن نموذج اللغة قد أعاد إنتاج هذا الشكل من المداولات بشكل جيد إلى حد ما: يوفر النموذج عبارات تعكس مفردات الرعاية أو الواجب أو الحقوق. وسوف يقدم لغة سببية مبنية على أنماط في اللغة، بما في ذلك الحقائق المضادة “إذا – إذن”. ولكن الأهم من ذلك، أن النموذج لا يتخيل أي شيء فعليًا أو ينخرط في أي مداولات، بل يعيد فقط إنتاج أنماط في كيفية تحدث الناس أو كتابتهم عن هذه الحقائق المضادة. يمكن أن تبدو النتيجة وكأنها تفكير سببي، لكن العملية التي تكمن وراءها هي استكمال النمط، وليس فهم كيفية إنتاج الأحداث لنتائج في العالم.
في جميع المهام التي درسناها، يظهر نمط ثابت. يمكن لنماذج اللغة الكبيرة في كثير من الأحيان أن تتطابق مع الاستجابات البشرية ولكن لأسباب لا تشبه المنطق البشري. عندما يحكم الإنسان، يرتبط النموذج. عندما يقوم الإنسان بالتقييم، يتنبأ النموذج. عندما يتعامل الإنسان مع العالم، فإن النموذج يتعامل مع توزيع الكلمات. هندستها المعمارية تجعلها جيدة بشكل غير عادي في إعادة إنتاج الأنماط الموجودة في النص. إنه لا يمنحهم إمكانية الوصول إلى العالم الذي تشير إليه تلك الكلمات.
ومع ذلك، نظرًا لأن الأحكام البشرية يتم التعبير عنها أيضًا من خلال اللغة، فإن إجابات النموذج غالبًا ما تشبه إجابات البشر ظاهريًا. هذه الفجوة بين ما يبدو أن النماذج تفعله وما يفعلونه في الحقيقة ما نفعله هو ما نسميه أنا وزملائي المعرفة المعرفية: عندما تصبح محاكاة المعرفة غير قابلة للتمييز، بالنسبة للمراقب، عن المعرفة نفسها. المعرفة المعرفية هي اسم لخلل في كيفية تفسير الناس لهذه النماذج، حيث يتم أخذ المعقولية اللغوية كبديل للحقيقة. ويحدث هذا لأن النموذج بطلاقة، والطلاقة هي شيء يثق به القراء البشريون.
الخطر هنا خفي. ليس الأمر في المقام الأول هو أن النماذج غالبًا ما تكون خاطئة، بل قد يكون الناس أيضًا مخطئين. والمسألة الأعمق هي أن النموذج لا يستطيع أن يعرف متى يكون يهلوس، لأنه لا يستطيع أن يمثل الحقيقة في المقام الأول. ولا يمكنها تكوين معتقدات أو مراجعتها أو التحقق من مخرجاتها أمام العالم. ولا يمكن التمييز بين الادعاء الموثوق به والادعاء غير الموثوق به إلا عن طريق القياس على الأنماط اللغوية السابقة. باختصار، لا يمكنها أن تفعل ما يهدف إليه الحكم بشكل أساسي.
ويستخدم الناس بالفعل هذه الأنظمة في سياقات يكون فيها من الضروري التمييز بين المعقولية والحقيقة، مثل القانون والطب وعلم النفس. يمكن للنموذج إنشاء فقرة تبدو وكأنها تشخيص أو تحليل قانوني أو حجة أخلاقية. لكن الصوت ليس مادة. المحاكاة ليست هي الشيء الذي تمت محاكاته.
ولا يعني أي من هذا ضرورة رفض نماذج اللغات الكبيرة. إنها أدوات قوية للغاية عند استخدامها على حقيقتها: محركات للأتمتة اللغوية، وليست محركات للفهم. إنهم يتفوقون في صياغة الأفكار وتلخيصها وإعادة تجميعها واستكشافها. ولكن عندما نطلب منهم الحكم، فإننا نعيد تعريف الحكم بهدوء، ونحوله من علاقة بين العقل والعالم إلى علاقة بين التوزيع الفوري والتوزيع الاحتمالي.
ماذا يجب على القارئ أن يفعل بهذه المعرفة؟ لا تخافوا من هذه الأنظمة، بل ابحثوا عن فهم أوضح لما تستطيع هذه الأنظمة أن تفعله وما لا تستطيع أن تفعله. وتذكر أن السلاسة ليست البصيرة، والفصاحة ليست دليلاً على الفهم. تعامل مع النماذج اللغوية الكبيرة باعتبارها أدوات لغوية متطورة تتطلب إشرافًا بشريًا على وجه التحديد لأنها تفتقر إلى الوصول إلى المجال الذي يعتمد عليه الحكم في نهاية المطاف: العالم نفسه.
هل أنت عالم متخصص في علم الأعصاب أو العلوم المعرفية أو علم النفس؟ وهل قرأت مؤخرًا ورقة بحثية تمت مراجعتها من قبل النظراء وترغب في الكتابة عنها لمجلة Mind Matters؟ الرجاء إرسال الاقتراحات إلى العلمية الأمريكيةمحررة Mind Matters ديزي يوهاس في dyuhas@sciam.com.

التعليقات