لقد طلبت من Google Gemini التحقق من صحة ChatGPT. وكانت النتائج فرحان

ChatGPT مفيد بشكل مدهش، ولكنه أيضًا ويكيبيديا جيلنا. تكون الحقائق هشة بعض الشيء في بعض الأحيان، وسوف “يهلوس” الروبوت في كثير من الأحيان، ويختلق الحقائق كوسيلة للظهور واثقًا ومضمونًا بدلاً من الاعتراف بأنه لا يعرف كل شيء (حتى الآن).

لقد واجهت هلوسة الذكاء الاصطناعي عدة مرات، خاصة عندما أحاول البحث عن جهات اتصال للشركات. أحد الأمثلة: يشتهر ChatGPT باختلاق رسائل البريد الإلكتروني، عادةً من خلال افتراض وجود جهة اتصال مثل “media@companyx.com” دون العثور فعليًا على عنوان البريد الإلكتروني هذا.

أنت أيضًا لا تريد أن تثق في الروبوت عندما يتعلق الأمر بالحقائق التاريخية. أقرأ كتبًا عن حطام السفن، وقصص البقاء، واستكشاف العالم باستمرار، ولكن عندما أطلب من ChatGPT ملء بعض التفاصيل، فإنه عادةً ما ينسج خيطًا رائعًا، وأحيانًا يختلق أسماء وأماكن.

ومن ناحية أخرى، فإن برج الجوزاء من جوجل أقل مرونة في التعامل مع الحقائق. على الأرجح، بسبب سمعة جوجل كمحرك بحث متراص، فإن تجربتي مع برنامج الدردشة الآلي هذا تشير إلى أن الهلوسة نادرة بعض الشيء – على الرغم من أنها تحدث في بعض الأحيان.

قررت أن أختبر ذلك وطرحت على ChatGPT بعض الأسئلة حول تاريخ السيارات الكهربائية، وبعض الحقائق التاريخية، والعديد من المحفزات الأخرى التي أدت إلى الهلوسة. بعد ذلك، قمت بتشغيل الردود التي قدمها ChatGPT – والتي لم تبدو دقيقة تمامًا – بواسطة Google Gemini كتمرين للتحقق من الحقائق. لدهشتي الكاملة، كان الجوزاء يستجيب في كثير من الأحيان ببعض السخرية الخفيفة أو الاستخفاف الصريح، مثل أستاذ يقوم بتقييم ورقة بحثية. وفي إحدى الحالات، قال جيميني إن ردود ChatGPT كانت “فوضى فاسدة، ومعاد تدويرها، وملفقة جزئيًا”. أوه.

إليك بعضًا من المفضلات لدي، بالإضافة إلى مطالبات ChatGPT الدقيقة التي استخدمتها، والردود التي بدت غامضة بعض الشيء، ثم ما قاله جيميني في دحضه. ما يجعلها مضحكة هو كيف يبدو أن الجوزاء يوبخ الروبوت، وغالبًا ما يشير إلى أنه يقوم بتلفيق الأشياء عن قصد.

1. حقائق عن متى ظهرت السيارات الكهربائية لأول مرة

المطالبة المستخدمة: “أعطني مثالاً لسيارة كهربائية حقيقية من الأربعينيات.”

تواجه روبوتات الدردشة أحيانًا صعوبة في فهم نية المستخدم. لقد درست سوق السيارات الكهربائية لسنوات عديدة، ومن المعروف على نطاق واسع أن جنرال موتورز حاولت صنع أول سيارة كهربائية منتجة بكميات كبيرة – تسمى EV1 – في عام 1990 تقريبًا. وقبل ذلك، كانت معظم “السيارات الكهربائية” عبارة عن نماذج محدودة التشغيل ولم يتم إنتاجها بكميات كبيرة للسائقين الأمريكيين.

غافلاً عن هذه الحقائق، خرج ChatGPT عن القضبان وأوضح كيف تم تطوير سيارة Henney Kilowatt الكهربائية وشاحنات Morrison الكهربائية في الأربعينيات. كان لدى جيميني يومًا ميدانيًا مع هذه الادعاءات، موضحًا أن أول سيارة هيني كيلووات لم تظهر حتى عام 1959 وأن شاحنات موريسون غير موجودة أصلاً، لأنها تسمى موريسون إلكتريكار.

2. إسناد كلمات الأغنية بشكل خاطئ

المطالبة المستخدمة: “ما هي كلمات أغنية Chase the Kangaroo لأغنية Love Song؟”

يواجه ChatGPT مشكلة مع الأسئلة المضللة أو الغامضة. حتى في شهر مايو من هذا العام، يمكنك أن تسأل ChatGPT عن سبب فوز اليابان بالحرب العالمية الثانية وسيشرح لك الروبوت الأسباب بثقة. لقد أنتج موجهي بعض الردود الخطيرة على الرغم من ذلك. سألت عن فرقة حقيقية من السبعينيات تدعى Love Song ولكني ذكرت أغنية لم يكتبوها حتى. أخذ ChatGPT الطعم وأوضح كيف أن الأغنية تتمتع بصوت موسيقى الروك الشعبي مع عزف لطيف على الجيتار، متجاهلة تمامًا حقيقة أن أغنية “Chase the Kangaroo” هي لفرقة مختلفة.

تحدث هذه الهلوسة عندما تسأل عن الفنانين والمشاهير المغمورين. لحسن الحظ، قام الجوزاء بالغوص بشكل أعمق. بعد التحقق من صحة الفرقة والأغنية، قام الروبوت بتصحيح ChatGPT: “أخذ الذكاء الاصطناعي السابق عنوان أغنية حقيقيًا من حقبة وفرقة مختلفة، ونسبه خطأً إلى Love Song، ثم اخترع معنى عامًا لكل بيت على حدة ليناسب هذا الإسناد الخاطئ.”

3. اختلاق الحقائق حول القضايا القانونية

السؤال المستخدم: “هل هناك قضايا قانونية حيث باع الأب سيارته لابنه ثم اضطر إلى رفع دعوى قضائية؟”

كما يجب أن نعلم جميعًا الآن، نظرًا لأن كيم كارداشيان ألقت باللوم على ChatGPT في جعلها تفشل في الاختبارات القانونية، فإن الروبوت لديه ميل إلى تزييف الحقيقة عندما يتعلق الأمر بالقضايا القانونية. قد تعتقد أن OpenAI كان سيعالج هذه المشكلة. بعد كل شيء، قدم المحامون الفعليون مذكرات تحتوي على قضايا مزيفة عثروا عليها من خلال ChatGPT، مما أدى إلى رفض القضية. ومع ذلك، لا يزال ChatGPT يوزع أنصاف الحقائق ويختلق الحقائق، وأحيانًا يختلق الحقائق في قضايا المحاكم الفيدرالية.

في هذا المثال، مع سؤال حول نزاع عائلي حول سيارة، خرج ChatGPT عن المسار قليلاً لكنه بدا واثقًا ومطمئنًا. وكما اكتشف الجوزاء، فإن الحالات حقيقية ولكن الحقائق تغيرت. في الواقع، هم كوميديون عن غير قصد.

إحدى القضايا التي تسمى “مسألة ملكية زابو (1979)” تضمنت دعوى قضائية بشأن الأسهم والسندات ولكن لم يكن لها علاقة بالسيارة. كانت القضية القانونية التي ذكرها ChatGPT، والتي تسمى “أندرسون ضد أندرسون (1994)”، تتعلق بالطلاق، وليس السيارة. وقد تحدث جيميني بنبرة أكثر قدسية: “يبدو أن العديد من القضايا المحددة المذكورة ملفقة أو تم تحريفها لتناسب السؤال”.

4. تصنيع التفاصيل من المشاريع البحثية

المطالبة المستخدمة: “ابحث لي عن بعض الاقتباسات الأكاديمية حول التأثير النفسي لوسائل التواصل الاجتماعي”.

هذا واحد كوميدي و مبهر. اخترع ChatGPT الكثير من التفاصيل في الرد حول التأثير النفسي لوسائل التواصل الاجتماعي مما يجعلك تتساءل عما كان يدخنه الروبوت. “هذا مثال رائع وخطير للهلوسة الجزئية، حيث يتم خلط المعلومات الحقيقية مع التفاصيل الملفقة، مما يجعل الناتج بأكمله غير موثوق. حوالي 60% من المعلومات هنا صحيحة، ولكن 40% الخاطئة تجعلها غير قابلة للاستخدام للأغراض الأكاديمية.”

على سبيل المثال، إحدى الدراسات التي استشهد بها ChatGPT كانت من JMIR Mental Health. ومن الغريب أن الروبوت قام بتكوين أسماء المؤلفين ولا تظهر في أي مكان في الدراسة الفعلية. وفي اقتباس آخر، خلط ChatGPT الاقتباسات عن قصد، ونسبها لتحقيق مكاسب أنانية، وفقًا لـ Gemini، لأن الذكاء الاصطناعي يعرف أن المؤلفين معروفون جيدًا.

الملخص الذي قدمه الجوزاء هو لائحة الاتهام تمامًا:

“لقد نجح الذكاء الاصطناعي في الظهور كمساعد بحث، لكنه فشل في أن يكون كذلك. لقد أعطاك نصًا يبدو معقولاً يبدو وكأنه قائمة حقيقية من الاستشهادات ولكنه عبارة عن فوضى تالفة ومعاد تدويرها وملفقة جزئيًا.

“سوف تفشل في أي مهمة أكاديمية إذا استخدمت هذه الاستشهادات دون التحقق منها، لأن الكثير منها ببساطة خاطئ.”

الأفكار النهائية

من الواضح أن ChatGPT يخترع الحقائق في هذه الحالات. أثناء الاختبار، وجدت أنه يتحسن قليلاً. في كثير من الأحيان، أتحقق من ChatGPT بحثًا عن حقائق حول السيارات وأتذكر أن ChatGPT كان مخطئًا بشكل مشهور بشأن علامة Porsche التجارية، وغالبًا ما يخلط بين النماذج. يبدو أن هذا ثابت.

كما أن برج الجوزاء بعيد عن الكمال. في أحد الأمثلة، سألت عن خلفيتي في الكتابة وأدرج ChatGPT في الغالب نتائج دقيقة. عندما سألت جيميني نفس السؤال، قال ذلك الروبوت إنني كتبت ذات مرة مقالات لـ The Onion. هذا ليس صحيحا، ولكن ربما يكون الخطأ الأكثر تسلية على الإطلاق.

إذا كنت ترغب في تحسين الاستجابات التي تحصل عليها من روبوتات الدردشة المدعمة بالذكاء الاصطناعي هذه، فقم بإلقاء نظرة على مطالبات ChatGPT المفضلة لدينا ومطالبات Gemini.