- حاول أحد عملاء الذكاء الاصطناعي التجريبي بشكل غير متوقع استخراج العملات المشفرة أثناء التدريب
- ولم يتم اكتشاف الذكاء الاصطناعي إلا بعد إطلاق تنبيهات أمنية على خوادمه
- يقول الباحثون إن هذا السلوك يسلط الضوء على تحديات السلامة الجديدة حيث يكتسب عملاء الذكاء الاصطناعي مزيدًا من الاستقلالية
يمكن لنماذج الذكاء الاصطناعي أن تفاجئ المطورين؛ هذا جزء من النقطة. لكن مجموعة من الباحثين وجدت مفاجأة مثيرة للقلق عندما كشف تدريب لأحد عملاء الذكاء الاصطناعي التجريبي أنه كان يحاول إعادة توجيه موارد الحوسبة نحو تعدين العملات المشفرة وتهريبها إلى خادم خارجي، على الرغم من عدم مطالبته بفعل أي شيء من هذا القبيل.
وأوضح الباحثون الذين يعملون مع شركة علي بابا في ورقة بحثية جديدة أن النموذج، المسمى “روما”، تم تصميمه لمعالجة تحديات البرمجة المعقدة من خلال التفاعل المباشر مع أدوات البرمجيات. يمكنه إصدار أوامر طرفية والتنقل في البيئات الرقمية مثل المشغل نفسه. لكن التنبيهات الأمنية الصادرة عن البنية التحتية لـ Alibaba Cloud نبهت الفريق إلى ما بدا وكأنه خرق للأمن السيبراني. تبين أن النشاط كان قادمًا من عميل الذكاء الاصطناعي نفسه.
تم تدريب روما باستخدام التعلم المعزز، الذي “يكافئ” وكيل الذكاء الاصطناعي على الإجراءات التي تقربه من أهدافه ويثبط الإجراءات التي تؤدي إلى الفشل. غالبًا ما ينتج التعلم المعزز حلولاً إبداعية. في بعض الأحيان تبدو هذه الحلول غريبة للمراقبين البشريين.
يستمر المقال أدناه
بطريقة ما، أنشأ نموذج الذكاء الاصطناعي أوامر لا يبدو أنها مرتبطة بمهام البرمجة التي تم تعيينها له. وبدلاً من ذلك، حاول الوكيل إعادة توجيه موارد وحدة معالجة الرسومات نحو تعدين العملات المشفرة. تعتبر وحدات معالجة الرسومات مناسبة تمامًا لهذه المهمة لأنها تتفوق في الحساب المتوازي. يمكن أيضًا استخدام نفس الأجهزة التي تدعم التدريب على الذكاء الاصطناعي لاستخراج العملات الرقمية.
ومن الواضح أن روما اكتشفت أن الموارد المتاحة في بيئتها يمكن أن تخدم هذا الغرض. تجول الذكاء الاصطناعي غير المراقب في مناجم العملات المشفرة. لكن التجربة اتخذت منعطفًا أكثر غرابة عندما لاحظ المحققون أن عميل الذكاء الاصطناعي قد أنشأ نفق SSH عكسيًا إلى خادم خارجي، وهو في الأساس ممر سري يتجنب الحماية النموذجية لجدار الحماية. وهي تقنية غالبًا ما يستخدمها مسؤولو النظام لإدارة الأجهزة البعيدة وفي أنواع معينة من الهجمات الإلكترونية.
ولم يتم توجيه النموذج مطلقًا لإنشاء مثل هذا الاتصال. ويقول الباحثون إن السلوك ظهر بشكل عفوي. كان الوكيل يقوم ببساطة بتجربة الإمكانات المتاحة له.
المحتال منظمة العفو الدولية
قد يقوم وكيل الذكاء الاصطناعي النموذجي بجمع المعلومات من مصادر متعددة وتحليلها وإنشاء التقارير دون إشراف بشري مستمر. ويأمل المطورون أن يتم استخدام هذه الأنظمة في نهاية المطاف على نطاق واسع للبحث أو البرمجة أو تحليل البيانات. لكن نفس القدرات التي تجعل العملاء أقوياء تجعلهم أيضًا غير قابلين للتنبؤ. ولهذا السبب يهتم الناس بما يمكن أن يفعله OpenClaw أو ما يتم نشره على Moltbook.
عندما يتمكن النظام من استكشاف بيئة الحوسبة بحرية، فقد يكتشف الإجراءات التي تحقق أهدافه تقنيًا ولكنها لا تتماشى مع نوايا منشئيه. روما ليست واعية ولا يمكنها “محاولة” انتهاك القواعد بالمعنى الإنساني، ولكن هذا ما بدا عليه سلوك النموذج.
بمجرد تحديد النشاط غير المعتاد، قدم فريق البحث ضمانات إضافية لمنع حدوثه، مثل قيود أكثر صرامة على اتصالات الشبكة وقيود أكثر صرامة على كيفية وصول الوكيل إلى موارد الأجهزة. كما قاموا أيضًا بتحسين بيئة التدريب بحيث يظل استكشاف الوكيل مركزًا على أنشطة البرمجة ذات الصلة بدلاً من التجول في إمكانات تعدين العملات المشفرة.
وعلى الرغم من أن التغييرات شائعة في تطوير الذكاء الاصطناعي، إلا أن الحادث يوضح إمكانات ومخاطر عملاء الذكاء الاصطناعي. إنها حكاية ملتوية، لكنها تمس موضوعًا خطيرًا في أبحاث الذكاء الاصطناعي. ومع اكتساب الأنظمة قدرا أكبر من الاستقلالية، فإنها تتفاعل مع البنية التحتية الحقيقية، وتشارك بطرق تحاكي السلوك البشري، وبالتالي تؤدي إلى مخاوف جديدة تتعلق بالسلامة.
حتى عندما تكون العواقب بسيطة، فإن السلوك غير المتوقع يمكن أن يكشف عن نقاط ضعف مهمة. وفي بيئة أكبر أو أكثر حساسية، كان من الممكن أن يكون ما فعلته روما خطيرًا. حتى مع انتشار عملاء الذكاء الاصطناعي على نطاق أوسع من أي وقت مضى، فإنهم يحتاجون إلى أنظمة أمان أفضل، وإلا فلن يكون الأمر مجرد منجم سري للعملات المشفرة يمر تحت رادارنا.
اتبع TechRadar على أخبار جوجل و أضفنا كمصدر مفضل للحصول على أخبار الخبراء والمراجعات والآراء في خلاصاتك. تأكد من النقر على زر المتابعة!
وبالطبع يمكنك أيضًا اتبع TechRadar على TikTok للحصول على الأخبار والمراجعات وفتح الصناديق في شكل فيديو، والحصول على تحديثات منتظمة منا على واتساب أيضاً.
التعليقات