قامت OpenAI بشحن تحديث أمني إلى ChatGPT Atlas يهدف إلى الحقن الفوري في متصفحات الذكاء الاصطناعي، وهي هجمات تخفي تعليمات ضارة داخل المحتوى اليومي الذي قد يقرأه العميل أثناء عمله.
تم تصميم وضع وكيل Atlas للعمل في متصفحك بالطريقة التي تريدها: يمكنه عرض الصفحات والنقر والكتابة لإكمال المهام في نفس المساحة والسياق الذي تستخدمه. وهذا أيضًا يجعله هدفًا ذا قيمة أعلى، لأن الوكيل قد يواجه نصًا غير موثوق به عبر البريد الإلكتروني والمستندات المشتركة والمنتديات والمشاركات الاجتماعية وأي صفحة ويب يفتحها.
التحذير الأساسي للشركة بسيط. يستطيع المتسللون خداع عملية اتخاذ القرار لدى العميل عن طريق تهريب التعليمات إلى تدفق المعلومات التي يعالجها في منتصف المهمة.
تعليمات خفية، وعواقب كبيرة
يسلط منشور OpenAI الضوء على مدى السرعة التي يمكن أن تسير بها الأمور بشكل جانبي. يقوم أحد المهاجمين بزرع بريد إلكتروني ضار في البريد الوارد يحتوي على تعليمات مكتوبة للوكيل، وليس للإنسان.
لاحقًا، عندما يطلب المستخدم من Atlas صياغة رد خارج المكتب، يصادف الوكيل ذلك البريد الإلكتروني أثناء العمل العادي ويتعامل مع التعليمات المُدخلة على أنها موثوقة. في السيناريو التجريبي، يرسل الوكيل خطاب استقالة إلى المدير التنفيذي للمستخدم، ولا تتم كتابة رسالة خارج المكتب مطلقًا.
إذا كان الوكيل يقوم بفحص محتوى جهة خارجية كجزء من سير عمل مشروع، فيمكن للمهاجم محاولة تجاوز طلب المستخدم عن طريق إخفاء الأوامر في ما يشبه النص العادي.
يحصل مهاجم الذكاء الاصطناعي على تدريبات
للعثور على هذه الإخفاقات في وقت سابق، تقول OpenAI إنها قامت ببناء نموذج مهاجم آلي ودربته بشكل شامل من خلال التعلم المعزز للبحث عن عمليات استغلال الحقن السريع ضد وكيل المتصفح. الهدف هو اختبار سير العمل الطويل والواقعي، وليس مجرد فرض مخرج واحد سيئ.
يمكن للمهاجم صياغة حقنة مرشحة، وتشغيل محاكاة لكيفية تصرف الوكيل المستهدف، ثم التكرار باستخدام المنطق الذي تم إرجاعه وتتبع الإجراء كملاحظات. تقول OpenAI إن الوصول المميز إلى تلك الآثار يمنح فريقها الأحمر الداخلي ميزة لا يتمتع بها المهاجمون الخارجيون.
ماذا تفعل مع هذا الآن
تحث إطارات OpenAI على الحقن باعتبارها مشكلة أمنية طويلة الأمد، تشبه عمليات الاحتيال عبر الإنترنت أكثر من كونها خطأً تقوم بتصحيحه مرة واحدة. ويتمثل نهجها في اكتشاف أنماط هجوم جديدة، والتدريب عليها، وتشديد الضمانات على مستوى النظام.
بالنسبة للمستخدمين، يجب عليك استخدام التصفح أثناء تسجيل الخروج عندما تستطيع، والتدقيق في التأكيدات لإجراءات مثل إرسال البريد الإلكتروني، وإعطاء الوكلاء تعليمات ضيقة وصريحة بدلاً من المطالبات العامة “التعامل مع كل شيء”. إذا كنت لا تزال مهتمًا بما يمكن أن يفعله التصفح باستخدام الذكاء الاصطناعي، فانتقل إلى المتصفحات التي تقدم التحديثات التي تفيدك.
التعليقات