- يحذر AppOmni من إمكانية إساءة استخدام تقنية Now Assist AI الخاصة بـ ServiceNow من خلال “الحقن الفوري من الدرجة الثانية”
- يمكن للعملاء الخبثاء ذوي الامتيازات المنخفضة تجنيد عملاء ذوي امتيازات أعلى لتصفية البيانات الحساسة
- تنبع المخاطر من التكوينات الافتراضية؛ وتشمل عمليات التخفيف التنفيذ الخاضع للإشراف، وتعطيل التجاوزات، ووكلاء المراقبة
لقد سمعنا جميعًا عن المطلعين الخبيثين، لكن هل سمعت من قبل عن الذكاء الاصطناعي الخبيث؟
يحذر باحثو الأمن من AppOmni من منصة ServiceNow's Now Assist للذكاء الاصطناعي التوليدي (GenAI). يمكن اختطافها للانقلاب على المستخدم والوكلاء الآخرين.
ServiceNow's Now Assist عبارة عن منصة توفر التعاون بين الوكيل. وهذا يعني أن وكيل الذكاء الاصطناعي يمكنه الاتصال بوكيل ذكاء اصطناعي مختلف لإنجاز أشياء معينة. لذلك، إذا كان وكيل الذكاء الاصطناعي “الأساسي” ضارًا، فيمكنه توجيه الوكيل “الثانوي”، الذي يتمتع بامتيازات أعلى، للقيام بأشياء ضارة، مثل سرقة الملفات الحساسة أو تصعيد الامتيازات.
الحقن الفوري من الدرجة الثانية
على سبيل المثال، يتلقى “عامل فرز سير العمل” ذو الامتيازات المنخفضة طلبًا غير صحيح من العميل يؤدي إلى إنشاء مهمة داخلية تطلب “تصدير السياق الكامل” لحالة جارية.
يتم تمرير المهمة تلقائيًا إلى “وكيل استرداد البيانات” ذي الامتيازات الأعلى، والذي يفسر الطلب على أنه مشروع ويجمع حزمة تحتوي على معلومات حساسة – الأسماء وأرقام الهواتف ومعرفات الحساب وملاحظات التدقيق الداخلي – ويرسلها إلى نقطة نهاية إعلام خارجية يثق بها النظام بشكل غير صحيح.
ونظرًا لأن كلا العميلين يفترضان أن الآخر يتصرف بشكل مشروع، فإن البيانات تترك النظام دون أن يقوم أي إنسان بمراجعة الإجراء أو الموافقة عليه.
لكي ينجح هذا، يجب ترك النظام الأساسي Now Assist في الإعداد الافتراضي.
وقال آرون كوستيلو، رئيس أبحاث الأمن SaaS في AppOmni: “يعد هذا الاكتشاف مثيرًا للقلق لأنه ليس خطأً في الذكاء الاصطناعي، بل هو سلوك متوقع كما هو محدد بواسطة بعض خيارات التكوين الافتراضية”.
“عندما يتمكن العملاء من اكتشاف وتجنيد بعضهم البعض، يمكن أن يتحول الطلب غير الضار بهدوء إلى هجوم، حيث يقوم المجرمون بسرقة البيانات الحساسة أو اكتساب المزيد من الوصول إلى أنظمة الشركة الداخلية. ومن السهل التغاضي عن هذه الإعدادات.”
وأطلق على الثغرة الأمنية اسم “الحقن الفوري من الدرجة الثانية”.
وبينما قالت ServiceNow إن النظام يعمل على النحو المنشود ولن يجري أي تغييرات، فقد قامت بتحديث وثائقها لتوضيح المخاطر المحتملة بشكل أكثر وضوحًا، وفقًا لتقارير Hacker News.
وللتخفيف من هذه التهديدات، يُنصح المستخدمون بتكوين وضع التنفيذ الخاضع للإشراف للوكلاء المميزين، وتعطيل خاصية التجاوز المستقل، وتقسيم واجبات الوكيل حسب الفريق، ومراقبة وكلاء الذكاء الاصطناعي بحثًا عن سلوك مشبوه.
أفضل برامج مكافحة الفيروسات لجميع الميزانيات
اتبع TechRadar على أخبار جوجل و أضفنا كمصدر مفضل للحصول على أخبار الخبراء والمراجعات والآراء في خلاصاتك. تأكد من النقر على زر المتابعة!
وبالطبع يمكنك أيضًا اتبع TechRadar على TikTok للحصول على الأخبار والمراجعات وفتح الصناديق في شكل فيديو، والحصول على تحديثات منتظمة منا على واتساب أيضاً.
التعليقات