- يحذر NCSC في المملكة المتحدة من أن هجمات الحقن الفوري قد لا يتم تخفيفها بالكامل أبدًا بسبب تصميم LLM
- على عكس حقن SQL، تفتقر برامج LLM إلى الفصل بين التعليمات والبيانات، مما يجعلها عرضة للخطر بطبيعتها
- وحث المطورون على التعامل مع حاملي الماجستير في القانون باعتبارهم “نوابًا مثيرين للارتباك” وتصميم أنظمة تحد من النتائج المخترقة
هجمات الحقن الفوري، والتي تعني محاولات التعامل مع نموذج لغة كبير (LLM) عن طريق تضمين تعليمات مخفية أو ضارة داخل المحتوى المقدم من المستخدم، قد لا يتم التخفيف منها بشكل صحيح.
جاء ذلك وفقًا للمدير الفني لأبحاث المنصات في المركز الوطني للأمن السيبراني (NCSC) في المملكة المتحدة، ديفيد سي، الذي نشر التقييم في مدونة تقيّم هذه التقنية. في المقالة، يجادل بأن الكثيرين يقارنون الحقن الفوري بحقن SQL، وهو أمر غير دقيق، لأن الأول مختلف بشكل أساسي وربما أكثر خطورة.
والفرق الرئيسي بين الاثنين هو حقيقة أن LLMs لا تفرض أي فصل حقيقي بين التعليمات والبيانات.
نواب مربكون بطبيعتهم
“على الرغم من أنه تم الإبلاغ عنها في البداية على أنها تنفيذ أوامر، فقد تبين أن المشكلة الأساسية أكثر أهمية من نقاط الضعف التقليدية للعميل/الخادم”، كما يكتب. “إن نماذج اللغات الكبيرة الحالية (LLMs) لا تفرض ببساطة حدودًا أمنية بين التعليمات والبيانات داخل الموجه.”
يتم الإبلاغ عن هجمات الحقن الفوري بانتظام في الأنظمة التي تستخدم الذكاء الاصطناعي التوليدي (genAI)، وهي الهجوم الأول لـ OWASP الذي يجب مراعاته عند “تطوير وتأمين الذكاء الاصطناعي التوليدي وتطبيقات نماذج اللغة الكبيرة”.
في الثغرات الأمنية الكلاسيكية، يتم التعامل مع البيانات والتعليمات بشكل مختلف، لكن LLMs تعمل بشكل بحت على التنبؤ بالرمز المميز التالي، مما يعني أنها لا تستطيع التمييز بطبيعتها بين البيانات المقدمة من المستخدم والتعليمات التشغيلية. وأضاف: “هناك فرصة جيدة لعدم تخفيف الحقن الفوري بشكل صحيح بنفس الطريقة”.
يجادل مسؤول NCSC أيضًا بأن الصناعة تكرر نفس الأخطاء التي ارتكبتها في أوائل العقد الأول من القرن الحادي والعشرين، عندما كان حقن SQL غير مفهوم جيدًا، وبالتالي تم استغلاله على نطاق واسع.
ولكن، أصبح حقن SQL مفهومًا بشكل أفضل في نهاية المطاف، وأصبحت الضمانات الجديدة معيارًا. بالنسبة لحملة الماجستير في القانون، يجب على المطورين معاملتهم على أنهم “نواب مربكون بطبيعتهم”، وبالتالي تصميم أنظمة تحد من العواقب المترتبة على النتائج المخترقة.
ويحذر من أنه إذا كان التطبيق لا يتحمل المخاطر المتبقية، فقد لا يكون ببساطة حالة استخدام مناسبة لشهادة LLM.
أفضل برامج مكافحة الفيروسات لجميع الميزانيات
اتبع TechRadar على أخبار جوجل و أضفنا كمصدر مفضل للحصول على أخبار الخبراء والمراجعات والآراء في خلاصاتك. تأكد من النقر على زر المتابعة!
وبالطبع يمكنك أيضًا اتبع TechRadar على TikTok للحصول على الأخبار والمراجعات وفتح الصناديق في شكل فيديو، والحصول على تحديثات منتظمة منا على واتساب أيضاً.
التعليقات