لم يعد الذكاء الاصطناعي مجرد تجربة معملية. لقد أصبح بهدوء جزءًا من البرامج اليومية، حيث يساعد المطورين على كتابة التعليمات البرمجية، ومساعدة المحللين في البحث، وتشغيل الأدوات داخل البنوك والمستشفيات وشركات التكنولوجيا. على مدى السنوات القليلة الماضية، انتقلت نماذج اللغات الكبيرة (LLMs) من الفضول إلى البنية التحتية الأساسية للعديد من المنتجات الرقمية.
ولكن بينما سارعت الشركات إلى بناء أنظمة أكثر ذكاءً، تخلفت قطعة واحدة مهمة عن الركب: الأمن. تختلف الطريقة التي تتصرف بها أنظمة الذكاء الاصطناعي كثيرًا عن البرامج التقليدية، وهذا الاختلاف يجبر عالم الأمن السيبراني على إعادة التفكير في كيفية عمل وسائل الحماية فعليًا. ونتيجة لذلك، ظهر نظام جديد داخل مجتمع الأمن: اختبار اختراق الذكاء الاصطناعي، والذي يشار إليه غالبًا باسم اختبار اختراق الذكاء الاصطناعي.
لماذا تخلق أنظمة الذكاء الاصطناعي مخاطر أمنية جديدة؟
تتصرف معظم البرامج بطرق يمكن التنبؤ بها. أنت تعطيه مدخلاً، ويتبع الكود مجموعة من القواعد، وينتج مخرجًا. لقد اعتمد اختبار الأمان دائمًا على هذا الهيكل الذي يمكن التنبؤ به.
نماذج اللغات الكبيرة لا تعمل بهذه الطريقة.
إنهم يفسرون اللغة، ويخمنون النية، ويولدون استجابات بناءً على الاحتمالات بدلاً من المنطق الصارم. في بعض الأحيان يعمل ذلك ببراعة. وفي أحيان أخرى، يفتح أبوابًا لم تتوقعها فرق الأمن أبدًا.
تتضمن بعض المخاطر الأمنية التي تدرسها فرق الأمان بالفعل ما يلي:
- هجمات الحقن الفوري، حيث تتلاعب المدخلات الضارة بسلوك النموذج
- تسرب البيانات، حيث تظهر معلومات التدريب المخفية في الردود
- التلاعب بالنموذج، حيث يؤثر المهاجمون على قرارات الذكاء الاصطناعي من خلال المطالبات المعدة
- إجراءات واجهة برمجة التطبيقات غير الآمنة، حيث يقوم مساعد الذكاء الاصطناعي بتشغيل أوامر النظام غير المقصودة
تصبح هذه المشكلات أكثر خطورة عندما تتصل أنظمة الذكاء الاصطناعي بقواعد البيانات أو واجهات برمجة التطبيقات أو سير العمل الآلي.
عندما يتصل الذكاء الاصطناعي بأنظمة حقيقية، تصبح المخاطر أعلى
العديد من تطبيقات الذكاء الاصطناعي الحديثة لا تعمل بمفردها. غالبًا ما تعمل كواجهة للأنظمة المعقدة الموجودة خلف الكواليس. فكر في أداة نموذجية تعمل بالذكاء الاصطناعي اليوم. يمكنك قراءة مستندات الشركة، أو الوصول إلى قواعد بيانات العملاء، أو تشغيل خدمات الواجهة الخلفية، أو إرسال الطلبات إلى واجهة برمجة تطبيقات خارجية. يشير الباحثون الأمنيون إلى أن المخاطر لا تحدث غالبًا في النموذج نفسه، ولكن في كيفية عمل النموذج مع الأنظمة الأخرى. حتى المطالبة التي تبدو غير ضارة قد تتسبب في حصول مساعد الذكاء الاصطناعي على معلومات حساسة أو تنفيذ أوامر غير مقصودة.
المجال المتنامي لـ AI Pentesting
ولتقييم هذه المخاطر، يقوم متخصصو الأمن بتكييف تقنيات اختبار الاختراق التقليدية مع بيئات الذكاء الاصطناعي.
يفحص اختبار الذكاء الاصطناعي كيفية تصرف نماذج اللغة عند تعرضها لمدخلات عدائية، أو مطالبات غير متوقعة، أو مصادر بيانات تم التلاعب بها. بدلاً من فحص منافذ الشبكة أو نقاط ضعف البرامج، يقوم القائمون على الاختبار بتحليل كيفية تفسير أنظمة الذكاء الاصطناعي للغة وكيف يؤثر هذا التفسير على الأنظمة النهائية.
من بين المهندسين الذين استكشفوا هذا الفضاء نايان جويل، مهندس أمان التطبيقات الرئيسي الذي يركز عمله على تقاطع أنظمة الذكاء الاصطناعي وأمن التطبيقات الحديثة.
تدرس الأبحاث الحديثة ما يحدث عندما تنتقل النماذج اللغوية الكبيرة من البيئات الخاضعة للرقابة إلى النظم البيئية البرمجية في العالم الحقيقي. بمجرد تفاعل الذكاء الاصطناعي مع واجهات برمجة التطبيقات وخطوط البيانات وسير العمل الآلي، يزداد عدد نقاط الفشل المحتملة بسرعة.
بدأت الأبحاث في اللحاق بالركب
لفترة طويلة، ظلت معظم الأعمال المتعلقة بأمن الذكاء الاصطناعي داخل الأوساط الأكاديمية. درس الباحثون الهجمات النظرية أو قاموا بتحليل كيفية التلاعب بأنظمة التعلم الآلي.
ساهم جويل في هذه المناقشة من خلال البحث في موضوعات تشمل التعلم الموحد لنماذج الذكاء الاصطناعي الآمنة، وتأمين أنظمة الذكاء الاصطناعي في البيئات المتعارضة، وحماية الأنظمة المستقلة. وقد تم تقديم بعض هذه الأعمال في مؤتمرات دولية مثل IEEE وSpringer، مما يعكس الاعتراف المتزايد بهذه التحديات في كل من الأوساط الأكاديمية والصناعية.
بناء معايير الأمان لتطبيقات الذكاء الاصطناعي
مع قيام المزيد من المؤسسات بنشر أدوات الذكاء الاصطناعي، أصبحت الحاجة إلى إرشادات أمنية مشتركة واضحة. بدأت منظمات مثل OWASP في نشر إرشادات مخصصة لإنشاء أنظمة الذكاء الاصطناعي ونماذج اللغات الكبيرة (LLMs).
بدأت منظمات مثل OWASP في نشر إرشادات مخصصة لأنظمة الذكاء الاصطناعي التوليدية ونماذج اللغات الكبيرة (LLMs). ساهم جويل أيضًا في الجهود المجتمعية التي تركز على تحديد الممارسات الأمنية للأنظمة التي تعتمد على الذكاء الاصطناعي، بما في ذلك العمل المرتبط بمبادرات الأمن الوكيل لـ OWASP.
تمثل هذه الإرشادات محاولة مبكرة لإضفاء هيكل على مجال يتطور بسرعة. الهدف من هذه المشاريع هو مساعدة المطورين على دمج الضوابط الأمنية في تطبيقات الذكاء الاصطناعي قبل انتشار الثغرات الأمنية على نطاق واسع.
تحويل البحث إلى أدوات أمنية حقيقية
وبعيدًا عن أطر البحث، تحتاج فرق الأمن أيضًا إلى طرق عملية لاختبار أنظمة الذكاء الاصطناعي.
وللمساعدة في سد هذه الفجوة، يتضمن عمل جويل الأخير تطوير واختبار أساليب تهدف إلى تحديد نقاط الضعف مثل الحقن الفوري عبر نماذج الذكاء الاصطناعي، وهي منطقة لا تزال تحظى بالاهتمام مع تزايد استخدام الأنظمة التوليدية على نطاق واسع. إحدى الميزات المثيرة للاهتمام لهذه الأداة هي نهج اختبار متعدد العوامل، حيث يقوم وكلاء التحليل المختلفون بتقييم سلوك بعضهم البعض أثناء الاختبار. يساعد هذا الإعداد في محاكاة إستراتيجيات الهجوم المنسقة التي قد تحدث في سيناريوهات العالم الحقيقي.
تم تقديم نسخة من هذا الإطار في فعاليات مثل BSides Chicago، حيث تبادل الباحثون والممارسون أساليب تقييم مرونة أنظمة الذكاء الاصطناعي في ظروف العالم الحقيقي.
أصبح الذكاء الاصطناعي أيضًا جزءًا من الدفاع
على الرغم من أن الذكاء الاصطناعي يطرح مخاطر أمنية جديدة، إلا أنه قد يساعد أيضًا في حل بعضها. يقوم الباحثون الأمنيون بتجربة أنظمة التعلم الآلي التي تراقب أنماط السلوك، وتكشف عن الأنشطة المشبوهة، وتقوم بأتمتة اكتشاف التهديدات.
تدريس مهندسي أمن المستقبل
جزء مهم آخر من النظام البيئي لأمن الذكاء الاصطناعي هو التعليم. تعمل الجامعات على توسيع البرامج التي تجمع بين الأمن السيبراني والذكاء الاصطناعي، ولكن العديد من المشكلات الأمنية في العالم الحقيقي لا تزال غير مغطاة بالكامل في الدورات التقليدية.
تساعد مثل هذه الأنشطة في سد الفجوة بين البحث الأكاديمي والمهارات العملية التي يحتاجها المهندسون في الصناعة.
لماذا سيكون اختبار الذكاء الاصطناعي أكثر أهمية في المستقبل؟
في كل تحول تكنولوجي كبير، تنشأ تحديات أمنية جديدة. أصبح أمن الويب أمراً لا غنى عنه مع انتشار الإنترنت في التسعينيات. عندما توسعت الحوسبة السحابية، اضطرت المؤسسات إلى مراجعة إجراءات حماية البنية التحتية. يبدو أن الذكاء الاصطناعي في نفس الوضع اليوم. تم دمج نماذج اللغات الكبيرة في كل شيء بدءًا من الأدوات الداخلية وحتى تطبيقات العملاء. ومع نمو تأثيرها، تزداد أهمية اختبارها بعناية. لا يزال اختراق الذكاء الاصطناعي مجالًا شابًا، لكنه يحظى بالاهتمام بسرعة. ومع ظهور الأبحاث الجديدة وأطر الأمان وأدوات الاختبار الجديدة، بدأت الصناعة في بناء الأساس اللازم لتأمين الأنظمة الذكية.
شركاء Digital Trends مع المساهمين الخارجيين. تتم مراجعة جميع محتويات المساهمين من قبل هيئة تحرير الاتجاهات الرقمية.
التعليقات