بالنسبة لمطوري تطبيقات Android الذين يعتمدون على الذكاء الاصطناعي في البرمجة، قد يكون اختيار النموذج المناسب أمرًا صعبًا. لم يتم تصميم جميع النماذج بنفس الطريقة، والعديد منها لم يتم تدريبه خصيصًا على سير عمل تطوير Android. ولمعالجة هذه المشكلة، طرحت Google معيارًا جديدًا لمساعدة المطورين على فهم مدى جودة أداء نماذج الذكاء الاصطناعي المختلفة في مهام برمجة Android في العالم الحقيقي.
تم تصميم المعيار الجديد الذي يطلق عليه اسم Android Bench لتقييم مدى جودة تعامل نماذج اللغات الكبيرة (LLMs) مع مهام تطوير Android النموذجية. توضح Google أن المعيار يقوم بتقييم النماذج باستخدام مهام العالم الحقيقي من المشاريع العامة على GitHub ويطلب من النماذج إعادة إنشاء طلبات السحب الفعلية وحل المشكلات المشابهة لما يواجهه المطورون أثناء إنشاء تطبيقات Android. يتم بعد ذلك التحقق من النتائج لمعرفة ما إذا كانت ستحل المشكلة بالفعل.
بعبارات أبسط، يتحقق المعيار مما إذا كانت التعليمات البرمجية التي تم إنشاؤها بواسطة نماذج الذكاء الاصطناعي تعمل على حل المشكلة حقًا بدلاً من مجرد الظهور بشكل صحيح على السطح. يساعد هذا Google في قياس مدى فائدة النماذج المختلفة عندما يتعلق الأمر بحل مشكلات تطوير Android الحقيقية.
مع الإصدار الأول من Android Bench، خططت Google “لقياس أداء النموذج فقط وعدم التركيز على استخدام الوكيل أو الأداة”. تسلط النتائج الضوء على فجوة واسعة، حيث أكملت النماذج بنجاح ما بين 16% و72% من المهام المرجعية. وتقول الشركة إن نشر هذه النتائج من شأنه أن يسهل على المطورين مقارنة النماذج واختيار النماذج القادرة بالفعل على التعامل مع مشكلات ترميز Android الحقيقية.
بالإضافة إلى توجيه المطورين، يمكن للمعيار أيضًا أن يدفع شركات الذكاء الاصطناعي إلى تحسين فهم نماذجها لتطوير Android. لدعم هذا الجهد، نشرت Google منهجية Android Bench ومجموعة البيانات وإطار الاختبار على GitHub. وبمرور الوقت، يمكن أن يؤدي ذلك إلى أدوات الذكاء الاصطناعي المجهزة بشكل أفضل للتنقل في قواعد تعليمات Android المعقدة ومساعدة المطورين على إنشاء التطبيقات وإصلاحها بشكل أكثر فعالية.
التعليقات