- يدير Tiiny AI Pocket Lab نماذج كبيرة محليًا، متجنبًا الاعتماد على السحابة
- يقوم الكمبيوتر الصغير بتنفيذ مهام الاستدلال المتقدمة دون دعم وحدة معالجة الرسومات المنفصلة
- تعمل النماذج من 10B إلى 120B دون اتصال بالإنترنت ضمن طاقة تبلغ 65 وات
أطلقت شركة Tiiny، وهي شركة أمريكية ناشئة، جهاز AI Pocket Lab، وهو حاسوب عملاق بحجم الجيب قادر على تشغيل نماذج لغوية كبيرة محليًا.
الجهاز عبارة عن كمبيوتر شخصي صغير مصمم لتنفيذ أحمال عمل الاستدلال المتقدمة دون الوصول إلى السحابة أو الخوادم الخارجية أو المسرعات المنفصلة.
تذكر الشركة أن جميع عمليات المعالجة تظل دون اتصال بالإنترنت، مما يزيل زمن وصول الشبكة ويحد من التعرض للبيانات الخارجية.
مصمم لتشغيل النماذج الكبيرة بدون السحابة
قال Samar Bhoj، مدير GTM في Tiiny AI: “لقد حقق الذكاء الاصطناعي السحابي تقدمًا ملحوظًا، ولكنه خلق أيضًا تحديات التبعية والضعف والاستدامة”.
“مع Tiiny AI Pocket Lab، نؤمن بأن الذكاء لا ينبغي أن ينتمي إلى مراكز البيانات، بل إلى الأشخاص. هذه هي الخطوة الأولى نحو جعل الذكاء الاصطناعي المتقدم متاحًا وخاصًا وشخصيًا حقًا، من خلال جلب قوة النماذج الكبيرة من السحابة إلى كل جهاز على حدة.”
يستهدف Pocket Lab النماذج الشخصية الكبيرة المصممة للتفكير المعقد والمهام طويلة السياق أثناء العمل ضمن نطاق طاقة مقيد بقدرة 65 وات.
تطالب Tiiny بأداء متسق للنماذج في نطاق المعلمات 10B-100B، مع دعم يمتد إلى 120B.
يقترب هذا الحد الأعلى من قدرة الأنظمة السحابية الرائدة، مما يتيح التفكير المتقدم والسياق الموسع للتشغيل محليًا.
وبحسب ما ورد، قامت موسوعة غينيس للأرقام القياسية باعتماد الأجهزة لتنفيذ نموذج محلي من فئة 100B.
يستخدم النظام وحدة معالجة مركزية ARMv9.2 ذات 12 نواة مقترنة بوحدة ذكاء اصطناعي غير متجانسة مخصصة توفر ما يقرب من 190 TOPS من الحوسبة.
يشتمل النظام على ذاكرة LPDDR5X بسعة 80 جيجابايت إلى جانب محرك أقراص SSD بسعة 1 تيرابايت، مع بقاء إجمالي سحب الطاقة ضمن غلاف النظام بقدرة 65 وات.
ويشبه حجمه المادي محرك أقراص خارجيًا كبيرًا أكثر من كونه محطة عمل، مما يعزز علامته التجارية المخصصة للجيب.
في حين أن المواصفات تشبه شريحة Houmo Manjie M50، إلا أن بيانات الأداء المستقلة في العالم الحقيقي ليست متاحة بعد.
تؤكد Tiiny أيضًا على النظام البيئي مفتوح المصدر الذي يدعم التثبيت بنقرة واحدة للنماذج الرئيسية وأطر عمل الوكيل.
وذكرت الشركة أنها ستوفر تحديثات مستمرة، بما في ذلك ما تصفه بترقيات الأجهزة عبر الهواء.
تعتبر هذه الصياغة إشكالية، نظرًا لأن آليات البث المباشر تنطبق تقليديًا على البرامج.
يقترح البيان إما صياغة غير دقيقة أو خطأ تسويقي بدلاً من تعديل الأجهزة بشكل حرفي.
يعتمد النهج الفني على تحسينين يعتمدان على البرامج بدلاً من توسيع نطاق أداء السيليكون الخام.
يركز TurboSparse على تنشيط الخلايا العصبية الانتقائية لتقليل تكلفة الاستدلال دون تغيير بنية النموذج.
يقوم PowerInfer بتوزيع أحمال العمل عبر المكونات غير المتجانسة، وتنسيق وحدة المعالجة المركزية مع وحدة NPU مخصصة لتحقيق الإنتاجية على مستوى الخادم بطاقة أقل.
لا يتضمن النظام وحدة معالجة رسومات منفصلة، حيث تقول الشركة إن الجدولة الدقيقة تلغي الحاجة إلى مسرعات باهظة الثمن.
تشير هذه الادعاءات إلى أن مكاسب الكفاءة، وليس أجهزة القوة الغاشمة، هي التي تعمل بمثابة التمييز الأساسي.
تضع Tiiny AI مختبر Pocket Lab كاستجابة للاستدامة والخصوصية وضغوط التكلفة التي تؤثر على خدمات الذكاء الاصطناعي المركزية.
قد يؤدي تشغيل نماذج اللغات الكبيرة محليًا إلى تقليل النفقات السحابية المتكررة والحد من التعرض للبيانات الحساسة.
ومع ذلك، يظل من الصعب التحقق بشكل مستقل من الادعاءات المتعلقة بالقدرة والأداء على مستوى الخادم والقياس السلس على هذه الأجهزة المقيدة.
عبر TechPowerUp
اتبع TechRadar على أخبار جوجل و أضفنا كمصدر مفضل للحصول على أخبار الخبراء والمراجعات والآراء في خلاصاتك. تأكد من النقر على زر المتابعة!
وبالطبع يمكنك أيضًا اتبع TechRadar على TikTok للحصول على الأخبار والمراجعات وفتح الصناديق في شكل فيديو، والحصول على تحديثات منتظمة منا على واتساب أيضاً.
التعليقات