خرائط طريق Tom's Hardware Premium
أصدرت DeepSeek ورقة فنية جديدة، والتي توضح بالتفصيل طريقة جديدة لكيفية اعتماد نماذج الذكاء الاصطناعي الجديدة على قاعدة بيانات قابلة للاستعلام من المعلومات المخصصة لذاكرة النظام. تُسمى هذه التقنية المعتمدة على الذاكرة الشرطية “Engram”، وهي تحقق أداءً أعلى بشكل واضح في الاستعلامات ذات السياق الطويل عن طريق إرسال تسلسلات من البيانات إلى الذاكرة الثابتة. يؤدي ذلك إلى تسهيل الاعتماد على التفكير المنطقي لنماذج الذكاء الاصطناعي، مما يسمح لوحدات معالجة الرسومات بالتعامل فقط مع المهام الأكثر تعقيدًا، وزيادة الأداء، وتقليل الاعتماد على الذاكرة ذات النطاق الترددي العالي (HBM).
تم إصدار Engram على صفحة GitHub الخاصة بالشركة، ويأمل في معالجة الكيفية التي قد تتمكن بها الشركة من الحد من الاعتماد على أنواع الذاكرة الأكثر تعقيدًا وبدلاً من ذلك الالتزام بمكتبة معرفية بمعيار ذاكرة نظام أكثر شيوعًا، مثل CXL.
تقليل الاعتماد على HBM
إن الاعتماد المستمر على الذاكرة ذات النطاق الترددي العالي لمسرعات الذكاء الاصطناعي هو أمر لا يمكن حتى للسيليكون الصيني، مثل سلسلة Ascend من هواوي، الهروب منه. تستخدم كل حزمة من وحدات HBM عددًا أكبر من قوالب الذاكرة، ومع الارتفاع الكبير في الطلب، سيكون تخفيف اعتماد أي نموذج للذكاء الاصطناعي على ذاكرة النطاق الترددي العالي المباشرة لوحدة معالجة الرسومات أمرًا مهمًا، خاصة بالنظر إلى الضغط المستمر على إمدادات الذاكرة.
سيعمل Engram على تمكين الذاكرة الثابتة من الاحتفاظ بها بشكل منفصل عن القوة الحسابية لـ LLM، مما يسمح لـ HBM السريع لوحدة معالجة الرسومات بتكريس نفسه للاستدلال، وبالتالي تمكين نماذج الذكاء الاصطناعي المستندة إلى Engram الأكثر أداءً، مقارنة بنموذج Mixture of Experts القياسي (MoE).
كما هو مفصل في الورقة، يمكن للنموذج القائم على إنجرام والذي يصل إلى ما يقرب من 27 مليار معلمة أن يتفوق على نموذج وزارة التربية القياسي في التدريب طويل السياق ويزيل الهدر الحسابي الناتج عن الاضطرار إلى تفسير الحقائق، من خلال السماح بتخزينها خارجيًا.
قد يتعين على نموذج وزارة التعليم القياسي إعادة بناء هذه الأجزاء من البيانات في كل مرة تتم الإشارة إليها في استعلام، وهو ما يسمى الحساب الشرطي. سيستدعي النموذج بعد ذلك معلماته الخبيرة لتجميع البيانات وتفسيرها في كل مرة، حتى عندما يركز الاستعلام فقط على أجزاء معينة أو خبراء معينين، وهو ما يسمى بالحساب المتناثر.
تضيف ورقة إنجرام أن وضع الذاكرة المشروطة سيسمح للنموذج بأن يسأل فقط: “هل لدي بالفعل هذه البيانات؟”، بدلاً من الاضطرار إلى الوصول إلى أجزاء النموذج التي تتعامل مع الاستدلال.
“هذه العملية ترقى بشكل أساسي إلى عملية إعادة بناء مكلفة لجدول بحث ثابت في وقت التشغيل، مما يؤدي إلى إهدار عمق تسلسلي قيم في عمليات تافهة يمكن تخصيصها للاستدلال على مستوى أعلى”، كما جاء في البحث.
كيف يختلف Engram عن KVCache
يأخذ إنجرام أنماطًا ثابتة ويدرج فهرس المعرفة الخاص به في جزء قابل للتحليل من الذاكرة الشرطية مع مخزن للمعلومات، مما يخفف نموذج الذكاء الاصطناعي من عبء الاضطرار إلى التفكير من خلال السياق بشكل متكرر. في حين أن KVCache من Nvidia، الذي تم الإعلان عنه في CES 2026، يقوم بتفريغ بيانات السياق إلى ذاكرة NVMe باستخدام BlueField-4، فإن هذا يعمل كحل قصير المدى، مما يسمح للنموذج بتذكر الأشياء التي قلتها أو أضفتها مؤخرًا في السياق، ويمكن التخلص منه، لجميع المقاصد والأغراض، بعد الانتقال إلى الاستعلام أو المحادثة التالية.
على الرغم من أن KVCache مستمر في تاريخ محادثاتك أو استفساراتك، إلا أنه لا يعتمد على قاعدة موجودة من البيانات المحسوبة مسبقًا، وليس ثابتًا بنفس الطريقة التي يمكن أن تكون بها شهادات LLM المستندة إلى Engram، إذا كان من المفترض تصديق الورقة البحثية. لتبسيط الأمر، يمكن تشبيه KVCache بتخزين ملاحظاتك المكتوبة بخط اليد، في حين أن Engram عبارة عن سجل للموسوعة بأكملها.
التجزئة والبوابة
يتم تمكين ذلك من خلال ضغط الرمز المميز، الذي يضغط الرموز المميزة المكافئة (مثل نفس الكلمة بأشكال مختلفة من الحروف الكبيرة) بنفس المفهوم الأساسي. سمح هذا لـ Deepseek بتقليل حجم المفردات لوحدة الذاكرة الشرطية بنسبة 23%، كما يسمح بالتحليل السريع للمعلومات في السياق.
نظرًا لوجود عدد كبير جدًا من العبارات أو مجموعات الكلمات ضمن سياق معين، فإنهم يستخدمون منهجية تسمى التجزئة، والتي تسمح للنموذج بتطبيق رقم على سلسلة من الكلمات. يضيف Engram إلى ذلك ما يسميه Multi-Head Hashing، حيث يمكنك وضع عدة تجزئات على أرقام متعددة، لتلك العبارة المفردة لتجنب إضافة السياق الخاطئ عن طريق الخطأ. على سبيل المثال، قد يكون Universal إدخالاً واحدًا، مختلفًا عن Universal Studios، مع استخدام Multi-Head Hashing لضمان عدم وجود أخطاء أو أخطاء في قاعدة البيانات.
يتم بعد ذلك تمرير ذلك إلى بوابة Engram المدركة للسياق، والتي تؤكد بعد ذلك أن المصطلح يطابق سياق الجملة التي يتم استخدامه فيها، قبل نشره في المخرجات.
نسبة التخصيص المثالية
لدراسة كيفية عمل ماجستير إدارة الأعمال المعتمد على Engram في عمليات النشر واسعة النطاق، قامت Deepseek بتفصيل كيفية تحقيق أفضل تخصيص بين تضمينات معلمات Engram وMoE ضمن نموذج الذكاء الاصطناعي.
وكانت النتيجة منحنى U، الذي أثبت أن الذاكرة والحساب (أو الاستدلال) يمكن اعتبارهما أشكالًا متميزة رياضيًا من الذكاء ضمن نماذج الذكاء الاصطناعي. أدى ذلك إلى وجود مكان مناسب لتضمينات MoE وEngram.
“من اللافت للنظر أن نموذج إنجرام يحقق أداءً مشابهًا لخط الأساس النقي لوزارة التربية والتعليم (𝜌 = 100%) حتى عندما يتم تخفيض مخصصات وزارة التربية والتعليم إلى 𝜌 ≈ 40% فقط (أي إجمالي 46 خبيرًا لنموذج 5.7B و43 خبيرًا لنموذج 9.9B). علاوة على ذلك، يثبت خط الأساس النقي لوزارة التربية والتعليم أنه دون المستوى الأمثل: إعادة تخصيص ما يقرب من 20% إلى 25% من توفر ميزانية المعلمات المتفرقة لـ Engram أفضل أداء.”
يشير موقع Deepseek نفسه إلى كيفية تعثر النماذج التي يهيمن عليها إنجرام والتي تهيمن عليها وزارة التربية والتعليم، في حين أن النسبة التي تنتج 20-25٪ من ميزانية المعلمة الإجمالية للنموذج إلى إنجرام تحقق أفضل النتائج.
ماذا لو كانت ذاكرة إنجرام لا نهائية؟
أجرى Deepseek تجربة أخرى بالتوازي، والتي أطلق عليها اسم “نظام الذاكرة اللانهائية”. يؤدي هذا إلى إبقاء الميزانية الحسابية ثابتة بشكل فعال، وبالتالي لا يصبح تشغيل النموذج أكثر تكلفة، ويرفق عددًا لا نهائيًا تقريبًا من معلمات الذاكرة الشرطية التي سيتم نشرها باستخدام Engram.
ما وجدوه هو أنه نظرًا لأن Engram يختلف عن ميزانية الحوسبة الإجمالية (نظرًا لأنه في الواقع بنك تخزين طويل الأجل، والذي يستفيد من النموذج العام)، فقد اكتشف Deepseek أن الأداء يقيس خطيًا مع حجم الذاكرة. وهذا يعني أنه إذا استمر النموذج في الإضافة إلى بنوك الذاكرة الشرطية الخاصة به، فسيستمر أدائه في التحسن، دون الحاجة إلى زيادة ميزانية الحوسبة الإجمالية.
يمكن أن يكون لهذا آثار كبيرة على صناعة الذكاء الاصطناعي الأوسع إذا لم يكن الأداء والنتائج مرتبطين بشكل فردي بالحوسبة، ولكن ببنوك الذاكرة “Engram” طويلة المدى. إذا كانت فوائد الأداء جيدة بالفعل مثل الخطوط العريضة للورقة، فلن يعتمد ضغط الذاكرة بشكل فردي على نشر HBM، ولكن على جميع أشكال الذاكرة التي يمكن نشرها داخل مراكز البيانات، إما من خلال CXL أو طرق أخرى للاتصال البيني.
النتائج تتحدث عن نفسها
قامت Deepseek بنشر نموذج معلمة Engram-27B ونموذج 27B MoE القياسي بالتوازي لتحديد فوائد أداء الذاكرة الحسابية ضمن نماذج الذكاء الاصطناعي، وكانت النتائج مثالية. وفي المهام كثيفة المعرفة، كان برنامج إنجرام أفضل بمقدار 3.4 إلى 4 نقاط من نظيره في وزارة التربية والتعليم، وكان أفضل في التفكير، مع ارتفاع قدره 3.7 إلى 5 نقاط مقارنة بنظيره في وزارة التربية والتعليم “الاستدلال فقط”. كما تم تحقيق نتائج مماثلة في اختبارات الترميز والرياضيات.
ومع ذلك، فإن الفوز الكبير الذي حققه Engram كان في المهام ذات السياق الطويل، حيث أدى إلى زيادة الدقة ضمن معيار NIAH (إبرة في كومة قش) إلى 97%، وهي قفزة من درجة نموذج وزارة التعليم البالغة 84.2%. يعد هذا اختلافًا كبيرًا في الموثوقية بين النماذج، ويمكن أن يشير إلى أن قضايا السياق الطويل والتماسك الخاصة بالذكاء الاصطناعي ستصبح في نهاية المطاف شيئًا من الماضي، إذا تم نشر Engram في نموذج ذكاء اصطناعي تجاري، خاصة إذا زادت الطلبات على استعلامات الذكاء الاصطناعي ذات السياق الطويل.
هل سيعتمد Deepseek V4 على Engram؟
لدى Engram آثار كبيرة على صناعة الذكاء الاصطناعي، خاصة وأن الورقة توضح كيف أن هذه المنهجية المحددة لم تعد مقيدة بـ HBM، بل بدلاً من ذلك بالتخزين طويل المدى. يمكن الآن استخدام نظام DRAM لتحسين جودة مخرجات LLM المستندة إلى Engram بشكل كبير، مما يعني أن HBM الأكثر تكلفة سيتم استخدامه فقط للاستعلامات الثقيلة حسابيًا.
بالطبع، إذا انطلقت شركة Engram، فقد يؤدي ذلك إلى تفاقم أزمة إمداد DRAM المستمرة، حيث سيتدفق مضخمو الذكاء الاصطناعي الذين يعتمدون المنهجية على نظام DRAM، بدلاً من التركيز فقط على وضع جميع وحدات الذاكرة المرحلية الخاصة بهم في الإنتاج في HBM لوحدات معالجة الرسومات.
قال Deepseek: “إننا نتصور وظائف الذاكرة الشرطية باعتبارها نموذجًا بدائيًا لا غنى عنه للنماذج المتفرقة من الجيل التالي”، ملمحًا إلى إمكانية نشر V4 لـ Engram في نموذج جديد للذكاء الاصطناعي. ومع شائعات عن إعلان الشركة عن نموذج جديد للذكاء الاصطناعي خلال الأسابيع القليلة المقبلة، فلا تتفاجأ إذا قامت بتطبيق Engram بداخله.
ورغم أن النتائج مثيرة للإعجاب على الورق، إلا أن تأثير إنجرام لم يتحدد بعد في العالم الحقيقي. ولكن، إذا كان كل ما تقوله الصحيفة ينطبق في سياق العالم الحقيقي، فقد تكون الشركة في طريقها إلى “لحظة البحث العميق” الجديدة.
التعليقات