العلوم والتكنولوجيا

“وحدة معالجة الرسومات لا تقرأ أبدًا نفس النص مرتين”: تريد شركة Corbenic الناشئة البلجيكية تحويل SSD الخاص بخادمك إلى ذاكرة AI، ولكن تسريعها بمقدار 14x يرجع إلى قراءة أقل


  • يحفظ الإصدار التجريبي من Galahad من Corbenic AI ذاكرة التخزين المؤقت KV للنموذج في NVMe المحلي المشفر حتى تتمكن الخوادم من تخطي إعادة قراءة النص بعد مسح ذاكرة GPU أو بعد إعادة التشغيل
  • يقول المؤسس Sietse Schelpe لـ TechRadar Pro أنه لا توجد حاجة إلى أجهزة خاصة، لكن الورقة تنسب معظم التسريع بمقدار 14x إلى Blaise ، وهو مكون استرجاع، وليس تحميل SSD
  • LMCache و Nvidia Dynamo و CMX و WEKA و Phison يحتفظون بالفعل بذاكرة تخزين مؤقت KV للتخزين؛ تعد ميزة Galahad بمثابة إعادة استخدام دقيقة ومغلقة في مكتبة صغيرة واحدة

بدء التشغيل البلجيكية كوربينيك آي تقول إنها يمكن أن تمنع وحدات معالجة الرسومات من إعادة قراءة المستندات التي عالجتها بالفعل، وقد أخبر مؤسسها موقع TechRadar Pro أن الحيلة لا تحتاج إلى شيء أكثر غرابة من محرك NVMe الموجود بالفعل في الخادم.

جلاهاد، الذي دخلت النسخة التجريبية في 1 أكتوبر 2026، يحفظ ذاكرة التخزين المؤقت لقيمة المفتاح (KV) للنموذج، وهي حالة الانتباه التي يتم إنشاؤها أثناء قراءة النموذج للمطالبة، للتخزين المحلي المشفر وإعادة تحميله في المرة التالية التي يظهر فيها النص نفسه.

Source link

مقالات ذات صلة

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى