المؤسسات · الحلول
حل تسريع الاستدلال الذكاء الاصطناعي
اختراق عنق زجاجة الحوسبة الاستدلالية لتسريع تبني الذكاء الاصطناعي عبر الصناعات.
معرفة المزيد حول UCM
تحديات تبني الصناعة للاستدلال الذكي
تسريع الاستدلال بالذكاء الاصطناعي: تمكين تبني الذكاء الاصطناعي في المؤسسات
مع تقدم النماذج المدربة جيدًا إلى الاعتماد في العالم الحقيقي، أصبحت أداء الاستدلال عاملاً أساسيًا يؤثر على تجربة المستخدم والقيمة التجارية للتطبيق نفسه. لم يعد الاستدلال الذكي يقتصر على الإجابة على الأسئلة—بل يدخل الساحة الكبيرة: تحليل المستندات الطويلة، تمكين اتخاذ قرارات تجارية معقدة، وتحويل كميات هائلة من المعلومات إلى رؤى قابلة للتنفيذ. من استخراج النقاط الرئيسية من ورقة مكوّنة من 10,000 كلمة إلى توجيه القرارات بناءً على إرشادات طبية مكوّنة من 100 صفحة، يواجه الذكاء الاصطناعي تحديات متزايدة. يحتاج إلى إتقان النصوص الفائقة الطول، خفض الكمون، معالجة التزامن الضخم، وتقليل الحوسبة المتكررة. ستمكّن هذه القدرات أدوات الذكاء الاصطناعي من أن تصبح المساعد الأساسي للمحترفين في الصناعة وتدفع التحول الذكي للقطاع.
استنتاج بطيء
مع زيادة طول التسلسل والتزامن، يزداد زمن أول رمز (TTFT) وتتناقص معدلات الاستنتاج.
الاستدلال المكلف
عدم وجود استمرارية لذاكرة التخزين المؤقت (KV) يؤدي إلى تكرار كبير في الحوسبة وتكلفة حوسبة عالية لكل رمز.
البنية
تم بناء حل تسريع الاستدلال الذكي AI من Huawei على تخزين سلسلة OceanStor A ومزود بمدير الذاكرة الموحد (UCM). يحسن الحل تجربة الاستدلال من خلال تنفيذ إدارة هرمية وجدولة لذاكرة KV الكاملة طوال دورة الحياة، مما يساعد على تحقيق استدلال أسرع وأكثر كفاءة وتسريع تبني الذكاء الاصطناعي عبر الصناعات.
الفوائد
خفض TTFT حتى 90٪
في سيناريوهات الأسئلة والأجوبة المتعددة الجولات وتلخيص وتحليل الصناعة، يتجاوز معدل ضربات KV لخوارزمية ذاكرة التخزين المؤقتة للبادئة 90% وتُقلل بشكل كبير زمن الاستجابة الأولية (TTFT).
معدل نقل نظام أعلى بمقدار 2×
تُزيل مرحلة ما قبل التعبئة الحسابات المتكررة عبر الاستعلام بناءً على بيانات الاستدلال التاريخية. تستخدم مرحلة فك الترميز الارتباط الذكي لتحسين إنتاجية النظام مع خفض تكاليف كل رمز بشكل كبير.
المنتجات ذات الصلة
OceanStor A800
باستخدام بنية فصل طائرة التحكم والبيانات وتخزين الذاكرة طويلة الأمد، يلبي نظام التخزين هذا احتياجات معالجة البيانات من الطرف إلى الطرف لتدريب الذكاء الاصطناعي والاستدلال في مختلف القطاعات الصناعية، مثل الائتمان المالي، أبحاث الاستثمار، الرعاية الصحية، وتطوير الأدوية.
OceanStor A600
توفر OceanStor A600 كثافة أداء قصوى، وتسرّع الاستدلال، وتلبي احتياجات معالجة البيانات من الطرف إلى الطرف لتدريب الذكاء الاصطناعي والاستدلال. وبالتالي، يمكن استخدامها على نطاق واسع في سيناريوهات خاصة بالصناعة مثل الاستثمار المالي والبحث، والوثائق القانونية، ومراجعة السجلات الطبية، وتطوير الأدوية R&D.
ما هي السيناريوهات التطبيقية الرئيسية لحل تسريع الاستدلال بالذكاء الاصطناعي؟
قد يهمك
يُستخدم حل تسريع استدلال الذكاء الاصطناعي أساسًا في سيناريوهات تطبيقات الذكاء الاصطناعي في قطاعات مثل المشغلين، المالية، الرعاية الصحية، والخدمات العامة. وهو مناسب بشكل كبير لأعباء عمل الاستدلال التي تشمل التلخيص، الأسئلة والأجوبة، والمراجعة بناءً على مستندات طويلة. على سبيل المثال، يمكن استخدامه لإنشاء تقارير أبحاث استثمارية مالية، تحليل الرأي العام، تقديم استشارات طبية ذاتية الخدمة، تلخيص مستندات البحث العلمي، تحليل ملفات القضايا الحكومية، الإجابة على أسئلة متعلقة بالسياسات، تحليل تكوينات شبكات المؤسسات، وتخطيط وتحسين الشبكة.
ما هو ذاكرة التخزين المؤقت KV؟
ذاكرة KV هي تقنية تُخزن مؤشرات المفتاح والقيمة للنص المُولد أثناء استنتاج Transformer. تُعد تحسينًا أساسيًا للتوليد التلقائي وتُسرّع الاستنتاج عشرات المرات عبر القضاء على الحساب المتكرر أثناء الاستنتاج. ومع ذلك، يتطلب ذلك كميات كبيرة من ذاكرة GPU، مما يجعل ذاكرة GPU عنق الزجاجة الرئيسي للاستنتاج بسياق طويل.
ما هو UCM؟
مدير التخزين المؤقت الموحد (UCM) هو مجموعة أدوات تسريع استدلال الذكاء الاصطناعي مفتوحة المصدر طورتها Huawei. يستخدم UCM ذاكرة التخزين KV وإدارة الذاكرة لتحسين تدفق الرموز في كل مرحلة خدمة من خلال التعاون عبر إطار الاستدلال، والحوسبة، والتخزين. يعالج ذلك تحديات استدلال الذكاء الاصطناعي لمعالجة السلاسل الطويلة، والكمون العالي، وتكاليف الاستدلال المرتفعة.