Entreprise · Solutions
Solution d'accélération d'inférence IA
Surmonter les goulets d'étranglement du calcul d'inférence pour accélérer l'adoption de l'IA dans tous les secteurs.
En savoir plus sur UCM
Défis de l’adoption industrielle de l’inférence IA
Accélération d’inférence IA : propulser l’adoption de l’IA en entreprise
À mesure que les modèles bien entraînés sont adoptés dans le monde réel, les performances d'inférence deviennent un facteur clé qui influence l'expérience utilisateur et la valeur commerciale de l'application elle-même. L'inférence IA ne se contente plus de répondre à des questions — elle entre dans la cour des grands : analyser des documents volumineux, alimenter des décisions commerciales complexes et transformer des montagnes d'informations en insights exploitables. De l'extraction de points clés d'un article de 10 000 mots à l'orientation de décisions basées sur des guides médicaux de 100 pages, l'IA fait face à des défis croissants. Elle doit maîtriser les textes ultra-longs, réduire la latence, gérer une concurrence massive et diminuer le calcul redondant. Ces capacités permettront aux outils IA de devenir le compagnon incontournable des professionnels de l'industrie et d'alimenter la transformation intelligente du secteur.
Inférence lente
À mesure que la longueur de séquence et la concurrence augmentent, le temps jusqu’au premier jeton (TTFT) augmente et le débit d’inférence diminue.
Inférence coûteuse
L’absence de persistance du cache clé-valeur (KV) entraîne des calculs répétés importants et un coût de calcul élevé par jeton.
Architecture
La solution d’accélération d’inférence IA de Huawei, basée sur le stockage de la série OceanStor A et équipée du Unified Cache Manager (UCM), améliore l’expérience d’inférence en mettant en œuvre une gestion hiérarchique et une planification du cache KV tout au long du cycle de vie, permettant d’obtenir des inférences plus rapides et plus efficaces et d’accélérer l’adoption de l’IA dans tous les secteurs.
Avantages
Jusqu’à 90 % de réduction du TTFT
Dans les scénarios de Q&A multi-tours et de synthèse et d’analyse sectorielle, le taux de réussite KV de l’algorithme de cache de préfixe dépasse 90 % et le TTFT est fortement réduit.
Débit système 2 fois supérieur
La phase de préremplissage élimine les calculs répétés grâce à des requêtes basées sur les données d’inférence historiques. La phase de décodage utilise l’association intelligente pour améliorer le débit du système tout en réduisant considérablement les coûts par jeton.
Produits associés
OceanStor A800
En utilisant une architecture de séparation du plan de contrôle et de données ainsi qu’un stockage en mémoire à long terme, ce système de stockage répond aux besoins de traitement de données de bout en bout pour la formation et l’inférence d’IA dans divers secteurs industriels, tels que le crédit financier, la recherche d’investissement, les soins de santé et le développement de médicaments.
OceanStor A600
OceanStor A600 offre une densité de performance extrême, accélère l’inférence et répond aux besoins de traitement de données E2E pour la formation et l’inférence AI. En conséquence, il peut être largement utilisé dans des scénarios spécifiques à l’industrie tels que l’investissement et la recherche financiers, les documents juridiques, la révision de dossiers médicaux et la R&D.
Quels sont les principaux scénarios d'application de la solution d'accélération d'inférence IA ?
Vous pourriez être intéressé
La solution d’accélération d’inférence IA est principalement utilisée dans les scénarios d’applications IA des secteurs tels que les opérateurs, la finance, la santé et les services publics. Elle convient parfaitement aux charges de travail d’inférence portant sur la synthèse, les questions-réponses et la révision de documents longs. Par exemple, elle peut générer des rapports de recherche d’investissement financier, analyser l’opinion publique, fournir des consultations médicales en libre service, résumer des documents de recherche scientifique, analyser des dossiers de cas gouvernementaux, répondre à des questions liées aux politiques, analyser les configurations réseau d’entreprise et planifier ainsi optimiser le réseau.
Qu’est-ce que le cache KV ?
Le cache KV est une technologie qui met en cache les vecteurs clé et valeur du texte généré pendant l'inférence du Transformer. C'est une optimisation centrale pour la génération autorégressive et rend l'inférence des dizaines de fois plus rapide en éliminant les calculs répétés pendant l'inférence. Cependant, cela nécessite d'importantes quantités de mémoire GPU, faisant de la mémoire GPU le principal goulot d'étranglement pour l'inférence à long contexte.
Qu’est-ce que UCM ?
Unified Cache Manager (UCM) est une suite d'accélération d'inférence IA open-source développée par Huawei. UCM utilise le cache KV et la gestion de la mémoire pour optimiser les flux de jetons à chaque phase de service grâce à la collaboration entre le cadre d'inférence, le calcul et le stockage. Cela répond aux défis d'inférence IA liés au traitement de longues séquences, à la haute latence et aux coûts d'inférence élevés.