IA, Intelligence artificielle

Mistral Large 4 : pourquoi ses 49 milliards de paramètres actifs ne suffisent pas pour le faire tourner sur un PC

Attention aux chiffres

Aux premiers regards, Mistral Large 4 semble presque accessible à nos PCs et plus particulièrement à nos ordinateurs gaming équipés d’une carte graphique dédiée. En effet le modèle compte 1 000 milliards de paramètres au total, mais seulement 49 milliards sont actifs pour produire un token.

Ce dernier chiffre ne représente cependant pas la mémoire nécessaire pour installer le modèle. Les poids téléchargeables sont attendus à la fin du mois.

49 milliards actifs, mais 1 000 milliards à stocker

Mistral utilise une architecture dite “Mixture of Experts”. Elle permet une réponse avec seulement certains experts. Les 49 milliards de paramètres actifs renseignent surtout sur le calcul effectué à chaque étape. Du coup pour charger le modèle complet, il faut accéder à l’ensemble de ses poids, soit environ 1 000 milliards de paramètres. C’est une différence essentielle pour estimer les besoins matériels.

PC Gaming
PC Gaming

Un calcul théorique permet de mesurer les besoins face aux possibilités d’un PC gaming. À 4 bits par paramètre, les poids seuls occuperaient environ 500 Go. Ce n’est pas une configuration recommandée par Mistral car les fichiers et leur format ne sont pas encore publiés. Il faut ajouter des données annexes mais aussi la mémoire du contexte et les besoins des calculs temporaires. Du coup une carte graphique dotée de 24 Go de VRAM ne pourra probablement pas accueillir seule le modèle complet.

Une préversion hébergée, avant les poids

Pour l’instant, Mistral propose Large 4 via son API de préversion. La société indique l’avoir entraîné sur 3 800 GPU NVIDIA Grace Blackwell dans ses centres de données européens. La préversion s’appuie sur cette même infrastructure. Les poids doivent paraître d’ici la fin octobre, avec davantage de détails sur l’architecture.

Tout ceci est intéressant pour les  joueurs et les assembleurs PC. Nous avons un regard entre les besoins d’un modèle « à poids ouverts » et un modèle exploitable sur une machine personnelle. Même après leur publication, les fichiers viseront d’abord des serveurs équipés de plusieurs accélérateurs. Pour un PC grand public, l’API restera la voie d’accès la plus réaliste à court terme.

Pascal

Geek et passionné, aime la high tech, le hardware et le partage. J'ai commencé sur un Apple IIc pour ensuite adopté l'univers Windows.

Articles similaires

Bouton retour en haut de la page