En bref
- Trois grands modèles à poids ouverts sont sortis en l’espace de 24 heures : Muse Spark Open de Meta (816B au total, 42B actifs, contexte de 1M de tokens, entrée texte/image/audio/vidéo), Ling 3.1 Flash d’InclusionAI (560B/25B, MIT) et Nemotron 3.5 Super VL de NVIDIA (120B) ainsi que Bolt 74B-A9B, qui tient dans 24 Go.
- Tous les trois sont des mélanges d’experts creux : 4,5 % à 12 % des paramètres s’exécutent par token. Le calcul est devenu de taille moyenne. La mémoire, non.
- Muse Spark Open exige un checkpoint BF16 de 1,5 To réparti sur 4 nœuds × 8 H200, ou un seul nœud B200 pour la version NVFP4. Ling demande 8 H200 ou 4 GB300 à contexte complet. Bolt se contente de 24 Go.
- Les licences divergent aussi nettement que le matériel : Meta restreint l’usage commercial, Ling est sous MIT, NVIDIA livre les poids avec les jeux de données et les recettes.
Le palier ouvert est devenu creux
Meta a publié Muse Spark Open le 15 octobre, et l’article de présentation sur Hugging Face le qualifie de « modèle à poids ouverts américain le plus capable à ce jour ». Il succède à Muse Glimmer de la même série et partage son tokenizer. C’est l’architecture qui rend cette sortie intéressante : 62 couches, une dimension cachée de 8192, 256 experts par couche MoE, et un routeur qui en sélectionne 8 par token. (Source : Hugging Face — Welcome Muse Spark Open)
Ces experts détiennent environ 97 % des paramètres — près de 790B sur 816B. Seuls 8 s’activent par token, si bien que chaque token est calculé avec environ 42B de paramètres. Ce ratio résume toute la sortie : 19,4× plus de mémoire que de calcul par token. (Source : Meta AI Research — Muse Spark Open)
Ling 3.1 Flash pousse le même compromis plus loin (560B/25B, un écart de 22,4×) et Nemotron 3.5 Super VL se situe à 10×. Bolt fait figure d’exception dans l’autre sens : 12,2 % de ses poids sont actifs, ce qui explique que 24 Go suffisent. Meta, pendant ce temps, continue de digérer l’acquisition de Manus que Pékin l’a contraint d’abandonner — ses publications ouvertes et sa stratégie de fusions-acquisitions ne répondent pas à la même logique.
Le calcul est découplé. La facture, non.
Le MoE creux a été vendu comme une astuce d’efficacité. Sur l’axe du calcul, la promesse tient. C’est sur l’axe de la mémoire que vivent désormais les développeurs.
L’attention à requêtes groupées de Muse Spark Open utilise 16 têtes clé-valeur de 64 dimensions sur 62 couches, si bien que chaque token ajoute 126 976 valeurs au cache KV — 248 Kio par token en BF16, soit environ 248 Gio pour un seul contexte de 1M de tokens, en plus des poids. Le checkpoint BF16 complet fait environ 1,5 To en safetensors, ce qui équivaut à 1,84 octet par paramètre. (Source : Hugging Face — Welcome Muse Spark Open)
Cela vous achète une échelle de déploiement, pas un téléchargement :
- 4 nœuds × 8 H200 (TP=32) pour le BF16 — 2,5 To de mémoire accélérateur pour un modèle qui calcule comme un 42B.
- Un seul nœud B200 pour le checkpoint NVFP4 : poids en 4 bits, ce que la publication appelle une perte de précision négligeable.
- ~304 Go en 2 bits via llama.cpp, mesuré à 18 tokens/s sur un Mac M3 Ultra de 512 Go.
- Deux Mac Studio M5 Ultra de 512 Go chacun, via MLX, dans la démo de Meta elle-même.
Ling 3.1 Flash trace la limite ailleurs : un modèle plus petit sous MIT, mais sa fiche modèle demande toujours huit H200 ou quatre GB300 à contexte complet et recommande SGLang pour le serving. (Source : Hugging Face — InclusionAI Ling 3.1 Flash)
Le palier qui compte vraiment : 24 Go
La sortie la plus lourde de conséquences est peut-être la plus petite. Bolt 74B-A9B utilise une quantification native en 2 bits pour faire tenir 74B dans 24 Go, et NVIDIA le place premier parmi les modèles ouverts de sa catégorie sur PinchBench et deuxième sur BrowseComp. Il tourne dans llama.cpp, Ollama, LM Studio, Unsloth et vLLM, et est sorti en même temps que les ordinateurs portables RTX Spark de NVIDIA. Un petit frère de 4 Go suit le 23 octobre. (Source : NVIDIA — Open From Data Center to Desktop)
Super VL — 26 billions de tokens de pré-entraînement, puis environ 3,8 millions d’échantillons de post-entraînement plus du RL — arrive avec des jeux de données et des recettes ouverts, et NVIDIA vend du post-entraînement plutôt que de l’inférence : Scale AI l’a ajusté pour l’agent de crédit fournisseur de Skydance et le travail de due diligence d’EY, Mercor pour des agents de codage sur APEX-SWE, tandis qu’Atlassian, CrowdStrike, Perplexity et Salesforce le personnalisent pour leurs propres domaines. (Source : NVIDIA — Open From Data Center to Desktop)
Lu à la lumière du paradoxe de l’open source de juillet, le schéma se confirme : les poids ouverts sont désormais une stratégie de distribution pour les fournisseurs qui vendent du calcul, de l’outillage et de la personnalisation — pas un cadeau aux amateurs.
FAQ
Puis-je exécuter Muse Spark Open en local ? Pas la version BF16. Le NVFP4 nécessite un seul nœud B200 ; une quantification 2 bits pour llama.cpp tournait sur environ 304 Go à 18 tokens/s. Les routes hébergées — Baseten, Fireworks, Groq, Modal, Nebius, OpenRouter, Together — constituent le premier test pratique.
Ling 3.1 Flash est-il la meilleure affaire parce qu’il est sous MIT ? Pour le prototypage commercial, probablement oui : l’article de publication de Meta ne mentionne aucune licence, tandis que ses conditions développeur restreignent l’usage commercial. Mais le plancher matériel reste à huit H200. La licence coûte moins cher que les serveurs.
Pourquoi un modèle à 42B actifs a-t-il besoin de 1,5 To de poids ? Les 256 experts de chaque couche doivent rester résidents. Le routeur en choisit 8 par token ; la machine conserve l’ensemble. Vous payez la mémoire de 816B pour obtenir la vitesse de 42B.
Les performances annoncées sont-elles indépendantes ? Non. L’article sur Muse Spark Open ne comporte aucun score de benchmark, les affirmations de tâches de Ling proviennent de sa fiche modèle, et les classements de NVIDIA sont ceux de NVIDIA.
Un contexte de 1M de tokens, c’est 1M de tokens utilisables ? Non. La configuration expose 1 048 576 positions et le coût de cache ci-dessus est réel, mais la qualité de récupération à cette longueur est une mesure distincte — comme pour les sorties à contexte long précédentes.