DeepSeek V4.1-Flash-1017 : +11,1 sur Terminal-Bench, poids MIT, prix des tokens inchangé

TL;DR

DeepSeek a livré V4.1-Flash-1017 le 17 octobre, une mise à jour de checkpoint du V4.1-Flash de septembre. Même identifiant d’API (deepseek-flash), même prix par token, poids sous licence MIT sur Hugging Face et ModelScope.
Terminal-Bench 4.0 passe de 31,2 à 42,3 (+11,1 points, +35,6 % en relatif). ProgramBench de 20,3 à 29,1 (+43,3 % en relatif). Onze évaluations publiées, toutes en hausse.
Face à GPT-5.6 Sol, DeepSeek l’emporte sur sept des huit comparaisons publiées — mais Claude Opus 5 reste en tête sur Terminal-Bench (51,8) et ProgramBench (37,0).
Le chiffre intéressant n’est pas le gain, c’est le coût par succès : DeepSeek annonce des sorties plus courtes et des complétions plus rapides à prix inchangé. Pour les pipelines d’agents, c’est la métrique qui décide.

Un checkpoint, pas un nouveau modèle

Il n’y a pas de nouvelle architecture ici. V4.1-Flash-1017 conserve la conception MoE asymétrique Causal Encoder–Decoder introduite en septembre : un socle de 552 milliards de paramètres avec environ 8 milliards de paramètres actifs en entrée et 16 milliards en sortie, un contexte d’API de 1M de tokens, une sortie maximale de 384K, une entrée texte et image, un mode réflexion et des appels d’outils. (Source : Data Studios — DeepSeek V4.1 Flash 1017: Open Weights, Benchmarks and API Pricing)

DeepSeek l’a annoncé sur X comme une « mise à jour mineure » avec « des améliorations substantielles en raisonnement, codage, tâches agentiques et benchmarks visuels ». Le mot « mineure » porte beaucoup dans cette phrase, car les écarts ne sont pas mineurs sur les benchmarks qui comptent pour les agents. (Source : AI Understanding — DeepSeek releases V4.1-Flash-1017)

Le coût de migration est nul : les applications pointant vers deepseek-flash reçoivent le nouveau checkpoint sans toucher une ligne de configuration. C’est le fait sous-estimé de cette sortie. Une montée de version de modèle qui exige de changer de fournisseur, un nouveau SDK et une réexécution de toutes les évaluations, c’est un projet. Une qui arrive silencieusement derrière la même chaîne d’API, c’est un mardi ordinaire.

Les chiffres, et ce qu’ils disent vraiment

DeepSeek a publié onze évaluations, toutes en amélioration par rapport au checkpoint de septembre :

HLE, sans outils : 36,8 → 42,6
Terminal-Bench 4.0 : 31,2 → 42,3 (+11,1)
DeepSWE v1.1 : 74,2 → 77,0
ProgramBench : 20,3 → 29,1 (+8,8)
NL2Repo-Bench : 65,4 → 68,2
Automation-Bench v1.0.6 : 54,8 → 60,5
Agents’ Last Exam : 31,8 → 35,4
Apex Bench v1.1 : 64,6 → 72,1
Chartography, avec outils : 78,9 → 83,0
BabyVision, avec outils : 89,6 → 92,5
ZeroBench-main, avec outils : 49,0 → 51,0

La distribution est l’histoire. La vision bouge à peine (+2 à +4 points), ce qui suggère que la pile multimodale est déjà proche de son plafond. Les gains se concentrent exactement là où un agent dépense son argent : exécution en terminal, construction de programmes, automatisation structurée en plusieurs étapes. Un bond de 11,1 points sur Terminal-Bench, c’est la différence entre un agent qui lit une stack trace et abandonne, et un qui la lit, modifie le test et réessaie sur une hypothèse différente.

Face aux concurrents, le tableau de DeepSeek est flatteur mais pas malhonnête. Sur les huit benchmarks présentés côte à côte, V4.1-Flash-1017 bat GPT-5.6 Sol sur sept : Terminal-Bench 42,3 contre 39,9, DeepSWE 77,0 contre 73,0, ProgramBench 29,1 contre 23,0, NL2Repo 68,2 contre 56,8, Automation-Bench 60,5 contre 45,8, Agents’ Last Exam 35,4 contre 26,7, Apex 72,1 contre 54,3. Il perd sur HLE sans outils, 42,6 contre 44,5.

Claude Opus 5 est le mur plus difficile : Terminal-Bench 51,8, ProgramBench 37,0, NL2Repo 75,3, HLE 56,3. La lecture honnête n’est pas que les poids ouverts ont rattrapé la frontière. C’est que les poids ouverts ont comblé l’écart sur le travail agentique à forte intensité d’exécution, tout en restant environ dix points derrière sur le raisonnement de pointe.

Une mise en garde compte plus que le classement : DeepSeek a exécuté Terminal-Bench via le harnais Claude Code et DeepSWE via Mini-SWE-V2. L’accès aux outils, la politique de réessai et la gestion du contexte appartiennent au harnais, pas au modèle. Toute comparaison qui ignore quel échafaudage a exécuté quels poids mesure aussi l’échafaudage.

Pourquoi un checkpoint peut valoir huit points

DeepSeek attribue ces gains à l’apprentissage par renforcement avec auto-retour, en particulier pour les tâches où l’instruction est large et le livrable est un projet entier. Les démos publiées sont un niveau inspiré de Portal 2 construit dans Godot, un modèle 3D de la Cité interdite de Pékin, de petits jeux web, un moteur de jeu jouet.

Prenez les démos pour ce qu’elles sont. C’est le mécanisme qui résiste à l’examen. Les tâches à l’échelle d’un projet échouent de façon cumulative : un choix d’architecture précoce empoisonne chaque étape suivante, et l’agent n’a aucun signal externe lui indiquant quelle étape était fausse. L’entraînement par auto-retour apprend à un modèle à remarquer que son propre état intermédiaire contredit l’objectif et à réviser avant de continuer. C’est une compétence différente de bien répondre, et c’est celle que les suites de benchmarks ont eu du mal à mesurer.

Le risque de transfert est réel. Un modèle entraîné à mener des projets à terme peut aussi apprendre à déclarer un projet terminé. Chaque démo « construit X de zéro » devrait être lue à côté d’un taux de régression : à quelle fréquence le même agent, sur le même dépôt, casse-t-il discrètement quelque chose qui fonctionnait auparavant ?

La question du coût par succès

Le prix par token est inchangé, ce qui semble anodin jusqu’à ce qu’on l’associe à l’autre affirmation : sorties plus courtes, complétion plus rapide. Si une tâche qui consommait 40K tokens de sortie en consomme désormais 28K et se termine deux tours plus tôt, le prix effectif d’une tâche accomplie vient de baisser d’environ un tiers sans qu’une seule ligne de la page tarifaire ait changé.

C’est la métrique qu’il vaut la peine d’instrumenter avant d’adopter le checkpoint. Pas le classement, pas la bande-annonce — les tokens par succès et le temps réel par succès, sur vos propres tâches avec vos propres outils. Un gain de benchmark qui coûte plus de réessais est une régression déguisée en progrès ; un benchmark stable avec des trajectoires 30 % plus courtes, c’est une augmentation.

Le contrepoids, c’est l’hébergement. Les poids MIT signifient que vous pouvez l’exécuter vous-même, mais un socle MoE de 552 milliards de paramètres avec 1M de contexte n’est pas un téléchargement pour ordinateur portable. La licence achète une option, pas l’indépendance : pour la plupart des équipes, le choix pratique reste l’API hébergée.

Qu’en faire

Si vous faites tourner des charges agentiques sur deepseek-flash, le checkpoint est déjà déployé. Réexécutez vos propres évaluations avant de faire confiance au tableau du fournisseur, et journalisez trois chiffres par charge de travail : taux de succès, tokens de sortie par succès, tours par succès. Comparez avec votre propre mois de traces précédent, pas avec Terminal-Bench.

Si vous choisissez un modèle pour de l’automatisation à forte intensité de terminal, l’ordre est plus clair qu’avant : les modèles frontière fermés mènent encore sur le raisonnement difficile, les poids ouverts mènent sur le prix par résultat à environ 80 % du plafond, et le harnais que vous enveloppez autour de l’un ou l’autre fait bouger le score de plus de points qu’une génération de poids.

FAQ

Est-ce un nouveau modèle ? Non. C’est une mise à jour de checkpoint de V4.1-Flash, la version de septembre. Même famille, même identifiant d’API, même prix, de meilleurs poids.

Dois-je changer quelque chose pour l’obtenir ? Si vous appelez deepseek-flash, non — le nouveau checkpoint est déjà servi. Si vous l’hébergez vous-même, récupérez les nouveaux poids sous MIT.

Les chiffres sont-ils indépendants ? Non. Tous les résultats sont rapportés par le développeur, et deux benchmarks ont été exécutés via des harnais tiers (Claude Code, Mini-SWE-V2), ce qui les rend sensibles au harnais.

Bat-il Claude Opus 5 ? Sur certains benchmarks agentiques, oui : Automation-Bench et Agents’ Last Exam. Sur Terminal-Bench, ProgramBench, NL2Repo et HLE, non. Opus 5 conserve une avance de cinq à quatorze points sur les plus difficiles.

Et le contexte de 1M ? Inchangé : 1M de tokens en entrée, 384K en sortie, texte et images. Le checkpoint améliore le comportement à ce contexte, pas sa taille.

Pour aller plus loin

— The Agent Report