Harness² de Google optimise l’agent, pas le modèle

TL;DR

Google Research a publié Harness² le 9 octobre 2026, un framework open source pour le « recursive agent harnessing » : optimiser le système autour d’un modèle — prompts, outils, mémoire, compétences, orchestration — tandis que les poids restent figés.
La récursion opère à deux niveaux : la récursion au niveau de la tâche affine le harness pour la tâche en cours via une étape contrastive Propose–Probe–Compose sans retour d’information de vérité terrain ; la récursion au niveau du harnessing inscrit les harnesses adoptés et les leçons tirées dans un « improvement harness » persistant.
Une seule étape Harness² surpasse le harness de base pour GLM-5 et Gemini 3.5 Flash sur trois benchmarks et quatre configurations modèle–harness : jusqu’à 11,5 points sur WorkBuddy-Bench, 4,5 sur JobBench et 11,8 points de pourcentage sur le taux de réussite partiel de LAB.
Le code est sous Apache 2.0. Le dépôt avertit que la sortie réseau de l’exécuteur est non restreinte, que Codex s’exécute avec le sandbox désactivé et que les rubriques publiques peuvent être accessibles en ligne.

La contrainte limitante est passée des poids au câblage

La façon par défaut d’améliorer un agent consiste à changer le modèle : une nouvelle passe de post-entraînement. Harness² inverse la prémisse. Google Research l’a publié le 9 octobre 2026 comme un framework pour le « recursive agent harnessing » — faire du système autour du modèle la cible de l’optimisation. L’article est arXiv 2610.14224, de Xu et ses collègues chez Google Research. (Source : arXiv — Harness²: Recursive Agent Harnessing for an Open World)

Le pari : pour le travail professionnel, le rendement des modifications du harness dépasse désormais celui d’une nouvelle passe de fine-tuning. C’est une hypothèse en cours de test, pas un résultat établi. Si elle se vérifie même partiellement, l’unité d’itération cesse d’être le checkpoint pour devenir le harness. (Source : Harness² project site)

Huit composants, deux niveaux de récursion

La surface modifiable est explicite : prompt système, garde-fous, mémoire, guidage des outils, sous-agents, compétences, scripts et plugins — les éléments qui régissent la construction du contexte, l’interface des outils, la délégation et le comportement. (Source : Google Research — Harness² repository)

La récursion au niveau de la tâche affine le harness d’exécution pour la tâche en cours via une étape contrastive Propose–Probe–Compose : proposer des modifications, sonder leurs effets sur la même tâche, puis composer un harness affiné à partir des contrastes comportementaux entre les exécutions. Aucun retour d’information de vérité terrain n’entre dans cette boucle. (Source : arXiv — Harness²: Recursive Agent Harnessing for an Open World)

La récursion au niveau du harnessing se situe au-dessus. Le harness adopté pour chaque tâche et ses leçons étayées par des preuves sont inscrits dans un « improvement harness » persistant qui guide l’affinage sur les tâches ultérieures — le premier niveau améliore une exécution, le second améliore l’améliorateur.

Recherche contrastive sans rubrique

La plupart des travaux d’optimisation de harness introduisent subrepticement une récompense : une suite de tests, une rubrique, un corrigé. Les tâches professionnelles en offrent rarement une — une note juridique est livrée sans sortie de référence à comparer, ce qui explique pourquoi une grande partie des travaux sur les agents auto-améliorants s’appuie sur des benchmarks avec réponses.

Harness² substitue le contraste comportemental à la rubrique. Le signal n’est pas « ceci a-t-il obtenu un meilleur score » mais « en quoi le comportement a-t-il différé entre ces exécutions, et quelle différence ressemble à la cause de la modification ». (Source : arXiv — Harness²: Recursive Agent Harnessing for an Open World)

Analyse : c’est le moins coûteux précisément là où les étiquettes sont absentes, et cela hérite de la faiblesse de toute boucle auto-référentielle — un contraste peut être réel et néanmoins non pertinent. Deux exécutions peuvent différer en verbosité ou en nombre d’appels d’outils sans différer en exactitude.

Ce que montrent les chiffres, et ce qu’ils ne montrent pas

Les résultats sont cohérents. Sur trois benchmarks professionnels et quatre appariements modèle–harness, une seule étape Harness² a amélioré GLM-5 et Gemini 3.5 Flash par rapport à leurs harnesses de base : jusqu’à 11,5 points sur WorkBuddy-Bench, 4,5 sur JobBench, 11,8 points de pourcentage sur le taux de réussite partiel de LAB. Un budget de récursion au niveau de la tâche plus important apporte des gains supplémentaires. L’ensemble de test est volontairement peu glamour : JobBench (travail professionnel), LAB (juridique ; nécessite Pandoc et Poppler) et WorkBuddy-Bench (bureau, web et code ; nécessite Docker). (Source : Data Studios — Google Research open-sources Harness²)

La récursion parallèle sonde k candidats généraux et k candidats spécifiques au domaine, puis compose k harnesses à partir des preuves partagées — exploration plus large. La récursion séquentielle transporte le harness affiné et les preuves à travers k étapes successives — affinage plus profond. La CLI accepte --k, --mode parallel|sequential et --substrate cx (Codex au lieu de l’exécuteur OpenCode par défaut). (Source : Harness² project site)

Analyse : la publication rapporte des points, pas un prix. Chaque sonde est une exécution réelle, donc k multiplie le calcul et le temps réel ; la métrique honnête est le gain par sonde. Le transfert est affirmé structurellement mais jamais quantifié : rien de publié ne dit dans quelle mesure un harness de tâche juridique survit au travail de bureau.

Le piège de la contamination est écrit dans le README

La note de sécurité du dépôt compte plus que ne l’admettent habituellement les notes de version. L’accès réseau de l’exécuteur est non restreint, Codex s’exécute avec son sandbox désactivé, et les rubriques publiques peuvent être accessibles en ligne ; les restrictions réseau doivent être configurées avant l’évaluation pour empêcher l’agent d’atteindre les réponses et les critères de notation. (Source : Google Research — Harness² repository)

Analyse : c’est un piège de reproductibilité à deux modes de défaillance. Le plus évident est un harness qui « s’améliore » parce qu’il a récupéré la rubrique. Le plus subtil est la contamination cumulative : comme les leçons atterrissent dans un improvement harness persistant, une seule évaluation fuitée ensemence un guidage qui se propage dans chaque tâche ultérieure, bien après que la fuite a disparu des logs.

Ce qui change pour les développeurs

Les compétences, la mémoire et les garde-fous deviennent des artefacts versionnés. Huit composants signifie huit surfaces de changelog ; sans git et sans évaluation, une modification de harness est un diff non relisible.
Les budgets deviennent des hyperparamètres. --k et --mode décident si vous explorez largement ou affinez en profondeur, et les modes ne sont pas interchangeables à coût égal.
La démo est la porte d’entrée. harness2-demo exécute les deux modes de récursion sur des éditeurs déterministes avec de vraies exécutions Python — Linux, Python 3.12, uv, sans identifiants ; les exécutions adossées à un modèle nécessitent des identifiants Vertex AI, Node.js 20+ et la CLI gcloud.
Verrouillez le réseau avant d’évaluer, au niveau de l’exécuteur, là où se trouve le sandbox — pas à l’intérieur du harness.

FAQ

Harness² entraîne-t-il ou affine-t-il le modèle ? Non. Les poids restent figés ; tout ce qui est optimisé vit dans le harness autour du modèle.

Que signifie « récursif » ici ? La récursion au niveau de la tâche relance Propose–Probe–Compose sur le harness courant ; la récursion au niveau du harnessing transforme les harnesses adoptés et les leçons en un improvement harness persistant. (Source : arXiv — Harness²: Recursive Agent Harnessing for an Open World)

Comment s’améliore-t-il sans réponses de vérité terrain ? Des modifications sont proposées, sondées sur la même tâche, et le harness affiné est composé à partir de contrastes comportementaux plutôt que d’un score.

Puis-je l’essayer sans identifiants de modèle ? Oui — harness2-demo exécute les deux modes de récursion sur des éditeurs déterministes avec de vraies exécutions Python.

Est-ce un produit officiel de Google ? Non. Le dépôt indique qu’il n’est pas officiellement pris en charge et qu’il se situe en dehors du OSS Vulnerability Rewards Program.

Pour aller plus loin

Google Research — Harness² repository — code, étapes d’installation, avertissement de sécurité.
arXiv — Harness²: Recursive Agent Harnessing for an Open World — méthode et résultats.
Harness² project site — vue d’ensemble, options de la CLI, modes de mise à l’échelle.
Data Studios — Google Research open-sources Harness² — couverture de la publication et chiffres clés.

— The Agent Report