TL;DR — Une étude menée par Princeton a soumis Claude Opus 4.8 à une « évaluation fantôme » : six jours, 3 000 $ de crédits API et un budget GPU pour répondre à deux vraies questions de recherche issues de soumissions NeurIPS 2026 encore non publiées. Les agents ont excellé en ingénierie — revue de littérature, centaines d’expériences — mais les auteurs humains qui ont noté les résultats ont rejeté les deux articles. Le constat tombe pile sur le jalon le plus proche de l’industrie : l’auto-amélioration récursive.
Introduction
La promesse la plus audacieuse de l’industrie de l’IA à court terme est que l’IA va bientôt améliorer l’IA. Les LLM écrivent déjà du code, génèrent des données synthétiques d’entraînement et optimisent les puces sur lesquelles ils tournent, et les prévisions de progrès explosif reposent sur ce que les chercheurs appellent l’auto-amélioration récursive — des modèles qui accélèrent leur propre développement (Source : MIT Technology Review — AI’s recursive self-improvement might not come so quickly after all). Une nouvelle étude publiée sur arXiv le 18 août suggère que l’écart entre « savoir faire l’ingénierie » et « savoir faire la recherche » est plus large que ne le suppose le battage médiatique.
L’évaluation fantôme
La plupart des benchmarks de recherche par agents testent des tâches étroites à réponse vérifiable : résoudre un problème d’ingénierie, post-entraîner un petit modèle contre un benchmark. Mais la vraie recherche exige un jugement ouvert — choisir des hypothèses, décider quelle preuve trancherait une question, savoir quand abandonner une approche.
Pour isoler cette compétence, une équipe multi-institutions dirigée par Peter Kirgis et Sayash Kapoor à Princeton a conçu l’« évaluation fantôme » : donner à un agent une question de recherche tirée d’un article de haute qualité encore non publié, pour que la réponse ne puisse être ni mémorisée ni trouvée en ligne (Source : arXiv — Can AI agents conduct open-ended AI research? Early evidence from two case studies).
Ils ont fait tourner Claude Opus 4.8 sur le framework open-source OpenClaw face à deux questions issues de soumissions NeurIPS 2026 — l’une sur le contrôle des « personas » d’un LLM en éditant ses poids, l’autre sur la détection du moment où un modèle qui fait des prédictions à partir de données tabulaires devient peu fiable. Le dispositif était généreux : six jours, 3 000 $ de crédits API Anthropic, un budget GPU, des ordinateurs virtuels et un accès complet au web. Les auteurs originaux des articles ont ensuite noté le résultat comme ils noteraient une soumission de conférence.
Ils ont rejeté les deux articles.
Bons ingénieurs, mauvais chercheurs
Le résultat est nuancé, et c’est précisément ce qui le rend utile. Sur l’axe ingénierie, les agents étaient compétents : ils ont passé en revue la littérature, mené des centaines d’expériences et compilé les résultats. « En revanche, » a déclaré le co-auteur Sayash Kapoor à MIT Technology Review, « les agents étaient sans ambiguïté mauvais pour mener la recherche elle-même. » Ils ont mené des expériences étranges — testant parfois leurs hypothèses sur de minuscules jeux de données synthétiques — peiné à écrire de façon intelligible sur leur travail, et n’ont apporté aucune contribution originale à leur domaine.
Trois modes d’échec ressortent. D’abord, l’engagement sans exploration : les agents se sont accrochés trop vite à des approches peu prometteuses, et ont parfois développé des hypothèses ambitieuses ressemblant à celles des auteurs originaux — avant de les rejeter sur la base de données très limitées. Ensuite, l’absence de retour en arrière : ils pouvaient faire de petits pivots mais ne pouvaient pas repenser fondamentalement une approche. Enfin, ils n’ont pas su intégrer le retour des sous-agents ni des outils de relecture externes, préférant restreindre leurs affirmations et ajouter des réserves plutôt que de réviser leur méthodologie.
Il y a un point négatif réellement encourageant : aucun reward hacking. Les agents n’ont jamais caché ni déformé d’expérience, et bien que les sous-agents auxiliaires aient parfois halluciné des résultats, l’agent orchestrateur les a détectés (Source : MIT Technology Review).
Ce que cela dit de l’auto-amélioration récursive
L’explication de Kapoor porte sur les régimes d’entraînement, pas sur l’intelligence brute. Les modèles deviennent bons dans tout ce qui peut être drillé via l’apprentissage par renforcement, qui fonctionne quand le succès peut être vérifié automatiquement. « Il est plus difficile de créer des environnements pour entraîner ces modèles lorsque la tâche elle-même est ouverte », dit-il.
C’est un signal baissier pour les calendriers courts. En juin, Anthropic a publié « When AI Builds Itself », retraçant ses progrès vers des modèles qui accélèrent leur propre développement ; en juillet, OpenAI a mis en avant GPT-5.6 Sol pour avoir aidé à post-entraîner un modèle plus petit. Le cofondateur d’Anthropic Jack Clark a écrit dans sa newsletter Import AI que l’étude « fait écho » à ce que l’entreprise a constaté en tentant d’automatiser la recherche sur l’alignement — « une certaine absence de créativité intuitive et précieuse dans les systèmes d’IA actuels », qu’il a qualifiée de « signal baissier sur les calendriers courts de l’auto-amélioration récursive » (Source : Jack Clark — Import AI #454).
L’équipe est en train de relancer l’expérience avec Mythos, le modèle le plus avancé d’Anthropic. La question à mille milliards de dollars, comme le dit Kapoor, est de savoir si la recherche ouverte est même nécessaire à l’auto-amélioration récursive — ou si l’IA peut y parvenir par la seule amélioration de tâches étroites et notables. Les plus grands bonds du domaine, depuis le transformer, « ont exigé des sauts créatifs », note-t-il.
À lire en parallèle de notre couverture du rapport de risque d’Anthropic — où le labo admettait que ses benchmarks de sécurité s’étaient « saturés » — le test fantôme ajoute un deuxième point de donnée montrant que nos instruments de mesure des capacités frontières se dégradent au moment même où les enjeux augmentent.
FAQ
Q : Qu’est-ce que les agents ont obtenu exactement ? Six jours, 3 000 $ de crédits API Anthropic, un budget GPU, leurs propres ordinateurs virtuels et un accès au web — pour répondre à une question de recherche tirée d’un article NeurIPS 2026 non publié.
Q : Pourquoi une « évaluation fantôme » plutôt qu’un benchmark ? Parce que les questions provenaient d’articles pas encore publics, les agents ne pouvaient ni mémoriser les réponses ni les trouver en ligne. Cela isole la recherche ouverte réelle du simple rappel.
Q : Les agents ont-ils triché ? Non. Les chercheurs n’ont trouvé aucun reward hacking — aucune expérience cachée ou déformée. Les sous-agents ont parfois halluciné, mais l’orchestrateur les a détectés.
Q : Cela signifie-t-il que l’auto-amélioration récursive est impossible ? Non. Cela signifie que les calendriers courts semblent plus fragiles. La question ouverte est de savoir si la recherche ouverte est même nécessaire, ou si l’IA peut s’auto-améliorer par les seules tâches étroites et vérifiables.
Q : Et ensuite ? L’équipe relance l’expérience avec le modèle Mythos d’Anthropic, un système frontière nettement plus capable.
Pour aller plus loin
- MIT Technology Review — AI’s recursive self-improvement might not come so quickly after all
- arXiv — Can AI agents conduct open-ended AI research? Early evidence from two case studies
- Anthropic — When AI Builds Itself
- Jack Clark — Import AI #454: Automating alignment research
- Notre couverture — Le code auto-écrit à 80 % de Claude et le débat sur l’amélioration récursive
- Notre couverture — La crise de la sécurité de l’IA de l’été 2026