L’outil Paper de Google a examiné 10 000 articles à l’ICML 2026 — et a démasqué 398 relecteurs tricheurs

Introduction : Une conférence en guerre contre sa propre échelle

Lorsque l’ICML 2026 a ouvert ses portes au COEX Convention & Exhibition Center de Séoul le 6 juillet, les plus de 11 000 chercheurs présents ont découvert une conférence très différente de celle d’il y a seulement 18 mois. Les chiffres bruts racontent une partie de l’histoire : 23 918 soumissions — plus du double des 12 107 reçues en 2025, qui était déjà un record (Source : Tech Times — ICML 2026 Opens Monday in Seoul). Les présidents de programme Alekh Agarwal, Miroslav Dudik, Sharon Li et Martin Jaggi ont accepté 6 352 articles à un taux de 26,6 %, dont seulement 168 (0,7 %) ont obtenu une présentation orale.

Mais les chiffres ne font qu’effleurer le changement structurel profond. Deux expériences se sont déroulées à l’ICML 2026 qui, prises ensemble, représentent le test de résistance le plus conséquent jamais mené sur l’IA dans l’édition scientifique :

Le Paper Assistant Tool (PAT) de Google — un cadre d’IA agentique qui a ingéré, analysé et critiqué plus de 10 000 PDF complets lors des conférences STOC et ICML 2026, fournissant des retours structurés, section par section, en environ 30 minutes par article.
L’opération de détection des LLM de l’ICML — un système d’injection de prompt qui a intégré des instructions lisibles par machine dans chaque PDF soumis. Il a permis de prendre sur le fait 398 évaluateurs ayant utilisé des LLM pour rédiger leurs évaluations, malgré leur accord explicite de ne pas le faire, entraînant le rejet de 497 de leurs propres soumissions.

Ces deux événements ne sont pas des histoires distinctes. Ce sont les deux faces d’un même phénomène : l’automatisation du pipeline académique se produit simultanément aux deux extrémités, et le système des conférences n’a pas de manuel pour y faire face.

PAT : Comment fonctionne réellement l’évaluateur agentique de Google

Le Paper Assistant Tool n’est pas un chatbot à qui l’on demande « d’évaluer cet article ». C’est un pipeline agentique construit sur les modèles de raisonnement Gemini avec scaling d’inférence — un terme qui décrit l’allocation de davantage de puissance de calcul au moment du test pour améliorer la qualité du raisonnement.

L’architecture, décrite dans le preprint du 26 juin « Towards Automating Scientific Review with Google’s Paper Assistant Tool » (arXiv:2606.28277), fonctionne comme suit (Source : arXiv — Towards Automating Scientific Review with Google’s Paper Assistant Tool) :

Ingestion du PDF — PAT ingère le manuscrit complet, pas seulement le résumé ou l’introduction. Il segmente le document en sections logiques (résumé, introduction, travaux connexes, méthodologie, résultats, conclusion).
Critique par section — Pour chaque section, l’agent rédige une évaluation ciblée. Il vérifie les résultats théoriques, valide les expériences, suggère des améliorations et identifie les défauts potentiels. Il ne s’agit pas d’un simple passage unique dans un modèle — c’est une boucle agentique qui peut générer des sous-processus pour une vérification symbolique.
Synthèse des résultats — Les critiques par section sont agrégées en un résumé structuré qui met en évidence les problèmes les plus significatifs.
Sans état, sans entraînement — Point crucial, PAT ne s’affine pas sur les manuscrits soumis. Il fonctionne uniquement en inférence. Toutes les données sont supprimées dans les sept jours suivant le programme. Chaque auteur reçoit un bon par cycle de soumission, empêchant les soumissions en masse à des fins de veille concurrentielle.

L’avancée technique par rapport au prompting zéro-shot standard est significative. Sur le benchmark SPOT pour les erreurs mathématiques, PAT atteint une amélioration de 34 % du rappel — ce qui signifie qu’il détecte plus d’un tiers d’erreurs supplémentaires par rapport au simple fait de demander à un modèle de pointe d’évaluer le même article. Cette amélioration provient de l’architecture agentique : les modèles zéro-shot manquent du budget de calcul nécessaire pour effectuer des vérifications approfondies, alors que PAT peut lancer des sous-processus pour exécuter une vérification symbolique (Source : ai|expert — Google’s Paper Assistant Reviews 10,000 Papers in 30 Minutes).

De STOC à ICML puis à NeurIPS : Le calendrier de déploiement

PAT n’est pas apparu pleinement formé à l’ICML. Son déploiement a suivi une montée en puissance délibérée :

Conférence	Déploiement	Articles	Délai d’exécution	Résultat clé
STOC 2026	Pilote (optionnel)	~2 000	~2 jours	80 % ont opté pour l’outil ; 97 % ont trouvé les retours utiles ; un auteur a déclaré que PAT avait détecté « un bug critique qui rendait notre preuve entièrement incorrecte… un bug embarrassant de simplicité qui nous avait échappé pendant des mois »
ICML 2026	Déploiement complet	10 000+	~30 min	92,1 % l’utiliseraient à nouveau ; 35,4 % ont identifié des lacunes théoriques significatives ; 31 % ont mené de nouvelles expériences avant que les évaluateurs humains ne touchent à l’article
NeurIPS 2026	Adopté (décembre)	À déterminer	À déterminer	Même modèle de données ; un bon par cycle de soumission

L’accélération du délai de deux jours de STOC à 30 minutes à l’ICML représente à la fois une optimisation technique et le passage à une allocation de calcul plus importante. Les PDF volumineux à l’ICML ont encore provoqué des pics de latence au-delà de la médiane de 30 minutes, mais le système a tenu.

Parmi les 869 répondants à l’enquête ICML, seulement 1,6 % ont jugé l’outil « inutile ». Parmi les auteurs ayant des résultats théoriques, 35,4 % ont déclaré que PAT avait identifié des lacunes théoriques significatives nécessitant plus d’une heure de correction — avant qu’un évaluateur humain n’ait vu l’article. Parmi les auteurs ayant des composantes expérimentales, 31 % ont mené de nouvelles expériences en réponse directe aux retours de PAT (Source : ai|expert — Google’s Paper Assistant).

C’est le chiffre le plus important pour l’avenir de l’édition scientifique : un tiers des auteurs expérimentaux ont modifié leurs articles sur la base de retours automatisés avant le début de l’évaluation humaine. L’agent n’est pas seulement un outil de vérification superficielle — il remodèle substantiellement le contenu des recherches acceptées.

L’opération d’infiltration : Comment l’ICML a pris 398 évaluateurs utilisant des LLM qu’ils avaient accepté de ne pas utiliser

Pendant que le PAT de Google évaluait des articles, l’ICML menait une opération parallèle dans la direction opposée : prendre sur le fait les évaluateurs humains qui utilisaient des LLM pour rédiger leurs évaluations.

Le mécanisme de contrôle était techniquement précis. L’ICML a mis en œuvre une politique LLM à deux volets :

Politique A : Aucune utilisation de LLM dans la rédaction des évaluations.
Politique B : Assistance limitée des LLM autorisée (compréhension des articles, polissage de la prose) — mais pas pour juger de la qualité ni rédiger l’évaluation.

Les évaluateurs ont choisi leur voie. Ceux assignés à la Politique A l’avaient soit explicitement sélectionnée, soit sélectionné « l’une ou l’autre politique ».

Pour détecter les violations, le comité de programme a utilisé une technique basée sur les recherches de Rao, Kumar, Lakkaraju et Shah (publiée dans PLOS ONE, septembre 2025). La méthode :

A créé un dictionnaire de 170 000 phrases uniques.
A échantillonné deux phrases aléatoires pour chaque article soumis. La probabilité qu’une paire soit reproduite par hasard était inférieure à un sur dix milliards.
A intégré ces phrases comme instructions lisibles par machine dans le PDF — invisibles pour les lecteurs humains, mais visibles pour tout LLM traitant le document. Les instructions ordonnaient au LLM d’inclure les deux phrases dans son évaluation.
Toute évaluation contenant les deux phrases injectées était inspectée manuellement par un membre du comité d’organisation.

Le résultat : 795 évaluations (~1 % de toutes les évaluations soumises) ont été signalées comme générées par LLM par les évaluateurs de la Politique A. Parmi celles-ci, 506 évaluateurs uniques ont été pris sur le fait. Les 398 « évaluateurs réciproques » — ceux dont la propre soumission à l’ICML dépendait de leur service en tant qu’évaluateur — ont vu 497 de leurs articles rejetés, soit environ 2 % de toutes les soumissions (Source : Tech Times — ICML 2026).

Les présidents de programme ont été transparents quant aux limites de la méthode : « Cette mesure n’est pas difficile à contourner, » ont-ils écrit sur le blog de l’ICML, « surtout si elle est connue publiquement — ce qui a été le cas pendant presque toute la période d’évaluation. » La technique ne détecte que les évaluateurs qui fournissent l’intégralité du PDF à un LLM et copient-collent directement le résultat. Les utilisateurs sophistiqués qui paraphrasent, utilisent des LLM pour des brouillons partiels ou suppriment le prompt injecté avant le traitement ne seraient pas détectés.

L’implication : si 1 % des évaluations ont été détectées par une méthode qui, de l’aveu même des organisateurs, ne capture que les utilisateurs les plus négligents, le taux réel d’utilisation des LLM dans les évaluations de la Politique A est substantiellement supérieur à 1 %.

Nihar Shah, président de l’intégrité scientifique à l’Université Carnegie Mellon, a déclaré à The Transmitter : « Je travaille sur l’évaluation par les pairs des conférences depuis plusieurs années, et je n’ai guère vu un tel soutien pour quoi que ce soit. Les gens étaient vraiment fatigués que les évaluateurs copient-collent des évaluations générées par l’IA sans fournir aucun effort » (Source : The Transmitter — Scientists decry conferences’ use of hidden prompts).

Tout le monde n’a pas approuvé. Le chercheur Sören Auer a qualifié les prompts cachés de mécanisme de contrôle problématique, arguant qu’« il n’est pas bon d’interdire l’utilisation de l’IA — nous devrions plutôt avoir une discussion sur la façon de l’utiliser. » Sara Atito de l’Université du Surrey a décrit la technique comme un « mécanisme médiocre » qui filtre certaines violations sans résoudre les problèmes structurels de l’évaluation par les pairs (Source : The Transmitter).

La boucle fermée : Quand l’IA écrit des articles conçus pour satisfaire des évaluateurs IA

L’opération d’infiltration de l’ICML et le déploiement de PAT ne sont pas des événements indépendants. Ils convergent vers un problème structurel que la communauté académique commence seulement à nommer.

Si les organisateurs de conférences déploient des agents automatisés pour filtrer et évaluer les soumissions — comme le font l’ICML, STOC et maintenant NeurIPS — les auteurs utiliseront, avec une inévitabilité mathématique, des agents correspondants pour rédiger des articles optimisés pour ces évaluateurs. Le résultat est une boucle fermée : les modèles d’IA écrivent des articles conçus pour obtenir de bons scores sur les pipelines d’évaluation IA, évalués pour leur cohérence interne plutôt que pour leur vérité externe.

Un évaluateur agentique peut détecter une formule inappropriée ou une citation manquante. Il ne peut pas juger si une théorie correspond à la réalité physique. Il évalue la cohérence logique, pas l’exactitude factuelle. Cette distinction est importante car l’économie de volume de l’édition scientifique favorise désormais les pipelines automatisés aux deux extrémités.

Considérez les chiffres : l’ICML a reçu 23 918 soumissions. Avec un temps d’évaluation de 30 minutes par article, PAT peut traiter l’ensemble du pool de soumissions en environ 12 000 heures de calcul — moins de deux semaines sur un cluster modeste. Les évaluateurs humains, en revanche, sont déjà submergés. Si le nombre de soumissions continue de doubler chaque année, la seule voie viable pour les grandes conférences sera de rendre obligatoire le pré-filtrage agentique avant qu’un évaluateur humain ne voie une page.

Ce pré-filtrage deviendra le gardien de la crédibilité scientifique. Les articles qui échouent aux vérifications automatisées — cohérence mathématique, complétude structurelle, couverture des citations — seront rejetés instantanément. Seule une fraction atteindra l’évaluation humaine. Le risque n’est pas que l’IA abaisse la qualité de l’évaluation ; c’est qu’elle l’homogénéise, favorisant les méthodologies familières et pénalisant les approches radicales qui ne s’alignent pas sur les données d’entraînement.

Comme l’a écrit Mark Jordan dans une analyse incisive pour Singularity Moments : « D’ici la fin 2027, le modèle d’édition académique se divisera en deux voies distinctes. Une voie de revues à cycle rapide où les articles sont rédigés, évalués et publiés entièrement par des systèmes agentiques en quelques jours. L’autre voie sera une vérification humaine lente et exclusive, nécessitant une réplication physique ou des présentations en direct » (Source : Singularity Moments — AI peer-reviewers are about to break scientific publishing).

L’économie est déjà inégale

Une dimension du déploiement de PAT qui a reçu moins d’attention à l’ICML est la structure des coûts. L’exécution d’une boucle agentique qui effectue une vérification symbolique approfondie pendant 30 minutes nécessite une puissance de calcul significative. Alors qu’un prompt zéro-shot coûte des fractions de centime, un agent de vérification en plusieurs étapes peut coûter plusieurs dollars par exécution.

Cela crée un fossé de ressources : les laboratoires industriels fortunés (Google, DeepMind, OpenAI, Anthropic) peuvent se permettre d’exécuter une vérification de type PAT sur chaque preprint qu’ils produisent ou évaluent. Les chercheurs académiques indépendants dans les petites institutions ne le peuvent pas. Si la vérification pré-soumission devient une exigence de facto pour passer le filtrage automatisé, elle devient une taxe que seuls les laboratoires bien financés peuvent payer.

L’équipe de PAT a partiellement abordé ce problème avec le modèle de déploiement de NeurIPS — un bon par cycle de soumission, empêchant l’utilisation en masse à des fins de veille concurrentielle — mais l’asymétrie sous-jacente demeure : les mêmes entreprises qui construisent l’infrastructure d’évaluation sont également celles qui soumettent des articles.

L’arrivée structurelle de l’IA agentique dans la recherche en ML

Au-delà de PAT et de l’opération d’infiltration, le signal le plus clair sur la direction que prend la recherche en ML est venu des propositions d’ateliers. Les présidents d’ateliers Gergely Neu et Courtney Paquette ont noté qu’une certaine variation de « l’IA agentique » est apparue dans 60 des 247 propositions d’ateliers — près d’un quart de toutes les propositions. Le programme final a accepté 44 ateliers plus 4 ateliers d’affinité. Les événements acceptés incluent « Agents in the Wild: Safety, Security, and Accountability », « Statistical Frameworks for Uncertainty in Agentic Systems » et « Failure Modes in Agentic AI (FAGEN) » (Source : ICML 2026 Workshops).

Cette concentration indique que les systèmes d’IA autonomes et utilisant des outils passent d’un sous-domaine de niche au cœur de la recherche en apprentissage automatique — et les questions de fiabilité et de sécurité qui les accompagnent sont prises au sérieux aux plus hauts niveaux du domaine.

FAQ

Q : PAT remplace-t-il les évaluateurs humains ?

Non. PAT n’est explicitement pas un filtre. Google décrit quatre niveaux progressifs de collaboration IA-humain dans l’évaluation scientifique ; les déploiements actuels se situent à l’extrémité inférieure — augmentation pré-soumission, pas d’acceptation/rejet automatisé. PAT signale les erreurs, mais la décision finale reste entièrement entre les mains des évaluateurs humains. Les évaluateurs, les responsables de domaine et les présidents de programme ne voient aucune des sorties de PAT.

Q : Les évaluateurs peuvent-ils contourner le système de détection des LLM ?

Oui, et les présidents de l’ICML l’ont reconnu ouvertement. La technique d’injection de prompt ne détecte que les évaluateurs qui fournissent l’intégralité du PDF à un LLM et copient-collent le résultat. Quiconque paraphrase, supprime le texte invisible ou utilise des LLM pour des brouillons partiels échappe à la détection. Le taux de 1 % détecté est presque certainement une limite inférieure.

Q : Que se passe-t-il lorsque les auteurs optimisent leurs articles pour les évaluateurs IA ?

C’est le risque central. Si le pré-filtrage automatisé devient obligatoire, les auteurs utiliseront l’IA pour rédiger des articles qui réussissent les vérifications IA. Le résultat est une recherche syntaxiquement parfaite, mathématiquement cohérente, mais potentiellement vide. La communauté académique n’a pas encore conçu de défense contre cela.

Q : Combien coûte PAT par article ?

L’équipe de PAT n’a pas publié de chiffres de coût par article. Des preuves anecdotiques provenant d’autres systèmes de vérification agentiques suggèrent un coût de 1 à 5 dollars par exécution de vérification approfondie, contre des fractions de centime pour le prompting zéro-shot. Cette asymétrie de coût favorise les laboratoires bien financés.

Q : Quelles conférences adopteront PAT ensuite ?

NeurIPS 2026 (décembre, Sydney) a adopté PAT selon le même modèle sans état et uniquement en inférence. Aucune autre conférence n’a été confirmée publiquement, mais la trajectoire STOC → ICML → NeurIPS suggère que les grandes conférences de ML sont la cible.

L'outil Paper de Google a examiné 10 000 articles à l'ICML 2026 — et a démasqué 398 relecteurs tricheurs