ContextPilot-14B : l’agent open-weight de Tencent qui gère son propre contexte

TL;DR — Tencent a livré ContextPilot-14B le 27 août sans aucune annonce : un affinage à poids ouverts de 15 milliards de paramètres de Qwen3-14B entraîné à gérer proactivement son propre contexte sur des tâches à long horizon. L’article (arXiv 2608.28476, accepté à EMNLP 2026) indique que le modèle surpasse un Qwen3-14B non affiné de près de 19 points tout en fonctionnant dans un quart de la fenêtre de contexte (32K contre 128K). Deux bémols : tous les chiffres sont fournis par l’éditeur sans reproduction indépendante à ce jour, et la licence est réservée à la recherche — vous pouvez l’étudier, pas le déployer en production.

Introduction

Les agents à long horizon partagent un mode de défaillance silencieux. Au fil des nombreux tours de recherche, d’appels d’outils et de raisonnement, le contexte de travail croît sans limite : le coût de préremplissage augmente, et le modèle finit par se noyer dans son propre historique. C’est le problème que cible ContextPilot de Tencent, et il est arrivé comme le font de plus en plus les recherches à poids ouverts — les poids d’abord, l’article le lendemain, pas de billet de blog, pas d’API, pas de page de tarification (Source : OrcaRouter — ContextPilot-14B : la sortie discrète d’un agent à poids ouverts de Tencent).

Le problème : le contexte est la fuite de mémoire de l’agent

La plupart des modèles à poids ouverts traitent le contexte comme quelque chose qu’ils remplissent passivement. Le postulat de ContextPilot est qu’un agent devrait décider, tour après tour, quoi conserver, quoi mémoriser et quoi sortir de la fenêtre active. Des méthodes antérieures de « gestion proactive du contexte » existaient, mais l’article soutient qu’elles partageaient trois limites : un ensemble d’outils restreint à la recherche, à la suppression et à la synthèse, sans planification globale, mémoire à long terme ni compression adaptative ; une exploration qui traitait chaque action d’édition de contexte comme également importante ; et une attribution de crédit à gros grain qui donnait à chaque action intermédiaire la même récompense finale pendant l’apprentissage par renforcement (RL) (Source : ContextPilot — article Hugging Face 2608.28476).

Ce qui a été livré

La livraison se compose de trois checkpoints Hugging Face sous l’organisation tencent. Le modèle phare, ContextPilot-14B, est un affinage d’environ 15 milliards de paramètres de Qwen3-14B. ContextPilot-8B est la version Qwen3-8B, et ContextPilot-E4B est une variante compacte construite sur le backbone Gemma4-E4B-it. La fiche modèle indique explicitement que les poids ne deviennent un agent que lorsqu’ils sont exécutés avec le code — les définitions d’outils, le runtime et le pipeline d’évaluation se trouvent dans le dépôt Tencent/ContextPilot.

Le framework ajoute quatre types d’actions à l’ensemble d’outils : la planification (plan, analyzeText), la recherche (searchEngine, readChunk), la mémoire à long terme (memorize, updateMemory) et le déchargement progressif (delete, truncate, compress) (Source : ContextPilot — page projet Tencent).

L’apprentissage par renforcement : explorer les modifications qui comptent, créditer les états qui les ont façonnées

Les deux contributions en RL constituent la partie intéressante. Le rollout partiel sensible au contexte (context-aware partial rollout) ramifie une trajectoire uniquement aux moments où une modification du contexte a réellement changé l’état, au lieu d’explorer chaque action de manière uniforme. L’attribution de crédit à grain fin propage ensuite les récompenses en aval vers les instantanés intermédiaires qui ont façonné chaque résultat — des avantages au niveau des actions plutôt qu’une récompense unique au niveau de la trajectoire répartie sur toutes les modifications.

Les chiffres, avec la réserve habituelle

Chaque chiffre ci-dessous est fourni par l’éditeur dans l’article et n’a pas encore été reproduit de manière indépendante. Sur quatre benchmarks de contexte long — NovelQA, ∞Bench (English MC), LongMemEval-S et BrowseComp+ — le 14B affiné par RL obtient en moyenne 72,20, contre 70,60 après SFT seul. La comparaison qui compte : un Qwen3-14B non affiné évalué avec un contexte de 128K obtient en moyenne 53,26, soit près de 19 points de moins qu’un modèle fonctionnant dans un quart du contexte. Face à StateLM-14B-RL, le meilleur baseline précédent à 70,11, ContextPilot conserve une avance d’environ 2,1 points (Source : OrcaRouter — ContextPilot-14B : la sortie discrète d’un agent à poids ouverts de Tencent).

Le passage par RL vaut environ 1,6 point en moyenne, avec son plus grand gain sur le benchmark le plus difficile (BrowseComp+, +2,4). La lecture honnête est que le titre n’est pas le score brut — c’est l’affirmation d’une « performance supérieure avec un contexte de travail plus compact », l’efficacité plutôt que le plafond.

La licence est le vrai signal

Les poids sont « ouverts » mais pas permissifs. La licence personnalisée reproduit Apache-2.0 et ajoute une clause limitant l’utilisation à la recherche et au développement scientifiques — vous pouvez l’affiner et l’étudier, mais pas le déployer dans un produit ni le vendre comme service sans un accord séparé avec Tencent. C’est aussi pourquoi aucun fournisseur d’inférence ne le propose aujourd’hui sous forme d’API. C’est d’abord un artefact de recherche, ensuite un modèle utilisable.

Cela s’inscrit dans le contexte de la poussée des runtimes d’agents open source que TAR suit, du DeepSeek Harness au tour d’horizon des outils d’agents open source. La contribution de ContextPilot est plus étroite mais ciblée : si le coût d’un agent à long horizon est dominé par le contexte, un modèle capable d’élaguer son propre contexte tout en maintenant sa précision est un véritable levier — le même compromis que les agents de codage à mémoire continue et les systèmes de mémoire sémantique attaquent du côté de la mémoire.

FAQ

Q : ContextPilot-14B est-il un nouveau modèle de fondation ? R : Non. Il s’agit d’un affinage de Qwen3-14B (environ 15 Md de paramètres) entraîné spécifiquement pour gérer son propre contexte de travail par RL.

Q : Puis-je l’utiliser en production ? R : Pas avec la licence actuelle. Elle est réservée à la recherche — vous pouvez l’étudier et l’affiner, mais un déploiement commercial nécessite un accord séparé avec Tencent.

Q : Les chiffres des benchmarks sont-ils vérifiés de manière indépendante ? R : Non. Tous les chiffres sont fournis par l’éditeur dans l’article. Aucun tiers ne les a encore reproduits via un banc d’essai public.

Q : Comment l’exécuter ? R : Auto-hébergez-le pour la recherche via vLLM ou SGLang avec un endpoint compatible OpenAI, en utilisant le code et les scripts d’évaluation du dépôt GitHub Tencent/ContextPilot.

ContextPilot-14B : l'agent open-weight de Tencent qui gère son propre contexte