TL;DR
Memorilla apprend à présenter des tokens de mémoire dépendants de la requête à un modèle de langage figé. Ses auteurs rapportent des résultats de premier plan sur cinq des huit benchmarks évalués avec 16 tokens dans des expériences supervisées, mais l’approche perd certains détails exacts et nécessite des poids de modèle ouverts compatibles. Son expérience sur agent ajoute huit tokens de mémoire à un historique complet plutôt que de remplacer cet historique.
Introduction
L’historique utile d’un agent peut croître plus vite que son budget de contexte. Ajouter chaque conversation, document et action précédente à chaque prompt augmente le coût et peut noyer les informations pertinentes. La recherche d’informations aide, mais un fait utile peut être réparti sur plusieurs documents ou exprimé dans des termes qui ne ressemblent pas à la requête actuelle.
Le projet de recherche Memorilla explore une autre approche : représenter la collection en dehors du modèle et générer un petit ensemble de tokens de mémoire appris pour chaque question. L’article a été soumis pour la première fois en octobre et révisé le 3 novembre. Ses résultats sont issus d’expériences de recherche : ils ne garantissent pas que cette approche améliorera n’importe quel agent en production. (Source : arXiv — Memorilla: Latent Semantic Memory for LLMs)
Comment la mémoire est construite
Les auteurs décrivent un encodeur figé qui transforme les documents entrants en embeddings réutilisables. Un module de mémoire entraîné lit la question et la collection stockée, puis fournit un nombre fixe de tokens dépendants de la requête dans l’espace d’embedding d’entrée du modèle de langage. Le modèle de langage lui-même reste figé pendant l’entraînement du module de mémoire. (Source : Memorilla project — Method)
Cela ne revient pas à simplement résumer l’historique d’un utilisateur en 16 mots ordinaires. Les tokens appris sont des entrées du modèle produites par le module de mémoire ; leur contenu n’est pas nécessairement lisible par un humain. Le nombre d’emplacements est configurable. Seize fait référence aux expériences supervisées décrites par les auteurs, et non à une limite universelle pour tous les usages.
Cette distinction a des conséquences pour le déploiement. Un système de recherche textuelle peut montrer les passages fournis au modèle. Une représentation latente peut compresser davantage l’information, mais il devient plus difficile de remonter d’une réponse à sa source. Les applications qui exigent des citations ou une piste d’audit peuvent nécessiter un mécanisme supplémentaire de recherche et de vérification.
Les gains sur les benchmarks sont de vraies mesures, pas des victoires universelles
Sur FactKG, l’article rapporte une précision de 84,33 % pour Memorilla contre 80,43 % pour l’inférence en contexte complet, avec 108 fois moins de tokens de document. Le résumé indique que le système devance les baselines évaluées sur cinq des huit benchmarks. (Source : arXiv — Memorilla abstract)
La page du projet rapporte une précision de 44,60 % sur PersonaMem-v2 contre 27,92 % pour le contexte complet et 30,90 % pour sa baseline évaluée la plus forte, xRAG. Elle divulgue également un fine-tuning supplémentaire spécifique au benchmark pour PersonaMem-v2 et PersonalizationV4. Cette précision compte : les scores reflètent la configuration d’entraînement et d’évaluation spécifiée, et non un module de mémoire prêt à l’emploi entraîné une fois pour toutes les tâches possibles. (Source : Memorilla project — Results)
Les échecs sont tout aussi instructifs. Sur PubMedQA, le projet rapporte 59,00 pour Memorilla contre 69,00 pour sa meilleure baseline, LLMLingua-2. Les auteurs notent que lire directement une source courte peut être préférable. Un système conçu pour compresser de longues collections ne surpasse pas automatiquement l’accès direct lorsque les preuves sont déjà compactes. (Source : Memorilla project — Results)
La latence dépend de l’expérience
Pour 512 documents, le projet rapporte 0,74 seconde pour Memorilla contre 19,9 secondes pour le contexte complet. La configuration divulguée utilise Qwen3-8B, une taille de lot de un et un seul H100 avec 80 Go de mémoire ; le contexte complet utilise YaRN. La page avertit également que les temps dépendent de la pile de serving. (Source : Memorilla project — Measured serving cost)
Il s’agit d’une comparaison convaincante pour cette configuration, et non d’un accord de niveau de service universel. L’encodage des documents, l’hébergement du module de mémoire, l’utilisation du matériel, le batching, les requêtes concurrentes et le travail d’intégration influent tous sur les coûts réels. Une équipe de production devrait mesurer la latence de bout en bout et le coût en dollars, y compris l’ingestion, plutôt que de convertir directement un résultat sur un seul GPU en facture cloud.
Les affirmations de compression ont aussi besoin d’un dénominateur. Les comparaisons de tokens de document du projet excluent la requête et les instructions partagées. Elles ne doivent pas être interprétées comme une réduction du prompt entier, du coût total d’inférence ou du stockage par le même facteur.
Le test sur agent ajoute de la mémoire à l’historique
Dans TextWorld, les auteurs utilisent un agent Qwen3-4B figé et huit tokens de mémoire appris. Le projet indique que les deux agents comparés lisent le même historique complet, isolant ainsi ce que la mémoire supplémentaire apporte. Le taux de réussite moyen sur les parties de validation passe de 18,6 % à 24,2 %. (Source : Memorilla project — Memory for agents)
C’est la preuve que la mémoire apprise peut aider un agent à exploiter son historique dans cette suite de jeux particulière. Ce n’est pas la preuve que les huit tokens remplacent tout l’historique des actions, ni que le système apprend de manière fiable dans des environnements sans rapport. Les auteurs notent que l’expérience est limitée à une seule suite et à des épisodes d’au plus 50 tours.
Par où un pilote de production devrait commencer
Le projet indique que le module de mémoire écrit directement dans les embeddings d’entrée, ce qui nécessite des poids de modèle ouverts et un module entraîné pour chaque modèle. Ses expériences associent des encodeurs et décodeurs Qwen sur du texte, laissant le transfert entre familles de modèles et modalités non testé. Les noms exacts et autres détails fins peuvent être perdus. (Source : Memorilla project — Current limits)
Une évaluation comparerait le contexte complet, la recherche d’informations et la mémoire apprise sur les mêmes tâches de validation, en examinant aussi le coût d’ingestion, la confidentialité, les faits manquants et leur provenance. Une approche hybride pourrait être prometteuse, mais la borne supérieure calculée par les auteurs est une estimation oracle, pas le résultat d’un système hybride déployé.
FAQ
Les 16 tokens de mémoire sont-ils un résumé en texte brut ?
Non. Ce sont des entrées apprises dans l’espace d’embedding du modèle. Le nombre est configurable et décrit une configuration expérimentale supervisée.
Memorilla a-t-il remporté tous les benchmarks ?
Non. Les auteurs rapportent le meilleur résultat sur cinq des huit benchmarks évalués et divulguent des performances plus faibles sur d’autres, notamment PubMedQA.
Peut-il être ajouté à n’importe quelle API de modèle hébergé ?
Pas tel que décrit : écrire directement dans les embeddings d’entrée nécessite des poids ouverts compatibles et un module de mémoire spécifique au modèle.
L’expérience sur agent a-t-elle remplacé l’historique complet ?
Non. Le projet indique que les deux agents comparés recevaient l’historique complet ; l’expérience a mesuré l’effet de l’ajout de huit tokens de mémoire appris.
Pour aller plus loin
— The Agent Report