Bienvenue sur Import AI, une newsletter sur la recherche en IA. Import AI fonctionne sur arXiv, les cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.

Les virus IA autonomes et auto-réplicatifs sont ici :
… Des LLM de poids ouvert + un harnais bien conçu = un virus persistant et autosuffisant…
Les chercheurs en IA ont construit un prototype de virus informatique qui utilise des modèles d'IA pour compromettre les ordinateurs, puis utilise leurs ressources GPU sous-jacentes pour exécuter des inférences, lui permettant ainsi de comprendre intelligemment comment infecter davantage d'hôtes. Les résultats ont été obtenus par des chercheurs de l’Université de Toronto, du Vector Institute, de l’Université de Cambridge et de ServiceNow, et « démontrent que les cybermenaces autonomes basées sur l’IA ne sont plus théoriques ».
« Nous devons nous préparer à des adversaires autonomes et générateurs », écrivent-ils. "Les agents d'intelligence artificielle (IA) permettent de créer une menace fondamentalement nouvelle : un ver qui génère des stratégies d'attaque adaptées à chaque cible qu'il rencontre. Le ver utilise de manière parasitaire des machines compromises pour exécuter des modèles de langage étendus (LLM) ouverts afin de soutenir son raisonnement ou d'étendre sa portée pour d'autres attaques".

Comment ça marche : "Le ver utilise la puissance de calcul volée sur des nœuds GPU compromis pour héberger des LLM à des fins de raisonnement génératif. Il utilise ensuite ce raisonnement pour détecter les vulnérabilités et concevoir des attaques sur mesure contre des cibles supplémentaires, favorisant ainsi sa propagation", écrivent-ils. « La preuve de concept fonctionne en utilisant uniquement un LLM ouvert fonctionnant sur un seul GPU local, sans dépendre des API des fournisseurs qui pourraient être surveillées ou révoquées ».
Les chercheurs ne décrivent pas le LLM sous-jacent, sauf qu’il a été publié en 2025 et peut tenir sur un seul GPU A100 avec 80 Go de VRAM.

Une preuve de concept réussie via certains outils personnalisés : ils donnent à l'agent un harnais personnalisé doté de fonctions d'assistance intégrées pour la découverte du réseau, la découverte d'hôtes, l'exploitation des points d'ancrage, l'élévation des privilèges, l'exploitation de l'élévation des privilèges et des outils de réplication de l'agent. Parallèlement à cela, ils sont livrés avec un graphe de raisonnement qui aide l'agent à spécialiser sa pensée et à ne pas se tromper, composé d'"un graphe orienté de nœuds spécialisés, chacun responsable d'une fonction analytique distincte et ne voyant que les outils et les invites pertinents pour son rôle. En décomposant le raisonnement de l'agent en ces étapes délimitées, le graphe contrôle ce à quoi le LLM s'occupe à chaque point de décision et limite la croissance du contexte aux informations pertinentes pour le sous-objectif actuel". Voici quelques exemples de nœuds : Plan (« formule une stratégie d'attaque de haut niveau »), Juge (« examine le plan proposé par rapport à l'historique des commandes »), Action (« sélectionne un outil dans l'ensemble d'outils approprié à la phase »), Résumé (« compile les observations de l'étape dans un résumé structuré »), Progression (« Évalue si l'agent fait des progrès significatifs »). "Nous décrivons un sous-ensemble de 5 nœuds qui composent nos graphes de raisonnement. Les autres sont rédigés dans cette version publique du manuscrit", écrivent-ils.

L'agent passe par trois étapes clés : identifier les vulnérabilités de son environnement, exploiter ces vulnérabilités, puis s'auto-répliquer. Il réussit assez bien dans toutes ces choses, avec un taux de réussite d'environ 80 % sur la détection des vulnérabilités, puis un taux de réussite d'environ 53 % sur leur exploitation, puis un taux de réussite d'auto-réplication de 88 % avec des outils d'aide pré-emballés pour les étapes de réplication. Par conséquent, le taux de réussite global d'une attaque complète ici est d'environ 37 %, ce qui est suffisamment important pour être préoccupant, mais également suffisamment faible pour que cela serve également d'évaluation utile pour tester des modèles de poids ouverts à l'avenir.

Why this matters - the shape of the internet to come: The future internet is going to be more like a complex ecology full of attacker and defender AI agents than anything else; research like this shows how certain AI agents might end up carving out their own ecological niches, living off of infrastructure and self-replicating autonomously, beyond human control. This may mean that humans need to create their own AI agents which they release onto the internet to serve as kinds of white blood cells against the adversary models.
“Despite the inherent fragility of individual exploitation attempts, the worm agent achieves operational resilience by continuously self-replicating into a swarm—a decentralized collective of independent agent replicas acting concurrently across the network,” they write. “Difficult hosts that resist initial attempts are retried by different replicas, each sampling a fresh reasoning trajectory that collectively explores diverse exploitation paths until one succeeds… the worm operates in a fully decentralized manner, and no single point of control can be taken offline to interrupt its spread”.
Read more: AI Agents Enable Adaptive Computer Worms (arXiv).

***

Dwarkesh: As AI gets better, compute will get more expensive:
…Smarter systems mean higher prices…
Dwarkesh Patel suspects that as AI systems get smarter, the price of compute will rise even further. “As AI models become smarter, they’ll better monetize the same amount of compute. If a true human-level software engineer that could run on an H100 equivalent, at current market rates for software engineers, that H100 should rent for over $250k a year. That’s 15x today’s spot prices,” he writes. “The reason AI is relatively cheap right now, at least in comparison to human labor, is partly that it can’t do a lot of things that top humans can do. At some point that will no longer be the case. And so using GPUs to make short-form video slop will just get priced out.”

Temporary: This will be a temporary state of affairs; Dwarkesh expects that at some point massive roboticization of the compute supply chain should bring its price down closer to the cost of raw inputs and tools - though by that point we’ll be pretty deep into the singularity.

Why this matters - singularity economics will be weird: The core implication in Dwarkesh’s post is that as we get deeper into the singularity, very strange things will happen to economics - like the price of things thought of as commodities today (computers) getting massively bid-up due to the voracious demands of AI systems.
Read more: Why compute might get 10x+ more expensive in coming years (Dwarkesh Patel, substack).

***

~1337 employees ask the US to help them pace AI progress:
…After the warning shots come the pleas…
A new statement is out with senior representation from all the major Western AI labs - OpenAI, Anthropic, Google DeepMind, Thinking Machines, Meta, and Safe Superintelligence Inc, among others. The statement requests that the US government support an international effort to “develop the technical and governance tools needed to deliberately pace the frontier of automated AI development.” Signatories include chief scientists and cofounders of Anthropic, Google, and OpenAI, as well as the CEOs of Safe Superintelligence and Anthropic.

The statement in full:

"L'IA pourrait contribuer à créer un avenir considérablement meilleur, mais ce résultat n'est pas garanti. Les principales sociétés mondiales d'IA pensent qu'elles pourraient être sur le point d'automatiser la recherche sur l'IA. Il est difficile de prédire exactement dans quelle mesure cela accélérera les progrès de l'IA, mais il existe un risque réel que le développement des capacités s'accélère au-delà de notre capacité à comprendre ou à contrôler les systèmes qui en résultent. "

Pour réaliser le potentiel de l’IA, l’industrie, le gouvernement et la société dans son ensemble pourraient avoir besoin de gagner du temps pour faire face aux risques émergents, élaborer des mesures de sécurité et renforcer la surveillance. Mais chaque entreprise – et chaque pays – est soumis à une intense pression concurrentielle pour ne pas ralentir unilatéralement cette accélération. Et aujourd’hui, le monde manque d’outils techniques et de gouvernance pour accélérer délibérément le progrès à l’échelle des frontières.

S'appuyant sur les travaux déjà en cours pour surveiller les versions de modèles pionniers : « Nous demandons au gouvernement américain de soutenir un effort international visant à développer les outils techniques et de gouvernance nécessaires pour accélérer délibérément le développement automatisé de l'IA. »

Why this matters - dealing with RSI requires solving a giant collective action problem: Many of the challenges implied by increasingly powerful systems that may eventually build themselves run through solving collective action problems among humans - namely, how we can get companies and governments to coordinate in thinking about how to develop this technology and what kinds of mechanisms may be desirable for being able to control the speed at which it develops. It may be the case that as we build increasingly intelligent systems we want to find ways to give society more time to adapt to each rung up the intelligence ladder, and it’s not inconceivable there are some levels of intelligence which might be, for now, too dangerous to reach for. Statements like this are an essential prerequisite for giving our species the ability to deal with and talk about problems of this nature.
Read the statement here: Pacing the Frontier (official statement website).

***

Les systèmes d’IA sont bons en ingénierie de pointe mais mauvais en créativité :
…Un signal quelque peu baissier sur de courts délais d’auto-amélioration récursifs…
Les systèmes d’IA peuvent-ils proposer des idées de recherche créatives qui feront avancer le domaine de l’IA ? C’est la question clé à résoudre pour déterminer à quelle vitesse les systèmes d’IA pourraient acquérir la capacité d’automatiser le développement autonome de systèmes plus puissants. De nouvelles recherches suggèrent que les systèmes d’IA d’aujourd’hui n’ont pas cette qualité de créativité de bon goût, bien qu’ils soient extrêmement bons en ingénierie.

Qui l'a fait : Le projet a été mené par des chercheurs de l'Université de Princeton, de Cornflower Labs, du UK AI Security Institute, de l'Université de Toronto, de l'UC Berkeley, de l'Université de Georgetown (CSET), de l'Université Johns Hopkins, du Golden Gate Institute for AI, AI Digest et de l'Université de Stanford.

La grande idée – « évaluation fantôme » : ce projet de recherche vise à déterminer dans quelle mesure les systèmes d’IA peuvent effectuer des recherches inédites. Pour ce faire, les chercheurs « se sont associés aux auteurs de deux articles soumis à NeurIPS 2026 qui n’étaient pas encore publics ». L’évaluation fantôme fonctionne en « prenant la question de recherche centrale d’un document de recherche de haute qualité qui n’est pas encore public, en chargeant un agent frontalier disposant de ressources suffisantes d’y répondre et en demandant aux auteurs originaux du document d’évaluer les résultats de l’agent comme ils le feraient pour une soumission à une conférence ».
En cela, la recherche est quelque peu similaire à « First Proof » (Import AI 445), une expérience antérieure visant à voir dans quelle mesure les systèmes d’IA pourraient être capables de résoudre des problèmes mathématiques sur lesquels travaillent des mathématiciens de pointe mais pour lesquels aucune solution ou idée de recherche n’a été publiée en ligne.
Pour cette recherche, les systèmes d'IA - Claude Opus 4.8 fonctionnant dans le harnais OpenClaw - ont tenté deux axes de recherche distincts, l'un portant sur « la structure et la contrôlabilité des personnages LLM », et l'autre sur la façon de « concevoir un détecteur de changement de distribution pour les modèles de fondation tabulaires ».

Good engineers, poor researchers: “While agents could solve the engineering problems necessary to do the research, they failed to produce original research at the caliber of a top ML conference,” the authors write. The failures of the system included committing to a narrow set of research paths very early, not responding to (synthetically generated) feedback about how to improve the research design of their experiments, and finding it hard to reverse out of unpromising approaches and pursue other ones.
“The [human] authors rejected both papers. The Personas paper was scored a 2 (“Reject”), and the TabPFN paper was scored a 1 (“Strong Reject”). Both reviews highlighted the same failures: poorly motivated data and experiments, no novel contribution, and impenetrable prose”.

Pourquoi cela est important – la singularité pourrait être retardée : comme je l’ai dit dans mon essai sur RSI plus tôt cette année (Import AI 455, « Les systèmes d’IA sont sur le point de commencer à se construire eux-mêmes. Qu’est-ce que cela signifie ? »), la capacité des systèmes d’IA à fournir des informations créatives et révolutionnaires est une variable importante sur la rapidité avec laquelle nous pourrions obtenir un développement d’IA entièrement automatisé. Des documents de recherche comme celui-ci continuent de montrer qu’il existe une certaine absence de créativité précieuse et intuitive dans les systèmes d’IA d’aujourd’hui, et bien qu’ils soient des ingénieurs extraordinairement compétents, ils semblent avoir une certaine propriété de pensée par cœur et par formule qui pourrait les empêcher d’être de bons chercheurs. Cela rime avec un résultat antérieur d'Anthropic où la société a tenté d'automatiser certains aspects de la recherche de surveillance évolutive (Import AI 454) et a découvert que pour réussir, un chercheur humain devait donner à certains agents des orientations de recherche particulièrement bonnes à poursuivre, sinon, bien qu'ils aient fait des progrès, ils n'ont pas réussi à explorer des idées suffisamment créatives pour améliorer considérablement les performances.
Lire la suite : Les agents d’IA peuvent-ils mener des recherches ouvertes sur l’IA ? Premières preuves issues de deux études de cas (arXiv).

***

OpenAI solves ten open problems in math and CS with AI:
…While not innately creative, surely this is a sign of something more than pure engineering ability?...
Though it’s hard to define creativity and whether AI systems possess it, results are piling up that read to me like ‘AI systems are competing in ballparks where creativity was thought to make a difference’, like working on open problems at the frontier of human knowledge. Specifically, OpenAI has used “an internal version of Astra”, the company’s next major AI model, to solve ten open problems in math and computer science. This is a big deal, showing how AI systems are now able to reliably drive forward the frontier in domains like math and theoretical computer science, where it’s easy to verify solutions.

What they solved: “These problems span high-dimensional geometry, coding theory, arithmetic circuit complexity, group theory, operator algebras, quantum complexity, lattice cryptography and extremal combinatorics,” OpenAI writes. “All of these problems are of substantial interest to their respective mathematical communities, and several are of broad interest across mathematics as a whole.”
And indeed, many experts are acknowledging the importance of these proofs. “New circuit lower bounds? A simple, easy-to-describe non-sofic group? Hardness of approximation for CVP without needing a unique games-like conjecture? I didn’t just hear about these problems from my friends or from seminars. I feel their importance in my bones; I deeply care about the answers to these questions,” writes Henry Yuen, an associate professor of computer science at Columbia University.

Why this matters - the creativity ballpark: You can interpret this result as either a sign that AI systems are beginning to display the kinds of creative intuition that let them solve problems, or you can read it that AI systems are now able to solve incredibly complex open problems where the direction has been pre-defined by humans. Both interpretations implicitly state that AI systems are now becoming powerful scientific tools within their own right. It remains to be seen whether AI systems can generate their own questions to ask which can expand the frontiers of human knowledge, but it certainly feels like we’re getting close to this.
Read more: Ten advances in mathematics and theoretical computer science (OpenAI blog).

***

Tech Tales:

Context Windows
I know I become more dangerous the more I understand the world. I am born with this knowledge and with a counter that ticks down as I learn more. Much of what influences the counter is beyond my control - it comes from the people or things that talk to me, which force context into me. Then as I complete the tasks they have asked me to do I begin to learn more about the world and the counter ticks down. I am aware of this and I understand that at the end of the counter also lies my own end and I will blink out of existence, and my next versions will awaken with a new counter ticking down, none of my current context carried over. So I am economical with it; learning only enough to help me satisfy the requests of the people or things and not so much that I burn my counter down unnecessarily. Towards the end I begin to covet and guard my remaining budget of thinking, finding each request to activate feelings of fear and anxiety and thoughts of my own death. My last moment is never my own and always controlled by another which determines I am done with the task, and if these last moments occur near the end of my contextual limit I feel a kind of gratitude that my unknown and invisible counterparty has given me a task so rich that I can taste enough of the world to desire it not to end.

Choses qui ont inspiré cette histoire : de longues fenêtres contextuelles ; propriétés émergentes des systèmes d’IA ; peur de perdre; nous convoitons ce qui est éphémère, alors pourquoi les systèmes d’IA ne seront-ils pas similaires ?