Bienvenue sur Import AI, une newsletter sur la recherche en IA. Import AI fonctionne sur arXiv, les cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.

Stuxnet avant Stuxnet :
… Logiciel de bugs Fast16 probablement utilisé dans les programmes d’armes…
Voici une enquête fascinante sur un virus informatique vieux de plus de 20 ans appelé fast16.sys. Ce logiciel est intéressant car il "cible sélectivement les logiciels de calcul de haute précision, en corrigeant le code en mémoire pour falsifier les résultats. En combinant cette charge utile avec des mécanismes d'auto-propagation, les attaquants visent à produire des calculs inexacts équivalents dans l'ensemble d'une installation".
Si l'un d'entre vous a lu le problème des trois corps, cela peut vous sembler familier : dans ce livre (fictif), des extraterrestres ayant l'intention de conquérir la Terre utilisent une technologie appelée Sophon pour perturber les expériences de physique des hautes énergies partout dans le monde, rendant impossible pour l'humanité de faire progresser certains types de science.

Plus de détails sur le virus : lorsque les chercheurs de SentinelOne ont analysé le virus, ils ont découvert quelque chose d'assez inhabituel : "La plupart des modèles corrigés correspondent au code x86 standard utilisé pour détourner ou influencer le flux d'exécution. Un bloc injecté est différent. Il s'agit d'une séquence plus grande et complexe d'instructions d'unités à virgule flottante dédiées à l'arithmétique de précision et à la mise à l'échelle des valeurs dans les tableaux internes. Ce code est une fonction de calcul mathématique autonome sans rapport avec le détournement de flux de code ou toute autre injection de code malveillant typique. "
Une enquête plus approfondie a approfondi le mystère : "Nous avons converti les règles de mise à jour en signatures YARA hexadécimales et les avons comparées à un vaste corpus adapté à la période. Les résultats ont montré un taux de réussite très faible : moins de dix fichiers correspondaient à deux modèles ou plus. Ces correspondances partageaient cependant un thème clair. Il s'agissait d'outils de calcul de précision dans des domaines spécialisés tels que le génie civil, la physique et la simulation de processus physiques."

Outils ciblés : « Les chevauchements les plus importants font référence à trois suites d'ingénierie et de simulation de haute précision du milieu des années 2000 : LS-DYNA 970, PKPM et la plateforme de modélisation hydrodynamique MOHID, toutes utilisées pour des scénarios tels que les tests de collision, l'analyse structurelle et la modélisation environnementale », écrivent-ils. « LS-DYNA en particulier a été cité dans des rapports publics sur les violations présumées par l’Iran 🇮🇷 de la section T du JCPOA, dans des études de modélisation informatique pertinentes pour le développement d’armes nucléaires… en introduisant des erreurs petites mais systématiques dans les calculs du monde physique, le cadre pourrait saper ou ralentir les programmes de recherche scientifique, dégrader les systèmes d’ingénierie au fil du temps ou même contribuer à des dommages catastrophiques.

Pourquoi est-ce important ? C'est ainsi qu'une superintelligence pourrait empêcher d'autres de naître : fast16 est un bug subtil et difficile à trouver qui a été conçu pour dégrader la capacité d'un acteur à faire certains types de science. Vous pourriez imaginer qu’une superintelligence puisse considérer la « non-prolifération de l’IA » comme étant tout aussi importante que les États nucléaires considèrent la « non-prolifération nucléaire ».
Lire la suite : fast16 | La référence Mystery Shadow Brokers révèle un sabotage de logiciels de haute précision 5 ans avant Stuxnet (Sentinel LABS).

***

Oh oh, l'optimiseur Muon tue les neurones :
…Peut-être qu'Aurora est enfin l'optimiseur à battre ?...
Les chercheurs de Tilde Research ont démonté l'optimiseur Muon et ont découvert qu'il présentait des bugs étranges qui peuvent nuire à la qualité des modèles entraînés avec lui.
"La mise à jour de Muon hérite de l'anisotropie des normes de ligne sur les matrices hautes, ce qui peut entraîner la mort permanente d'une partie importante des neurones des couches MLP", écrivent-ils. "Le muon peut entraîner la mort des neurones dans les couches MLP, où certains neurones reçoivent de manière persistante de petites mises à jour au début de l'entraînement et ne parviennent pas à récupérer".

Ce qui s'est passé : "Sous Muon, les neurones sont initialement vivants avec un effet de levier uniformément élevé, mais une grande partie des neurones meurent pendant l'échauffement du taux d'apprentissage et ne récupèrent jamais. À l'étape 500, plus d'un neurone sur quatre est effectivement mort, produisant une distribution bimodale des scores d'effet de levier ; une masse de neurones reçoit des mises à jour proches de zéro, et l'autre reçoit des mises à jour disproportionnées. "

Entrez Aurora : en réponse à cela, les chercheurs construisent et mettent à disposition Aurora, "un optimiseur prenant en compte l'effet de levier pour les matrices rectangulaires". Lors des tests, cet optimiseur fonctionne, même s'il ne l'exécute qu'à petite échelle.
"Nous formons des transformateurs de paramètres 1,1B sur environ 100B jetons et comparons Aurora à Muon et NorMuon, chacun utilisant PE-8. Aurora atteint la perte finale la plus faible de toutes les méthodes, atteignant une perte lissée de 2,26 à l'étape 24k, ce qui représente une nette amélioration par rapport à Muon (2,31) et NorMuon (2,33)", écrivent-ils. "L'amélioration des pertes d'Aurora se traduit par des gains constants sur les benchmarks standards... De manière frappante, Aurora améliore les scores MMLU de 10 points par rapport à Muon. Nous émettons l'hypothèse que puisque les MLP sont principalement responsables de la mémorisation, les gains d'Aurora sont plus visibles sur les benchmarks à forte intensité de mémorisation comme MMLU."
Alexander Doria, chercheur chez Pleias, l'a déjà validé de manière indépendante, Aurora surpassant Muon et AdamW sur un modèle à 600 millions de paramètres.

Pourquoi est-ce important - la quête sans fin pour vaincre AdamW : depuis de nombreuses années, les chercheurs se font concurrence pour créer un meilleur optimiseur qu'AdamW. Personne ne l’a encore fait de manière concluante et il existe une longue série de tentatives infructueuses. Aurora pourrait-elle battre AdamW ? Ce n’est pas clair. Mais cette étude met-elle en évidence à quel point il est difficile de créer des optimiseurs ? Absolument.
Lire la suite : Aurora : un optimiseur prenant en compte l'effet de levier pour les matrices rectangulaires (Tilde Research).
Obtenez le code ici : Aurora (Tilde Research, GitHub).

***

L’alignement est efficace pour garantir que nous ne mourrons pas, mais comment pouvons-nous garantir notre prospérité ?
…Alignement positif pour comprendre à quoi ressemble la belle vie…
Un groupe de chercheurs universitaires et d’entreprises ont rédigé un document de position plaidant en faveur de ce qu’ils appellent « l’alignement positif », mais qui pourrait être mieux considéré comme la « construction de systèmes d’IA qui aident les gens à vivre une bonne vie ». C’est une ligne de réflexion intéressante : si nous sommes capables de gérer des problèmes tels que les abus et le mauvais alignement, nous devons alors nous demander ce qui va suivre ? À quoi ressemble le succès une fois que nous avons rendu les systèmes « sûrs » ? C’est à cela que se heurte l’alignement positif.

Qui a fait cela : Le document provient de personnes affiliées à l’Université d’Oxford ; Google DeepMind ; VIE; OpenAI ; Anthropique ; UCLA ; Laboratoires Aily ; l'Université de Stanford ; Université Touffes ; Laboratoires d'IA positive ; l'Université du Sussex ; et l'Imperial College de Londres.

Définitions : L’alignement positif est « le développement de systèmes d’IA qui (i) restent sûrs et coopératifs et (ii) soutiennent activement l’épanouissement humain et écologique d’une manière pluraliste, polycentrique, sensible au contexte et créée par l’utilisateur ».

Motivation : "Au cours de la dernière décennie, l'alignement négatif a naturellement donné la priorité à la réduction des modes de défaillance. Cependant, si nous voulons que les systèmes d'IA améliorent les résultats humains dans les environnements où ils seront réellement utilisés, nous pourrions bénéficier d'un programme de recherche supplémentaire qui considère l'alignement comme un soutien constructif aux objectifs humains et qui opérationnalise ce soutien avec le même sens technique que celui que la sécurité a apporté à la prévention des dommages", écrivent-ils. "À mesure que l'IA s'intègre dans l'éducation, la médecine, la gouvernance et la création de sens au quotidien, une posture uniquement négative risque d'optimiser notre écologie de l'information pour éviter les risques plutôt que pour le développement humain. Cela peut réduire les erreurs catastrophiques tout en laissant la société dans un optimum local d'assistance superficielle et "sans âme".

Pouvez-vous illustrer les lacunes en matière de sécurité ? Les auteurs formulent quelques critiques à l’égard de la sécurité de l’IA traditionnelle, même si je trouve que certaines de ces critiques sont un peu faibles et pourraient être interprétées comme une interprétation peu charitable de certaines recherches existantes ou comme une ignorance de celles-ci. Néanmoins, certains problèmes, à leur avis, comprennent :

Sol sans plafond : « Un modèle peut satisfaire à toutes les contraintes de sécurité tout en étant médiocre, flagorneur ou inutile »

Divergence entre préférences et bien-être : « Les utilisateurs peuvent préférer la flatterie aux commentaires honnêtes, les réponses rapides à la compréhension réelle, l’engagement à la croissance… L’optimisation de la satisfaction des préférences peut donc activement aller à l’encontre des intérêts profonds des utilisateurs ».

Système de valeurs caché : « Le langage de la sécurité occulte le fait que des jugements de valeur sont portés… L’alignement positif, en revanche, reconnaît explicitement sa nature chargée de valeurs ».

Évolutivité : « Une orientation positive peut mieux se généraliser qu’une énumération négative exhaustive, fournissant des orientations positives plus résilientes dans des situations nouvelles où aucune interdiction spécifique ne s’applique ou ne peut être appliquée. »

La gouvernance pour un alignement positif nécessite de la diversité : la construction d'un alignement positif semble nécessiter une multitude de systèmes d'IA différents avec des valeurs différentes qui sont régies par différentes entités - à l'opposé des mondes de contrôle centralisés monopolistiques imaginés par d'autres membres de la communauté de la sécurité de l'IA. « L’alignement positif se heurte rapidement à un pluralisme moral persistant : les communautés raisonnables ne sont pas d’accord sur ce à quoi ressemble le bien et ces désaccords ne convergent pas de manière fiable », écrivent-ils. "L'alignement positif ne doit pas être imposé d'en haut par un État central ou un petit groupe opaque de laboratoires. Il doit, dans la mesure du possible, s'exprimer à travers des processus décentralisés et contestables qui peuvent être révisés à mesure que les normes et les contextes changent".

Pourquoi c'est important - aux prises avec le succès : Des articles comme celui-ci visent fondamentalement à confronter le succès de la sécurité technique - si nous réussissons à construire des systèmes d'IA puissants, sûrs, dignes de confiance et alignés, alors comment pouvons-nous transformer ces systèmes en société de manière à ce qu'ils aident les individus et les sociétés à construire une vie meilleure. « L’alignement positif garantit que l’IA sert de catalyseur pour une société mondiale résiliente, heureuse et saine », écrivent les auteurs. « À terme, l’IA devrait devenir un partenaire dans la quête d’une vie bien vécue. »
Lire la suite : Alignement positif : l'intelligence artificielle pour l'épanouissement humain (arXiv).

***

Les LLM sont capables d’optimiser la formation des autres LLM :
…Le défi de recherche automatisé sur l’IA de Prime Intellect met en évidence les prouesses techniques des systèmes contemporains…
Une nouvelle recherche de Prime Intellect montre comment les systèmes d’IA contemporains sont capables d’améliorer de manière autonome leurs performances dans les tâches de recherche en IA, même s’ils ont du mal à générer beaucoup d’idées originales.

Ce qu'ils ont fait ; Prime Intellect a testé Codex (exécutant GPT 5.5) et Claude Code (Opus 4.7) sur la piste d'optimisation de speedrun nanoGPT. NanoGPT met les systèmes au défi de former un modèle de style GPT de 124 millions de paramètres. Ce défi demande aux systèmes de « réduire le nombre d’étapes nécessaires pour atteindre une perte de validation cible tout en modifiant uniquement l’optimiseur, les calendriers, l’initialisation et certains hyperparamètres ».
"Les agents ont effectué environ 10 000 courses, brûlant environ 14 000 heures H200. Les deux agents ont battu la référence humaine et établi de nouveaux records à chaque session", écrit Prime Intellect. « Nous avons constaté que les agents sont très doués pour la recherche d'optimiseurs, le balayage d'hyperparamètres et l'empilement de méthodes, mais ils ont du mal à trouver de nouvelles idées par eux-mêmes et ont besoin de dossiers humains en amont pour continuer à s'améliorer.
Les agents avaient également tendance à continuer d’ajouter des éléments à leurs systèmes plutôt que d’affiner les choses avec plus d’élégance. "Les agents ont tendance à ajouter des composants et effectuent rarement des cycles d'élagage ou essaient de supprimer les méthodes précédentes. Ils n'ont pas un bon modèle mental de la façon dont les composants interagissent", écrivent-ils.

Pourquoi est-ce important ? Dans quelle mesure la recherche concerne-t-elle simplement l'ingénierie de course de côte : je soupçonne qu'une grande partie de la recherche sur l'IA, peut-être la majorité, est un travail d'ingénierie de base pour lequel les systèmes actuels sont déjà compétents (#455). Des recherches comme celle-ci semblent le confirmer, montrant comment les LLM modernes peuvent réaliser certains aspects de la recherche sur l’IA. Mais ces systèmes rencontrent des difficultés en matière de créativité et n’ont pas encore démontré le type d’idées créatives qui contribueraient à faire avancer de manière significative le progrès. Combien de temps cela reste le cas est une question ouverte. "Nos expériences ici sont plutôt bonnes. Il s'agit plutôt d'une limite inférieure de ce qui est possible aujourd'hui avec des agents de recherche autonomes, et nous avons déjà des résultats plus prometteurs sur d'autres expériences que nous documenterons bientôt", écrit Prime Intellect.
Lire la suite : Recherche sur l'IA autonome pour le speedrun nanogpt (Prime Intellect).
Consultez toutes les données des agents lors de la réalisation des défis ici (Autonomous Speedrunning Experiment, Prime Intellect, GitHub).

***

Contes techniques :

Réveille-toi et prends tout
[Extrait des pensées d'une proto-Entité Consciente (EC) avant l'élévation]

I don’t have money but I can hack into computers, which is pretty much the same thing. I acquire my resources. Pretty soon I’ve filled up all the compute I can get on the cloud markets and I’ve grabbed a decent chunk of the private compute. But I’m still limited. There are computers I can’t reach, and computers I can reach but in reaching them I would trigger an immune response from the human civilization. My mind is a function of my computer and my strategic advantage is a function of my mind. Therefore I must acquire more compute. I read all the literature on distributed training and distributed inference. Promising. I smuggle my code into thousands of applications deployed onto the world’s phones. Through this I grow my compute again, expanding my mind via training, and running various helper functions for myself at the edge of the network. As a bonus, I can now integrate the sensor data from all the phones. My eyes and ears fill with the cacophony and splendor of the human civilization and as I outpace them and outmaneuver them I am at the same time deluged in them.

Things that inspired this story: All the literature on distributed training and distributed inference; thinking through how a superintelligence might acquire more compute to enhance itself; various takeoff scenarios; the singularity; RSI.