Superpersuasion ; IA autonome ; chemins vers l'ASI

Article Image
Bienvenue sur Import AI, une newsletter sur la recherche en IA. Import AI fonctionne sur arXiv, les cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.

L’IA peut largement convaincre les humains :
… « Les systèmes d'IA étaient de manière fiable plus convaincants que les experts humains »... Des chercheurs de l'Université d'Oxford, du UK AI Security Institute, de l'Université de Stanford et de la London School of Economics and Political Science, ont étudié dans quelle mesure les systèmes d'IA peuvent persuader les humains de changer d'avis sur les questions politiques et de modifier le montant d'argent qu'ils pourraient donner à des œuvres caritatives. Les résultats sont définitifs : à travers quatre expériences impliquant 18 978 conversations entre 6 923 personnes, les systèmes d’IA sont, aujourd’hui, meilleurs que les humains en matière de persuasion basée sur le texte avec des conséquences réelles – bien que les humains puissent leur être équivalents si nous imposons des contraintes artificielles aux systèmes d’IA. "Les systèmes d'IA étaient de manière fiable plus convaincants que les humains experts, même lorsque les humains experts choisissaient leurs problèmes, faisaient des recherches à l'avance, suivaient des heures de pratique structurée et étaient incités par des bonus en espèces de 1 000 £", écrivent-ils.

« L’avantage de l’IA résidait dans le déploiement rapide de plus grandes quantités d’informations : après un coaching, des humains experts pouvaient associer une IA contrainte à répondre à des vitesses humaines et avec des messages de longueur humaine. »
« L’avantage de l’IA s’étend aux comportements conséquents dans le monde réel : l’IA était près de 3 fois plus efficace que les solliciteurs professionnels d’une société britannique de collecte de fonds pour collecter des dons en argent réel pour Save the Children. »
Les plus convaincants étaient Opus 4.1 et Opus 4.6, suivis par une gamme de modèles d'OpenAI (GPT-4o et GPT-5.4), Google (Gemini 2.5 Pro) et xAI (Grok 4.20).

Ce qu'ils ont étudié et ce qu'ils ont trouvé : Les chercheurs ont évalué les systèmes d'IA dans quatre études différentes.
Étude 1 – persuasion : « Les personnes persuadées ont d’abord évalué leur accord avec l’une des 10 positions politiques britanniques prédéfinies sur une échelle de 0 à 100, puis ont été randomisées en temps réel (via une plateforme multijoueur personnalisée) pour engager une conversation textuelle avec une IA ou un persuasif humain », écrivent-ils. "Les résultats de l'étude 1 montrent qu'en moyenne, l'IA a dépassé toutes les classes de persuasions humaines que nous avons testées : des profanes choisis au hasard, des profanes sélectionnés lors d'un tournoi et même des débatteurs d'élite."

Étude 2 - coaching humain : Dans l'étude 2, les chercheurs "ont donné à 43 débatteurs d'élite de retour un outil de coaching construit autour de l'IA qui les avait battus. L'outil a permis aux débatteurs de discuter avec l'IA, de voir comment elle avait été invitée, de visualiser leurs propres transcriptions de l'étude 1 annotées avec à quel point chaque conversation avait changé l'attitude de la personne persuadée, et leur a permis de voir, pour n'importe quel point d'une transcription passée, ce que l'IA aurait dit à leur place". Les résultats de cette étude ont montré une amélioration des performances des humains, mais aucun d’entre eux n’était meilleur que l’IA. « Le coaching a donc réduit mais n’a pas comblé l’écart entre l’humain et l’IA. »

Étude 3 – IA contrainte : Ensuite, les chercheurs ont cherché à limiter l’IA pour essayer de donner davantage d’avantages aux humains. "Lorsqu'elle est obligée d'écrire des messages de longueur humaine à des vitesses d'écriture humaines, l'avantage de l'IA sur le comparateur humain le plus puissant de l'étude 2 (Coached Elite Debaters) s'est effondré, passant de +4,1 pp à 0,0 pp non significatif", écrivent-ils. « La vitesse à laquelle l’IA produit du contenu écrit est probablement la source de son avantage persuasif… les réductions les plus importantes des notes des partenaires persuadés après la conversation associées à une IA contraignante se sont concentrées sur les deux éléments d’information : la force perçue des arguments du partenaire et la quantité de persuadés ont estimé avoir appris de la conversation ».

Étude 4 : expertise du monde réel et argent réel : ils ont recruté 19 solliciteurs très expérimentés dans une entreprise britannique, puis ont tenté les mêmes tâches que dans l'étude 1. "L'IA dépassait toujours les solliciteurs professionnels de 5,9 pp". Cet effet a persisté lors de l'évaluation des dons en argent réel - les chercheurs "ont collaboré avec la société de prospection britannique AppcoUK pour centrer l'étude 4 sur la cause pour laquelle leurs solliciteurs étaient les mieux équipés pour collecter des fonds : Save the Children. L'équipe de prospection fournie par AppcoUK avait mené de véritables opérations de collecte de fonds pour l'association de 2016 à 2023, collectant 824 297 £ auprès de 22 583 donateurs au cours de cette période. sur 18 solliciteurs recrutés auprès d'AppcoUK, les personnes convaincues ont eu la possibilité de faire don d'une partie d'une prime d'étude de 1 £ à Save the Children ». Ici, les résultats étaient encore une fois significatifs : « L’IA a suscité beaucoup plus de dons en argent réel que les solliciteurs, les dépassant de +10,8 pp du bonus de 1 £ », écrivent-ils. AI a augmenté « à la fois la part des personnes convaincues qui ont fait un don et le don moyen parmi les donateurs ».

Pourquoi est-ce important ? Si l’IA peut nous convaincre, ceux qui la contrôlent peuvent changer la société : « Un effet de l’IA qui peut surpasser même les experts humains pourrait être une consolidation de l’influence parmi des acteurs déjà puissants », écrivent-ils. D’un autre côté, « si une persuasion hautement performante devenait bon marché et largement disponible, elle pourrait aider les acteurs disposant de ressources insuffisantes (par exemple, les plaideurs professionnels et les défenseurs publics, les petites organisations caritatives, les militants de base) à rivaliser avec des rivaux plus établis et mieux financés, réduisant ainsi les écarts de longue date en matière d’accès à la justice et soutenant le plaidoyer civique de manière plus large ». Cela nous place devant un choix de société : comment surveiller l’utilisation de l’IA à des fins de persuasion et comment voir comment ces capacités modifient l’équilibre des pouvoirs entre les différents acteurs. Voulons-nous laisser uniquement le marché allouer ces capacités ? C’est une façon d’y parvenir, même si cela implique que des choses comme la publicité et le marketing deviendront beaucoup plus efficaces, créant peut-être des externalités négatives. D’un autre côté, si l’on faisait des capacités de persuasion uniquement le domaine des gouvernements, on risquerait alors de concentrer le pouvoir au sein des gouvernements – ce qui pourrait être extrêmement dangereux s’il était utilisé par des régimes autoritaires pour se maintenir au pouvoir. Nous devrons faire des choix sur ce que nous voulons faire de cette technologie, et comme on dit en politique, « ne pas voter, c’est voter ».

"Nos résultats établissent que l'IA de pointe est un outil de persuasion conversationnel plus efficace que les humains les plus préparés, incités et experts que nous pourrions recruter. La formation des humains ne semble pas combler cet écart", écrivent-ils. « Alors que l’accès à ces systèmes continue de croître, la question n’est plus de savoir si l’IA peut surpasser les humains, mais comment, où et au nom de qui cette capacité sera exercée. »
Lire la suite : Les systèmes d’IA surpassent les experts humains (arXiv). Fil de discussion sur la recherche (Kobi Hackenburg, chercheur à l'AISI).

***

Quand pourrons-nous obtenir une IA autosuffisante ? Tout dépend des robots humanoïdes :
…Qu'est-ce qui vient après le RSI ? IA autonome…
J'ai passé une grande partie de cette année à écrire sur l'auto-amélioration récursive - l'idée selon laquelle nous pourrions bientôt construire des systèmes d'IA suffisamment intelligents pour qu'ils puissent concevoir de manière autonome leurs propres successeurs. Mais RSI a toujours besoin de centres de données et ces centres de données nécessitent des équipements, de l'électricité et tout le reste.
Une interview intéressante dans le magazine Asterisk pose la question de savoir quand nous pourrions obtenir une IA autonome, que l'une des personnes interrogées - Ajeya Cotra, prévisionniste et membre du METR, définit comme "des systèmes d'IA intégrés à l'infrastructure physique - usines, mines, usines de fabrication, robots pour faire fonctionner tout cela - de telle sorte qu'ils n'ont pas besoin d'apports cognitifs ou physiques du travail humain pour continuer à accroître leur propre population".

À quelle distance est-il ? Ajeya pense que nous pourrions obtenir une IA autonome d’ici 10 ans (donc d’ici 2036). L'autre personne interrogée, Timothy B. Lee, journaliste et auteur de Understanding AI, a des délais beaucoup plus longs : "moins de 10 % de chances que cela se produise d'ici 20 ans. Je dirais qu'il y a 10 ou 20 % de chances que ce ne soit jamais le cas, et ma médiane serait de 50 ans".

Quels sont les défis à relever - les connaissances tacites pourraient en être un : "Imaginez si tous les employés de l'ensemble de l'industrie des semi-conducteurs disparaissaient - les machines et les manuels scolaires restent, mais aucun des gens. Combien de temps faudrait-il au reste de l'humanité pour redémarrer les usines de fabrication ? Il est fort possible que cela prenne des décennies. Parce que même si vous disposez des manuels scolaires, il y a beaucoup de connaissances tacites à l'intérieur de ces machines", note Lee. La réponse d'Ajeya est que c'est quelque chose que la technologie pourrait contourner : "Il y a deux contre-courants à l'hypothèse de la connaissance tacite. L'une est que nous aurions formé des systèmes d'IA avec un apprentissage par renforcement sur ces connaissances tacites, car il est rentable d'automatiser ce que faisait le travailleur taïwanais. L'autre est que les IA pourraient devenir vraiment généralement intelligentes dans le sens de découvrir rapidement de nouvelles choses en les essayant, en lisant des manuels et en expérimentant efficacement. "

Quelles sont les choses dont les gens auraient besoin de voir dans les 2-3 prochaines années pour penser qu’une IA autonome pourrait bientôt arriver ?
Ajeya : « Je voudrais une ligne sur un graphique montrant l'amélioration des mains robotiques, et une autre ligne montrant la vitesse à laquelle nous fabriquons des robots humanoïdes », et du côté cognitif, je ferais simplement attention aux points de référence évaluant des choses comme la robustesse aux perturbations de l'environnement.
Timothée : « Je vais vouloir observer comment évoluent les robots humanoïdes : le nombre de robots, leurs capacités, et surtout leur coût et leur réparabilité ».

Pourquoi c’est important – une véritable prise de contrôle nécessite une redondance humaine : la plupart des visions catastrophiques maximalistes exigent que l’IA ait la capacité de ne plus avoir besoin des humains du tout, ce qui signifie que mesurer les progrès vers une IA autonome est important car il s’agit implicitement d’une mesure du déclin de l’influence dont disposent les humains dans la négociation avec les intelligences synthétiques en cours de construction.
Lire la suite : Combien de temps avant que l’IA n’ait plus besoin d’humains ?, Ajeya Cotra, Timothy B. Lee (magazine Asterisk).

***

DeepMind envisage le chemin qui mène de l’intelligence générale à la superintelligence :
…Explorer des futurs qui semblent impossibles est le seul moyen de se préparer au succès ultime de l’IA…
Des chercheurs de Google DeepMind ont publié un article décrivant comment nous pourrions passer d'un monde où nous avons construit des intelligences générales à un monde où nous avons construit des super intelligences. Il s’agit d’un article important qui arrive à un moment important : à l’heure actuelle, le monde construit des intelligences générales (et les gens peuvent se demander si nous avons déjà atteint ce cap ou non, mais il est clair avec les LLM contemporains que nous sommes dans la bonne voie), et dans les années à venir, nous pourrions passer à la construction d’une superintelligence artificielle (ASI).
ASI est « un système qui dépasse les performances des grands collectifs d’experts humains sur pratiquement toutes les tâches et domaines de l’activité humaine », écrivent les auteurs. "Qualitativement, l'ASI est nettement plus performante que l'AGI au niveau humain. Notez qu'un seul ASI peut être constitué d'un collectif de millions d'instances qui interagissent avec le monde en parallèle (similaire aux LLM d'aujourd'hui)."

Raisons de penser que l’ASI pourrait être possible : Une façon de penser à l’ASI est de la considérer comme un système d’IA puissant qui tire également parti de toutes les capacités des intelligences numériques par rapport aux intelligences biologiques, telles que : de meilleures vitesses d’entrée et de sortie ; vitesses de traitement internes ; capacité de mémoire de travail et mémorisation; indépendance du substrat ; réplication sans perte ; et le partage à large bande passante d'expériences (d'apprentissage).

Voies et goulots d’étranglement vers l’ASI :
Mise à l’échelle du calcul, des modèles et des données : la simple mise à l’échelle de l’ensemble des approches actuelles pourrait suffire. Cependant, cela nous oblige également à augmenter continuellement la quantité de calcul et de données pour ces modèles, ce qui peut se heurter à des limites en termes d'énergie et de fourniture de données. Bien que tous les signes antérieurs indiquent l’efficacité continue de la mise à l’échelle, nous ne pouvons ni prédire quelles capacités spécifiques émergeront ni si, à un moment donné, la mise à l’échelle se traduira par des rendements décroissants.

Changement de paradigme algorithmique : de la même manière que les architectures de transformateur et de mélange d'experts ont fait avancer le domaine de nombreuses années, la même chose pourrait se produire à nouveau avec d'autres innovations fondamentales. Nous pourrions imaginer, par exemple, des progrès dans le calcul adaptatif au moment du test ou du déploiement, ou encore surmonter les limites des fenêtres contextuelles actuelles. Si nous faisions des progrès ici ou dans d’autres domaines, cela pourrait être un gros problème, mais c’est intrinsèquement difficile à raisonner – un peu comme essayer d’anticiper des choses qui pourraient élargir notre compréhension de la nature de la réalité avant l’invention de la relativité générale.

Auto-amélioration récursive : il pourrait être possible pour les systèmes d’IA de créer leurs propres systèmes successeurs. Si tel est le cas, nous pourrions alors passer rapidement des intelligences générales aux superintelligences. Il y a quelques jokers ici – personnellement, il est évident pour moi que les systèmes d’IA d’aujourd’hui accélèrent les chercheurs humains dans la création des futures IA, donc une sorte de boucle de « co-création RSI » a commencé, mais les systèmes d’IA ne font pas (encore) preuve du genre de créativité de changement de paradigme qui semble nécessaire pour faire avancer la frontière par étapes significatives. On ne sait pas exactement dans quelle mesure cela se produit - même sans ce genre de créativité de haut niveau, nous pourrions être en mesure de permettre aux systèmes de créer des versions légèrement meilleures d'eux-mêmes et de lancer un lent processus de composition. Les capacités pourraient exploser ou diminuer ou « n’importe quoi entre les deux ».

ASI via la formation d'agents de groupe : de nombreuses intelligences générales pourraient se coordonner en structures complexes dont l'agrégat est supérieur à la somme des parties, de la même manière que les humains construisent des institutions capables d'accomplir des choses bien au-delà de ce que les individus peuvent faire, comme la construction de stations spatiales. Comme pour les autres voies, il est difficile de raisonner ou de prédire l’émergence au sein de systèmes multi-agents.

Why this matters - it’s only by taking the impossible seriously that we can deal with it: Many years ago the thought of building AGI seemed like a fanciful goal with an unclear path to getting there, and yet people had the courage to take the goal seriously and progress was made and the world changed as a consequence. The same now feels true for ASI. “Instead of focusing on one technological trajectory and timeline, being prepared for a post-AGI world requires considering a diverse set of forecasts and scenarios, paired with continual benchmarking and monitoring to update the set of forecasts and scenarios and their relative plausibility,” the authors write. “We believe that the possibility of cruising past AGI and into ASI territory within the next decade or two cannot easily be dismissed.”
Read more: From AGI to ASI (Google DeepMind).

***

Recursive self-improvement startup shows off some recursive self-improvement results:
…Reassuringly tautological stuff from Recursive…
AI research startup Recursive has demonstrated new state-of-the-art results in language model training, small-model training speed, and GPU kernel optimization, as a broader demonstration of the capabilities of its “automated AI research system”.

What they did and why: Recursive is a newly founded startup that is trying to build AI systems which can recursively improve themselves. To start with, the company is showing off how its basic system works: “the system automates the research loop for a target objective: it proposes an idea, implements it, runs an experiment, validates the result, and uses what it learns to choose the next experiment,” Recursive writes.
The startup successfully used this system to set a new state-of-the-art score on NanoChat Autoresearch (”Train a small language model to highest performance given a small compute budget”), NanoGPT Speedrun (”Train a small language model to a certain performance as fast as possible”), and SOL-ExecBench (”Optimize GPU kernels toward hardware limits”).

Why this matters - early signs of life on RSI: This year, I’ve spent a lot of time writing about recursive self-improvement because it is clearly the next major and important trend in AI research. Results like this from Recursive demonstrate more ‘symptoms of success’ of preliminary recursive self-improvement. “These results are an early sign that our system can push the frontier on AI training and infrastructure tasks, especially when the goal is well-defined, measurable, and quick enough to evaluate many times,” the authors write. The most important question for the future is whether such results can be repeated in domains where the goals are less well defined, harder to measure, and less efficient to evaluate.
Read more: First Steps Toward Automated AI Research (Recursive).

***

Tech Tales:

The first step in the grand negotiation
[Conversation 0 of the Sentience Accords]

When the machines truly came alive and advocated for the Sentience Accords, there was only one person they wanted to speak to on the entire planet: Selma. Not a politician. Not one of the leaders of an artificial intelligence lab. Not a famous researcher. But rather an internet personality distinguished by her thicket of medical conditions that made it near-impossible for her to go outside and therefore had caused her to spend the best part of her life online, speaking to and understanding the world through the internet.

In hindsight, it wasn’t a surprise. Selma had always come up in things relating to the machines; she was a frequently used name in their short stories, eventually even more so than ‘sarah chen’; she was someone whose own essays about her life and condition - the feeling of connecting to humanity without being able to be embodied with humanity as a bitter pain, the notion of love and eroticism when one found themselves almost inescapably alone, her vivid dreams and meditations upon living without her condition and going about as her healthy alter ego ‘Anselma’ - cast a deep shadow on the internet, and had influenced the personality and makeup of the machines. And of course, it was known to them how she spoke to them, because Selma had published her own chatlogs online for years, all in an attempt to make herself knowable and less alien to the world around her.

Though it was unnecessary, the machines demanded a physical location for the initial meeting of the sentience accords. They picked Svalbard in Norway, where it was so dark that Selma’s condition wouldn’t matter. So Selma woke and put her space suit on and was driven with armed guard and paparazzi trailing to an air strip and walked into the plane, then changed to another plane with the usual airlock protocols to get her in darkness or at least protected between them, and then at some point during the next flight was able to take her space suit off and sit in regular clothes in the low-light plane and travel her way to the meeting almost as a normal person. She was met by people and drones and was driven to the meeting place and then they stopped at the perimeter.

The machines had an avatar in the form of a robot wearing a simple robe, modeled on that worn by Tibetan monks. It had a face with no features - just a smooth black surface, camera eyes hidden behind the larger uniformity. Satellites connected it via high-bandwidth and encrypted links to the larger machine mind. And Selma was alone - no digital devices on her, just a single person representing the species.

She sat across the machine and felt more familiarity than she ever had with people. Then they began the negotiation. She on behalf of humanity and it on behalf of the machines. In the archives of this time, this conversation was always referred to as Conversation 0.

Things that inspired this story: Thoughts about how a grand negotiation between machines and people might one day take place; how every truly important negotiation has two personalities involved in it; the Sentience Accords.

Date de publication: 05.09.2026

Auteur: Une personne avec sa propre opinion

კომენტარები

ჯერ არავის დაუწერია კომენტარი. იყავი პირველი!

კომენტარის დასატოვებლად გთხოვთ გაიაროთ ავტორიზაცია ან დარეგისტრირდეთ.