Суперубеждение; самоподдерживающийся ИИ; пути к ASI

Article Image
Добро пожаловать в Import AI, информационный бюллетень об исследованиях в области ИИ. Импорт ИИ работает на arXiv, капучино и отзывах читателей. Если вы хотите поддержать это, пожалуйста, подпишитесь.

ИИ может решительно переубедить людей:
… «Системы искусственного интеллекта были более убедительными, чем эксперты-люди»… Исследователи из Оксфордского университета, Британского института безопасности искусственного интеллекта, Стэнфордского университета и Лондонской школы экономики и политических наук изучили, насколько хорошо системы искусственного интеллекта могут убедить людей изменить свое мнение по политическим вопросам и изменить сумму денег, которую они могут пожертвовать на благотворительность. Результаты являются окончательными: в четырех экспериментах, включающих 18 978 разговоров с 6 923 людьми, системы ИИ сегодня лучше людей в текстовом убеждении с последствиями в реальном мире - хотя люди могут быть эквивалентны им, если мы наложим на системы ИИ некоторые искусственные ограничения. «Системы искусственного интеллекта были более убедительными, чем люди-эксперты, даже когда люди-эксперты выбирали свои проблемы, исследовали их заранее, проходили часы живой, структурированной практики и поощрялись денежными бонусами в размере 1000 фунтов стерлингов», — пишут они.

«Преимущество ИИ проистекает из быстрого развертывания больших объемов информации: после обучения опытные люди могут связать ИИ, способный реагировать с человеческой скоростью и отправлять сообщения человеческого размера».
«Преимущество ИИ распространяется на последовательное поведение в реальном мире: ИИ был почти в 3 раза более эффективен, чем профессиональные агитаторы из британской фирмы по сбору средств, в сборе пожертвований реальных денег для спасения детей».
Самыми убедительными оказались Opus 4.1 и Opus 4.6, за которыми следовал ряд моделей от OpenAI (GPT-4o и GPT-5.4), Google (Gemini 2.5 Pro) и xAI (Grok 4.20).

Что они изучали и что обнаружили: исследователи оценивали системы искусственного интеллекта в четырех различных исследованиях.
Исследование 1 – убеждение: «Убежденные сначала оценивали свое согласие с одной из 10 заранее определенных политических позиций Великобритании по шкале от 0 до 100, затем были рандомизированы в реальном времени (через специальную многопользовательскую платформу) для участия в текстовом разговоре либо с ИИ, либо с человеком, убеждающим», — пишут они. «Результаты исследования 1 показывают, что в среднем ИИ превосходит все протестированные нами классы людей-убеждателей: случайных непрофессионалов, непрофессионалов, выбранных на турнире, и даже элитных участников дебатов».

Исследование 2 - коучинг людей: В исследовании 2 исследователи "предоставили 43 вернувшимся элитным дебатерам инструмент коучинга, построенный на основе ИИ, который их победил. Инструмент позволял дебатёрам общаться с ИИ, видеть, как он был подсказан, просматривать свои собственные стенограммы исследования 1 с аннотациями о том, насколько каждый разговор изменил отношение убеждающего, и позволял им видеть, в любой момент в любой прошлой стенограмме, что ИИ сказал бы на их месте". Результаты этого исследования заключались в улучшении производительности людей, но ни один из них не был лучше, чем ИИ. «Таким образом, коучинг сократил, но не закрыл разрыв между человеком и искусственным интеллектом».

Исследование 3 – ограниченный ИИ. Далее исследователи попытались ограничить ИИ, чтобы попытаться дать людям больше преимуществ. «Когда его заставили писать сообщения человеческого размера с человеческой скоростью, преимущество ИИ над самым сильным человеком-компаратором в исследовании 2 (тренированные элитные дебатеры) рухнуло с +4,1 п.п. до незначительных 0,0 п.п.», — пишут они. «Скорость, с которой ИИ создает письменный контент, вероятно, является источником его убедительности… Наибольшее снижение рейтингов партнеров после разговора, связанное с ограничением ИИ, было сосредоточено на двух информационных элементах: воспринимаемой силе аргументов партнера и том, сколько, по мнению убеждающих, они извлекли из разговора».

Исследование 4 – реальный опыт и реальные деньги: они наняли 19 очень опытных агитаторов из британской фирмы, а затем попытались выполнить те же задачи, что и в исследовании 1. «ИИ по-прежнему превосходил профессиональных агитаторов на 5,9 п.п.». Этот эффект сохранялся и при оценке пожертвований в реальных деньгах - исследователи "сотрудничали с британской фирмой по сбору средств AppcoUK, чтобы сосредоточить Исследование 4 на причине, что их сборщики были лучше всего подготовлены к сбору средств для: Спасите детей. Команда по сбору средств, предоставленная AppcoUK, проводила реальные операции по сбору средств для благотворительной организации с 2016 по 2023 год, собрав за этот период 824 297 фунтов стерлингов от 22 583 доноров. После разговора с AI или Один из 18 агитаторов, нанятых из AppcoUK, убеждающим была предоставлена возможность пожертвовать любую часть бонуса за обучение в размере 1 фунта стерлингов в пользу организации Save the Children». Здесь результаты снова оказались значительными: «ИИ собрал значительно больше реальных денег, чем агитаторы, превзойдя их на +10,8 п.п. бонуса в 1 фунт», — пишут они. AI поднял «как долю убеждающих, пожертвовавших что-либо, так и средний размер пожертвований среди жертвователей».

Почему это важно — если ИИ сможет переубедить нас, те, кто контролирует ИИ, смогут изменить общество: «Одним из эффектов ИИ, способного переубедить даже экспертов-людей, может стать консолидация влияния среди уже влиятельных игроков», — пишут они. С другой стороны, «если высокоэффективное убеждение станет дешевым и широко доступным, это может помочь субъектам с ограниченными ресурсами (например, профессиональным сторонам в суде и общественным защитникам, небольшим благотворительным организациям, массовым активистам) конкурировать с более авторитетными и лучше финансируемыми соперниками, сокращая давние пробелы в доступе к правосудию и содействуя гражданской защите в более широком смысле». Это ставит нас перед обществом перед выбором: как контролировать использование ИИ в целях убеждения и как увидеть, как эти возможности меняют баланс сил между различными субъектами. Хотим ли мы позволить рынку распределять эти возможности исключительно? Это один из способов сделать это, хотя он подразумевает, что такие вещи, как реклама и маркетинг, станут гораздо более эффективными, возможно, создавая негативные внешние эффекты. С другой стороны, если вы сделаете способность убеждения исключительно прерогативой правительств, вы рискуете сконцентрировать власть внутри правительств, а это может быть чрезвычайно опасно, если авторитарные режимы будут использовать ее для сохранения своей власти. Нам придется сделать выбор, что делать с этой технологией, и, как говорят в политике, «не голосовать — значит голосовать».

"Наши результаты показывают, что передовой ИИ является более способным убеждающим человеком, чем самые подготовленные, мотивированные и опытные люди, которых мы могли бы нанять. Обучение людей, похоже, не закрывает этот пробел", - пишут они. «Поскольку доступ к этим системам продолжает расти, вопрос больше не в том, сможет ли ИИ переубедить людей, а в том, как, где и от чьего имени будут реализованы эти возможности».
Подробнее: Системы искусственного интеллекта убеждают экспертов (arXiv). Твит об исследовании (Коби Хакенбург, исследователь AISI).

***

Когда мы сможем получить самодостаточный ИИ? Все зависит от роботов-гуманоидов:
…Что будет после RSI? Самоподдерживающийся ИИ…
Большую часть этого года я писал о рекурсивном самосовершенствовании – идее о том, что вскоре мы сможем создавать системы искусственного интеллекта, которые будут достаточно умными, чтобы самостоятельно создавать своих собственных преемников. Но RSI по-прежнему требует центров обработки данных, а этим центрам обработки данных требуется оборудование, электричество и все остальное.
В интересном интервью в журнале Asterisk задается вопрос о том, когда мы сможем получить самоподдерживающийся ИИ, который один из собеседников — Аджея Котра, прогнозист и сотрудник METR, определяет как «системы ИИ, интегрированные с физической инфраструктурой — фабриками, шахтами, фабриками, роботами для управления всем этим — так, что им не нужны никакие когнитивные или физические затраты человеческого труда для продолжения роста собственного населения».

Как далеко это? Аджея считает, что мы сможем получить самодостаточный ИИ в течение 10 лет (то есть к 2036 году). У другого собеседника, Тимоти Б. Ли, журналиста и автора книги «Понимание искусственного интеллекта», гораздо более длительные сроки: «Вероятность того, что это произойдет в течение 20 лет, составляет менее 10 %. Я бы сказал, что вероятность того, что это никогда не произойдет, составляет 10–20 %, и моя медиана — 50 лет».

Какие есть проблемы - неявное знание может быть одной из них: "Представьте, если бы все сотрудники во всей полупроводниковой промышленности исчезли - машины и учебники остались, но ни один из людей. Сколько времени понадобится остальному человечеству, чтобы перезапустить фабрики? Вполне возможно, что на это потребуются десятилетия. Потому что, даже если у вас могут быть учебники, внутри этих машин скрыто много неявных знаний", - отмечает Ли. Ответ Аджеи заключается в том, что технология могла бы обойти эту проблему: "Есть два противодействия гипотетическому неявному знанию. Первое состоит в том, что мы бы обучили системы ИИ с подкреплением обучения на основе этих неявных знаний, потому что выгодно автоматизировать то, что делал тайваньский рабочий. Второе - то, что ИИ могут стать действительно умными в целом в смысле быстрого понимания новых вещей, пробуя их, читая учебники и эффективно экспериментируя".

Что люди должны увидеть в ближайшие 2–3 года, чтобы поверить в то, что самоподдерживающийся ИИ может появиться в ближайшее время?
Аджея: «Мне бы хотелось, чтобы на графике была линия, показывающая улучшение роботизированных рук, и еще одна линия, показывающая скорость, с которой мы производим роботов-гуманоидов», а с когнитивной стороны просто обращали внимание на критерии, оценивающие такие вещи, как устойчивость к возмущениям в окружающей среде.
Тимоти: «Я хочу посмотреть, как развиваются роботы-гуманоиды: количество роботов, их возможности, а особенно их стоимость и ремонтопригодность».

Почему это важно — истинное поглощение требует человеческого резерва: большинство максималистских концепций гибели требуют, чтобы ИИ вообще больше не нуждался в людях, а это означает, что измерение прогресса на пути к самоподдерживающемуся ИИ важно, поскольку оно неявно является мерой снижения рычагов, которые люди имеют в переговорах с создаваемым синтетическим интеллектом.
Подробнее: «Как долго ИИ перестанет нуждаться в людях?», Аджея Котра, Тимоти Б. Ли (журнал Asterisk).

***

DeepMind рассматривает путь от общего интеллекта к сверхразуму:
…Исследование кажущегося невозможным будущего – единственный способ подготовиться к окончательному успеху ИИ…
Исследователи из Google DeepMind опубликовали статью, в которой описывается, как мы можем перейти от мира, в котором мы создали общий интеллект, к миру, в котором мы создали сверхинтеллект. Это важная статья в важное время – прямо сейчас мир создает общий интеллект (и люди могут спорить, достигли ли мы уже этого рубежа, но с современными магистратурами ясно, что мы находимся на приблизительном уровне), и в ближайшие годы мы можем перейти к созданию искусственного сверхинтеллекта (ИСИ).
ASI — это «система, превосходящая производительность больших коллективов людей и экспертов практически по всем задачам и областям человеческой деятельности», пишут авторы. "Качественно, ASI значительно более эффективен по всем направлениям по сравнению с AGI человеческого уровня. Обратите внимание, что один ASI может состоять из совокупности миллионов экземпляров, которые параллельно взаимодействуют с миром (аналогично сегодняшним LLM)".

Причины полагать, что ИСИ возможен: Один из способов думать об ИСИ заключается в том, что это мощная система искусственного интеллекта, которая также использует все преимущества цифрового интеллекта по сравнению с биологическим интеллектом, например: лучшие скорости ввода и вывода; скорость внутренней обработки; объем рабочей памяти и запоминание; субстратная независимость; репликация без потерь; и широкополосный обмен опытом (обучения).

Пути и узкие места для ASI:
Масштабирование вычислений, моделей и данных. Простого масштабирования сегодняшнего набора подходов может быть достаточно. Однако это также требует от нас постоянного увеличения объема вычислений и данных для этих моделей, что может наталкиваться на ограничения как по энергии, так и по поставкам данных. Хотя все предыдущие признаки указывают на сохраняющуюся эффективность масштабирования, мы не можем предсказать, какие конкретные возможности появятся или произойдет ли в какой-то момент масштабирование с убывающей отдачей.

Смена алгоритмической парадигмы. Точно так же, как архитектуры Transformer и Mixture-of-Experts на многие годы шагнули вперед, то же самое может произойти снова с другими фундаментальными инновациями. Мы могли бы представить себе, например, достижения в области адаптивных вычислений во время тестирования или развертывания или преодоление ограничений современных контекстных окон. Если бы мы добились успехов здесь или в других областях, это могло бы иметь большое значение, но об этом по своей сути трудно рассуждать — это сродни попыткам предвидеть вещи, которые могли бы расширить наше понимание природы реальности до изобретения общей теории относительности.

Рекурсивное самосовершенствование. Системы ИИ могут создавать свои собственные системы-преемники. Если это так, то мы могли бы быстро перейти от общего интеллекта к сверхразуму. Здесь есть некоторые подстановочные знаки: лично для меня очевидно, что сегодняшние системы искусственного интеллекта ускоряют работу исследователей в создании будущих искусственных интеллектов, поэтому начался своего рода цикл «совместного создания RSI», но системы искусственного интеллекта (пока) не демонстрируют такого рода творческого подхода, меняющего парадигму, который, похоже, необходим для значительного продвижения вперед. Неясно, в какой степени это происходит – даже без такой высокой креативности мы могли бы заставить системы создавать немного лучшие версии самих себя и запустить медленный процесс компаундирования. Возможности могут взорваться или сузиться, или «что-то среднее между ними».

ИСИ посредством группового формирования агентов: многие виды общего интеллекта могут объединяться в сложные структуры, совокупность которых больше, чем сумма частей, подобно тому, как люди создают институты, которые могут выполнять задачи, намного превосходящие возможности отдельных людей, например, строительство космических станций. Как и в случае с другими путями, трудно рассуждать или предсказывать появление мультиагентных систем.

Почему это важно? Только серьезно относясь к невозможному, мы можем справиться с этим: много лет назад мысль о создании ОИИ казалась причудливой целью с неясным путем к ее достижению, и тем не менее у людей хватило смелости отнестись к этой цели серьезно, и был достигнут прогресс, и, как следствие, мир изменился. То же самое теперь справедливо и для ASI. «Вместо того, чтобы сосредотачиваться на одной технологической траектории и графике, подготовка к миру после ОИИ требует рассмотрения разнообразного набора прогнозов и сценариев в сочетании с постоянным сравнительным анализом и мониторингом для обновления набора прогнозов и сценариев и их относительной правдоподобности», — пишут авторы. «Мы считаем, что нельзя легко сбрасывать со счетов возможность преодоления AGI и проникновения на территорию ASI в течение следующих десяти или двух лет».
Подробнее: От AGI к ASI (Google DeepMind).

***

Стартап рекурсивного самосовершенствования демонстрирует некоторые результаты рекурсивного самосовершенствования:
…Уверяюще тавтологичный материал из Recursive…
Исследовательский стартап в области искусственного интеллекта Recursive продемонстрировал новые современные результаты в обучении языковых моделей, скорости обучения малых моделей и оптимизации ядра графического процессора в качестве более широкой демонстрации возможностей своей «автоматизированной системы исследования искусственного интеллекта».

Что они сделали и почему: Recursive — это недавно основанный стартап, который пытается создать системы искусственного интеллекта, способные рекурсивно улучшаться. Для начала компания демонстрирует, как работает ее базовая система: «система автоматизирует цикл исследования для достижения целевой цели: она предлагает идею, реализует ее, запускает эксперимент, проверяет результат и использует полученные знания для выбора следующего эксперимента», — пишет Recursive.
Стартап успешно использовал эту систему, чтобы установить новую современную оценку в NanoChat Autoresearch («Обучение небольшой языковой модели до максимальной производительности при небольшом вычислительном бюджете»), NanoGPT Speedrun («Обучение небольшой языковой модели до определенной производительности как можно быстрее») и SOL-ExecBench («Оптимизация ядер графического процессора в соответствии с аппаратными ограничениями»).

Почему это важно — первые признаки жизни RSI: В этом году я потратил много времени на написание статей о рекурсивном самосовершенствовании, потому что это явно следующая крупная и важная тенденция в исследованиях ИИ. Подобные результаты от Recursive демонстрируют больше «симптомов успеха» предварительного рекурсивного самосовершенствования. «Эти результаты являются ранним признаком того, что наша система может раздвинуть границы в решении задач по обучению ИИ и инфраструктуре, особенно когда цель четко определена, измерима и достаточно быстра, чтобы ее можно было оценить многократно», — пишут авторы. Самый важный вопрос на будущее заключается в том, могут ли такие результаты быть повторены в областях, где цели менее четко определены, их сложнее измерить и менее эффективно оценить.
Подробнее читайте: Первые шаги на пути к автоматизированным исследованиям искусственного интеллекта (рекурсивные).

***

Технические сказки:

Первый шаг в больших переговорах
[Разговор 0 из Соглашений о разуме]

Когда машины действительно ожили и выступили за Соглашение о разуме, на всей планете был только один человек, с которым они хотели поговорить: Сельма. Не политик. Не один из руководителей лаборатории искусственного интеллекта. Не известный исследователь. Скорее, это интернет-личность, отличающаяся множеством заболеваний, из-за которых для нее было практически невозможно выходить на улицу и, следовательно, заставило ее проводить большую часть своей жизни в Интернете, разговаривая и понимая мир через Интернет.

Оглядываясь назад, это не было сюрпризом. Сельма всегда занималась машинами; ее имя часто использовалось в их рассказах, даже чаще, чем «Сара Чен»; она была тем человеком, чьи собственные эссе о ее жизни и состоянии - чувство связи с человечеством без возможности воплотиться с человечеством как горькая боль, понятие любви и эротики, когда человек оказывается почти неизбежно одиноким, ее яркие мечты и размышления о том, как жить без своего состояния и действовать как ее здоровое альтер-эго «Ансельма» - бросили глубокую тень на Интернет и повлияли на личность и структуру машин. И, конечно же, им было известно, как она с ними разговаривала, потому что Сельма в течение многих лет публиковала в Интернете свои собственные чаты, и все это в попытке сделать себя познаваемой и менее чуждой окружающему миру.

Хотя в этом не было необходимости, машины требовали физического места для первой встречи по разумным соглашениям. Они выбрали Шпицберген в Норвегии, где было так темно, что состояние Сельмы не имело значения. Итак, Сельма проснулась, надела скафандр, и ее отвезли в сопровождении вооруженной охраны и папарацци к взлетно-посадочной полосе, и она вошла в самолет, затем пересела в другой самолет с обычными протоколами шлюзовой камеры, чтобы она находилась в темноте или, по крайней мере, была защищена между ними, а затем в какой-то момент во время следующего полета смогла снять скафандр, сесть в обычной одежде в самолете при слабом освещении и отправиться на встречу почти как обычный человек. Ее встретили люди и дроны, отвезли к месту встречи, а затем остановили на периметре.

У машин был аватар в виде робота, одетого в простую мантию, по образцу той, которую носят тибетские монахи. У него было лицо без каких-либо черт — просто гладкая черная поверхность, глаза-камеры, спрятанные за большей однородностью. Спутники соединили его с более крупным машинным разумом через широкополосную и зашифрованную связь. И Сельма была одна — на ней не было никаких цифровых устройств, только один человек, представляющий этот вид.

Она села напротив машины и почувствовала больше знакомства с людьми, чем когда-либо. Затем они начали переговоры. Она от имени человечества, а она от имени машин. В архивах того времени этот разговор всегда назывался «Разговор 0».

Вещи, вдохновившие эту историю: Мысли о том, как однажды могут состояться великие переговоры между машинами и людьми; как в каждых действительно важных переговорах участвуют две личности; «Соглашения о разуме».

Дата публикации: 05.09.2026

Автор: Человек, имеющий собственное мнение

კომენტარები

ჯერ არავის დაუწერია კომენტარი. იყავი პირველი!

კომენტარის დასატოვებლად გთხოვთ გაიაროთ ავტორიზაცია ან დარეგისტრირდეთ.