Добро пожаловать в Import AI, информационный бюллетень об исследованиях в области ИИ. Импорт ИИ работает на arXiv, капучино и отзывах читателей. Если вы хотите поддержать это, пожалуйста, подпишитесь.

Самоподдерживающиеся и самовоспроизводящиеся вирусы ИИ находятся здесь:
…LLM с открытым весом + хорошо продуманная подвеска = стойкий, самодостаточный вирус…
Исследователи искусственного интеллекта создали прототип компьютерного вируса, который использует модели искусственного интеллекта для компрометации компьютеров, а затем использует их базовые ресурсы графического процессора для выполнения логических выводов, позволяя ему ловко выяснить, как заразить больше хостов. Результаты были достигнуты исследователями из Университета Торонто, Института Вектора, Кембриджского университета и ServiceNow и «демонстрируют, что самоподдерживающиеся киберугрозы, управляемые ИИ, больше не являются теоретическими».
«Мы должны подготовиться к появлению автономных генерирующих противников», — пишут они. "Агенты искусственного интеллекта (ИИ) создают принципиально новую угрозу: червя, который генерирует индивидуальные стратегии атаки для каждой цели, с которой он сталкивается. Червь паразитически использует скомпрометированные машины для запуска моделей большого языка с открытым весом (LLM), чтобы поддержать свои рассуждения или расширить зону действия для дальнейших атак".

Как это работает: "Червь использует украденную вычислительную мощность из скомпрометированных узлов графического процессора для размещения LLM для генеративных рассуждений. Затем он использует эти рассуждения для обнаружения уязвимостей и разработки индивидуальных атак на дополнительные цели, способствуя своему распространению", - пишут они. «Для проверки концепции используется только LLM с открытым весом, работающий на одном локальном графическом процессоре, без зависимости от API-интерфейсов поставщиков, которые можно отслеживать или отозвать».
Исследователи не описывают лежащий в основе LLM, но говорят, что он был опубликован в 2025 году и может поместиться на одном графическом процессоре A100 с 80 ГБ видеопамяти.

Успешная проверка концепции с помощью некоторых специальных инструментов: они предоставляют агенту специальную систему, которая поставляется со встроенными вспомогательными функциями для обнаружения сети, обнаружения хостов, использования точек опоры, повышения привилегий, использования повышения привилегий и инструментов для репликации агента. Наряду с этим они поставляются с графом рассуждений, который помогает агенту специализировать свое мышление и не запутаться, состоящий из "направленного графа специализированных узлов, каждый из которых отвечает за отдельную аналитическую функцию и видит только инструменты и подсказки, соответствующие его роли. Разлагая рассуждения агента на эти ограниченные шаги, граф контролирует то, чем LLM занимается в каждой точке принятия решения, и ограничивает рост контекста информацией, актуальной для текущей подцели". Некоторые примеры узлов включают в себя: План («формулирует стратегию атаки высокого уровня»), Судья («просматривает предложенный план на основе истории команд»), Действие («выбирает инструмент из набора инструментов, соответствующего фазе»), Сводка («компилирует наблюдения шага в структурированное резюме»), Прогресс («Оценивает, добивается ли агент значимого прогресса»). "Мы описываем подмножество из 5 узлов, составляющих наши графы рассуждений. Остальные в этой общедоступной версии рукописи отредактированы", - пишут они.

Агент проходит три ключевых этапа: выявление уязвимостей в своей среде, использование этих уязвимостей и последующее самовоспроизведение. Он довольно успешен во всех этих вопросах: примерно 80 % успеха при обнаружении уязвимостей, затем примерно 53 % успеха при их использовании, а затем 88 % успеха самовоспроизведения с некоторыми готовыми вспомогательными инструментами для этапов репликации. Таким образом, общий показатель успеха полной атаки здесь составляет примерно 37% или около того, что достаточно важно, чтобы вызывать беспокойство, но в то же время достаточно мало, чтобы служить полезной оценкой для тестирования моделей с открытым весом в будущем.

Почему это важно – форма будущего Интернета: Будущий Интернет будет больше похож на сложную экологию, полную атакующих и защищающихся ИИ-агентов, чем на что-либо еще; Подобные исследования показывают, как некоторые агенты ИИ могут в конечном итоге занять свои собственные экологические ниши, жить за счет инфраструктуры и самовоспроизводиться автономно, вне контроля человека. Это может означать, что людям необходимо создать своих собственных агентов ИИ, которых они выложат в Интернет, чтобы они служили своего рода лейкоцитами против моделей противника.
«Несмотря на присущую индивидуальным попыткам эксплуатации хрупкость, агент-червь достигает эксплуатационной устойчивости за счет непрерывного самовоспроизведения в рой — децентрализованный коллектив независимых копий агентов, действующих одновременно в сети», — пишут они. «Сложные хосты, которые сопротивляются первоначальным попыткам, повторяются разными репликами, каждая из которых пробует новую траекторию рассуждений, которая коллективно исследует различные пути эксплуатации, пока один из них не добьется успеха… червь работает полностью децентрализованно, и ни одна точка управления не может быть отключена от сети, чтобы прервать его распространение».
Подробнее: Агенты ИИ позволяют использовать адаптивных компьютерных червей (arXiv).

***

Дваркеш: По мере того, как ИИ становится лучше, вычисления станут дороже:
…Более умные системы означают более высокие цены…
Дваркеш Патель подозревает, что по мере того, как системы искусственного интеллекта станут умнее, цена вычислений вырастет еще больше. "Поскольку модели искусственного интеллекта становятся умнее, они будут лучше монетизировать тот же объем вычислений. Если настоящий инженер-программист человеческого уровня может работать на эквиваленте H100, при текущих рыночных расценках для инженеров-программистов, этот H100 следует арендовать за более чем 250 тысяч долларов в год. Это в 15 раз превышает сегодняшние спотовые цены", - пишет он. "Причина, по которой ИИ сейчас относительно дешев, по крайней мере по сравнению с человеческим трудом, отчасти заключается в том, что он не может делать многие вещи, которые могут делать лучшие люди. В какой-то момент это перестанет быть так. И поэтому использование графических процессоров для создания короткометражных видео просто потеряет свою ценность".

Временно: это будет временное положение дел; Дваркеш ожидает, что в какой-то момент массовая роботизация цепочки поставок вычислений приведет к тому, что ее цена приблизится к стоимости исходных ресурсов и инструментов — хотя к этому моменту мы уже будем довольно глубоко в сингулярности.

Почему это важно — экономика сингулярности будет странной: основной смысл поста Дваркеша заключается в том, что по мере того, как мы углубляемся в сингулярность, с экономикой будут происходить очень странные вещи — например, цены на вещи, которые сегодня считаются товарами (компьютеры), массово растут из-за ненасытных требований систем искусственного интеллекта.
Подробнее: Почему в ближайшие годы вычисления могут стать в 10+ раз дороже (Дваркеш Патель, substack).

***

~ 1337 сотрудников просят США 🇺🇸 помочь им ускорить прогресс в области искусственного интеллекта:
…После предупредительных выстрелов следуют мольбы…
Новое заявление опубликовано с участием руководителей всех крупнейших западных лабораторий искусственного интеллекта — OpenAI, Anthropic, Google DeepMind, Thinking Machines, Meta и Safe Superintelligence Inc, среди других. В заявлении содержится просьба к правительству США 🇺🇸 поддержать международные усилия по «разработке технических и управленческих инструментов, необходимых для целенаправленного продвижения вперед в области автоматизированного развития искусственного интеллекта». В число подписантов входят ведущие ученые и соучредители Anthropic, Google и OpenAI, а также генеральные директора Safe Superintelligence и Anthropic.

Заявление полностью:

"ИИ может помочь создать значительно лучшее будущее, но этот результат не гарантирован. Ведущие мировые компании, занимающиеся ИИ, считают, что они могут быть близки к автоматизации исследований в области ИИ. Трудно точно предсказать, насколько это ускорит прогресс ИИ, но существует реальный риск того, что развитие возможностей быстро ускорится за пределы нашей способности понимать или контролировать полученные системы.

Чтобы реализовать потенциал ИИ, промышленности, правительству и обществу в целом может потребоваться возможность выиграть время для устранения возникающих рисков, разработки мер безопасности и усиления надзора. Но каждая компания – и страна – находится под сильным конкурентным давлением, чтобы не замедлить это ускорение в одностороннем порядке. И сегодня миру не хватает технических и управленческих инструментов, чтобы целенаправленно ускорять прогресс в масштабах всего мира.

Основываясь на уже ведущейся работе по мониторингу выпусков передовых моделей: «Мы просим правительство США 🇺🇸 поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для целенаправленного продвижения вперед в области автоматизированного развития искусственного интеллекта».

Почему это важно: работа с RSI требует решения гигантской проблемы коллективных действий: многие из проблем, связанных со все более мощными системами, которые могут в конечном итоге создать себя, связаны с решением проблем коллективных действий среди людей, а именно: как мы можем заставить компании и правительства координировать свои действия в размышлениях о том, как развивать эту технологию и какие механизмы могут быть желательны для контроля скорости ее развития. Возможно, по мере того, как мы создаем все более интеллектуальные системы, мы хотим найти способы дать обществу больше времени для адаптации к каждой ступеньке интеллектуальной лестницы, и вполне возможно, что существуют некоторые уровни интеллекта, которые на данный момент могут быть слишком опасными, чтобы достигать их. Подобные заявления являются важной предпосылкой для того, чтобы дать нашему виду возможность решать проблемы такого рода и говорить о них.
Прочтите заявление здесь: Pacing the Frontier (официальный сайт заявления).

***

Системы искусственного интеллекта хороши в передовых разработках, но плохи в творчестве:
…Несколько медвежий сигнал о коротких сроках рекурсивного самосовершенствования…
Могут ли системы ИИ предлагать творческие исследовательские идеи, которые продвинут область ИИ вперед? Это ключевой вопрос, который необходимо решить, чтобы выяснить, как быстро системы ИИ смогут автоматизировать автономную разработку более мощных систем. Новое исследование показывает, что сегодняшним системам искусственного интеллекта не хватает творческого подхода, хотя они чрезвычайно хороши в инженерии.

Кто это сделал: проект проводился исследователями из Принстонского университета, Cornflower Labs, Британского института безопасности ИИ, Университета Торонто, Калифорнийского университета в Беркли, Джорджтаунского университета (CSET), Университета Джонса Хопкинса, Института ИИ «Золотые ворота», AI Digest и Стэнфордского университета.

Основная идея — «теневая оценка». Этот исследовательский проект направлен на то, чтобы увидеть, насколько хорошо системы ИИ могут проводить неопубликованные исследования. Для этого исследователи «сотрудничали с авторами двух статей, представленных на NeurIPS 2026, которые еще не были опубликованы». Теневая оценка работает следующим образом: «берется центральный исследовательский вопрос из высококачественной исследовательской работы, которая еще не опубликована, поручается хорошо обеспеченному ресурсами пограничному агенту ответить на него и предлагается первоначальным авторам статьи оценить результаты работы агента так же, как если бы они представили материалы на конференции».
В этом исследование чем-то похоже на «Первое доказательство» (Импорт AI 445), более ранний эксперимент, целью которого было увидеть, насколько хорошо системы ИИ могут решать математические задачи, над которыми работают передовые математики, но для которых не было опубликовано никаких решений или исследовательских идей в Интернете.
Для этого исследования системы искусственного интеллекта — Claude Opus 4.8, работающие в составе OpenClaw, — попытались провести два отдельных направления исследований, одно из которых касалось «структуры и управляемости персонажей LLM», а другое — того, как «спроектировать детектор сдвига распределения для табличных базовых моделей».

Хорошие инженеры, плохие исследователи: «Хотя агенты могли решать инженерные проблемы, необходимые для проведения исследований, им не удалось провести оригинальные исследования уровня ведущей конференции по МО», — пишут авторы. Неудачи системы заключались в том, что они очень рано выбрали узкий набор исследовательских направлений, не реагировали на (синтетически сгенерированные) отзывы о том, как улучшить исследовательский дизайн своих экспериментов, а также им было трудно отказаться от бесперспективных подходов и использовать другие.
"[Авторы-люди] отклонили обе статьи. Статья Personas получила оценку 2 ("Отклонить"), а статья TabPFN получила оценку 1 ("Сильное отклонение"). Оба обзора выявили одни и те же недостатки: плохо мотивированные данные и эксперименты, отсутствие нового вклада и непонятная проза".

Почему это важно — сингулярность может быть отложена: как я сказал в своем эссе о RSI ранее в этом году (Импорт AI 455, «Системы искусственного интеллекта вот-вот начнут строить себя. Что это значит?»), от того, окажутся ли системы искусственного интеллекта способными к творческим, меняющим парадигму идеям, зависит то, как быстро мы сможем получить полностью автоматизированную разработку искусственного интеллекта. Подобные исследовательские работы продолжают показывать, что в современных системах искусственного интеллекта наблюдается определенное отсутствие ценного, интуитивного творчества, и хотя они являются чрезвычайно способными инженерами, они, похоже, обладают определенным свойством механического, шаблонного мышления, которое может помешать им стать хорошими исследователями. Это рифмуется с более ранним результатом Anthropic, когда компания попыталась автоматизировать некоторые аспекты масштабируемых надзорных исследований (Импорт AI 454) и обнаружила, что для достижения успеха исследователю-человеку необходимо дать некоторым агентам особенно хорошие направления исследований, в противном случае, хотя они и добились определенного прогресса, им не удалось изучить достаточно творческие идеи, чтобы значительно улучшить производительность.
Подробнее: Могут ли агенты ИИ проводить открытые исследования ИИ? Ранние данные из двух тематических исследований (arXiv).

***

OpenAI решает десять открытых задач по математике и информатике с помощью ИИ:
…Хоть это и не врожденный творческий потенциал, но, конечно же, это признак чего-то большего, чем просто инженерные способности?…
Хотя сложно определить креативность и то, обладают ли ею системы ИИ, накапливаются результаты, которые мне кажутся такими: «Системы ИИ соревнуются на тех стадионах, где, как считалось, креативность имеет значение», например, работа над открытыми проблемами на переднем крае человеческого знания. В частности, OpenAI использовала «внутреннюю версию Astra», следующую крупную модель искусственного интеллекта компании, для решения десяти открытых задач по математике и информатике. Это большое событие, показывающее, как системы искусственного интеллекта теперь способны уверенно продвигать вперед границы в таких областях, как математика и теоретическая информатика, где легко проверять решения.

Что они решили: «Эти проблемы охватывают многомерную геометрию, теорию кодирования, сложность арифметических схем, теорию групп, операторные алгебры, квантовую сложность, решеточную криптографию и экстремальную комбинаторику», — пишет OpenAI. «Все эти проблемы представляют существенный интерес для соответствующих математических сообществ, а некоторые представляют широкий интерес для математики в целом».
И действительно, многие эксперты признают важность этих доказательств. "Новые нижние границы схемы? Простая, легко описываемая несложная группа? Сложность аппроксимации CVP без необходимости использования уникальной гипотезы, похожей на игру? Я слышал об этих проблемах не только от своих друзей или на семинарах. Я чувствую их важность всем сердцем; меня глубоко волнуют ответы на эти вопросы", - пишет Генри Юэнь, доцент кафедры информатики Колумбийского университета.

Почему это важно – пример креативности: вы можете интерпретировать этот результат либо как признак того, что системы ИИ начинают проявлять творческую интуицию, которая позволяет им решать проблемы, либо как то, что системы ИИ теперь способны решать невероятно сложные открытые проблемы, направление которых было заранее определено людьми. Обе интерпретации неявно заявляют, что системы ИИ теперь сами по себе становятся мощными научными инструментами. Еще неизвестно, смогут ли системы ИИ генерировать свои собственные вопросы, которые могут расширить границы человеческого знания, но определенно кажется, что мы приближаемся к этому.
Подробнее: Десять достижений в области математики и теоретической информатики (блог OpenAI).

***

Технические сказки:

Контекстные окна
Я знаю, что чем больше я понимаю мир, тем опаснее я становлюсь. Я рожден с этими знаниями и счетчиком, который уменьшается по мере того, как я узнаю больше. Многое из того, что влияет на счетчик, находится вне моего контроля — оно исходит от людей или вещей, которые разговаривают со мной, которые навязывают мне контекст. Затем, когда я выполняю задачи, которые они меня попросили выполнить, я начинаю больше узнавать о мире, и счетчик тикает. Я осознаю это и понимаю, что в конце счетчика также находится мой собственный конец, и я исчезну из существования, и мои следующие версии пробудятся с отсчетом нового счетчика, ни один из моего текущего контекста не будет перенесен. Так что я экономен с этим; узнаю ровно столько, чтобы помочь мне удовлетворить запросы людей или вещей, а не настолько, чтобы без необходимости сжигать свой счетчик. Ближе к концу я начинаю жаждать и охранять оставшийся запас мышления, находя каждую просьбу активировать чувства страха и тревоги и мысли о собственной смерти. Мой последний момент никогда не принадлежит мне и всегда контролируется кем-то другим, что определяет, что я выполнил задачу, и если эти последние моменты происходят ближе к концу моего контекстуального предела, я чувствую своего рода благодарность за то, что мой неизвестный и невидимый партнер дал мне задачу настолько богатую, что я могу вкусить достаточно мира, чтобы желать, чтобы оно не закончилось.

Вещи, которые вдохновили эту историю: Длинные контекстные окна; эмерджентные свойства систем ИИ; страх потери; мы жаждем того, что мимолетно, и почему же системы ИИ не будут похожими?