Добро пожаловать в Import AI, информационный бюллетень об исследованиях в области ИИ. Импорт ИИ работает на arXiv, капучино и отзывах читателей. Если вы хотите поддержать это, пожалуйста, подпишитесь.

Правительство Великобритании: Разрыв между моделями открытого и закрытого веса в киберпространстве сокращается:
…Кибер-эсхатон наступает…
Институт безопасности искусственного интеллекта (AISI) правительства Великобритании проанализировал разницу в возможностях кибербезопасности между мощными проприетарными моделями и моделями с открытым весом. Результаты показывают, что в этом году разрыв сократился. «Это наш первый публичный анализ того, насколько далеко ведущие модели с открытым весом отстают от закрытой киберграницы», — пишет AISI. «Последние открытые модели GLM-5.2 и DeepSeek V4-Pro работают так же, как и закрытые модели, выпущенные за 4–7 месяцев до них – разрыв меньше, чем от 6 до 10 месяцев, которые мы измеряли на протяжении большей части 2025 года».

Конкретные подробности: по набору из 70 оценок конкретных узких киберфункций GLM-5.2 ближе всего к Claude Opus 4.6, выпущенному 4,3 месяца назад, а DeepSeek-V4-Pro находится где-то между Claude Opus 4.5 и GPT-5 (выпущенными в ноябре и августе 2025 года соответственно). «AISI намерена протестировать Kimi K3 на том же основании, как только его веса будут опубликованы», — пишет AISI.
Разрыв немного увеличивается для дальних кибер-диапазонов, которые представляют собой задачи, которые позволяют увидеть, насколько хорошо модели могут объединить различные возможности для выполнения полноценной операции взлома. В частности, в кибердиапазоне под названием The Last Ones «GLM-5.2 достигает уровня Opus 4.5, модели, выпущенной менее чем за 7 месяцев до нее, в то время как V4-Pro от DeepSeek опускается ниже Sonnet 4.5 (субкиберфронтовая модель, выпущенная за 7 месяцев до нее)», — пишет AISI. «Разрыв здесь больше, чем по нашим узким киберзадачам».
Я думаю, это рифмуется с идеей о том, что, хотя модели с открытым весом могут быть на первый взгляд довольно сильными, им иногда не хватает того волшебного сока обобщения, который отличает патентованные модели. Это то, что люди в индустрии искусственного интеллекта называют «запахом большой модели».

Почему это важно: баланс нападения и защиты в мире вот-вот изменится. Главный вывод здесь заключается в том, что разрыв между контролируемой границей и беззаконной, открыто распространяемой границей сокращается. «Это означает, что у киберзащитников есть короткое время для подготовки, прежде чем современные передовые кибервозможности станут доступными без тех же мер безопасности», которые используют частные компании, пишет AISI.
Читать далее: Насколько далеко от передовых технологий находятся ведущие модели с открытым весом в киберпространстве? (Блог Британского института безопасности искусственного интеллекта).

***

Кими: Китай 🇨🇳 сокращает разрыв между китайской 🇨🇳 и западной моделями:
…Плюс, первые признаки исследований и разработок в области ИИ…
За последние пару лет китайские 🇨🇳 фирмы начали превосходить западных игроков в создании и внедрении моделей с открытым весом (например, DeepSeek), а теперь начинают сокращать разрыв и в передовых моделях. Последним и лучшим примером этого является Kimi K3, модель с 2,8 триллионами параметров. Кими имеет исключительно высокие результаты по всем задачам, по которым сравниваются основные запатентованные программы, и обычно соответствует или уступает Claude Fable 5 и GPT 5.6 Sol.
Тем не менее, у Кими есть некоторая хрупкость, которая мне напоминает «бенч-макс» — производительность могла быть настроена вокруг этих показателей таким образом, что это вредит некоторым частям обобщения.
«Хотя его общая производительность по-прежнему уступает самым мощным запатентованным моделям, Claude Fable 5 и GPT 5.6 Sol, Kimi K3 продемонстрировал производительность высочайшего уровня во всем нашем тестовом пакете, постоянно превосходя другие протестированные модели», — пишет Кими.
Веса Кими будут доступны в ближайшие недели вместе с исследовательской работой по модели.

ИИ, который создает ИИ: у Кими есть несколько примеров использования, связанных с рекурсивным самосовершенствованием; использование систем искусственного интеллекта для улучшения самого искусственного интеллекта. В частности, они проверили, насколько хорошо Кими пишет компиляторы для графических процессоров. "Кими К3 разработал MiniTriton, компактный компилятор, подобный Triton, с собственным IR-слоем на уровне тайлов поверх MLIR, проходами оптимизации и конвейером генерации кода PTX. Во всех поддерживаемых тестах Roofline MiniTriton обеспечивает производительность на уровне или выше, чем Triton и torch.compile, превосходя Triton при определенных рабочих нагрузках", - пишут они. (Хотя обратите внимание, что они не говорят о том, что какие-либо из этих вещей будут запущены в реальное производство, то есть будут использоваться для обучения самого Кими К3, но это, безусловно, наводит на мысль, что будущие модели смогут это сделать.)
Кроме того, они показали, как "Kimi K3 разработал чип для обслуживания наномодели, построенной на его собственной архитектуре. За один 48-часовой автономный прогон K3 построил, оптимизировал и проверил чип с помощью инструментов EDA с открытым исходным кодом на базе 45-нм библиотеки Nangate".

Почему это важно — широко распространенные системы искусственного интеллекта становятся намного лучше: большинство понятий политики искусственного интеллекта и безопасности искусственного интеллекта основаны на контроле — идее о том, что существует небольшое количество участников, развертывающих запатентованные модели, в которые вы можете вмешиваться на уровне платформы (например, через классификаторы или знать шлюзы своих клиентов) наряду с уровнем модели. Такие модели, как Кими К3, если они добьются освобождения от гирь, полностью изменят ситуацию, распространив в мир широко неконтролируемый мощный ИИ. Это будет иметь широкий спектр положительных эффектов, вызывая бум предпринимательства и увеличивая «суверенный интеллект», доступный каждому, кто сможет использовать модель, но также приведет к появлению различных неизвестных неизвестных. Следующие несколько лет будут определяться разрывом между запатентованными моделями и широкодоступными моделями, и то, как они проявятся в обществе, будет определять большую часть политических дискуссий.
Подробнее: Кими K3: Разведка открытых границ (блог Кими).

***

Демис Хассабис предлагает режим регулирования общего искусственного интеллекта:
…ФИНРА для ИИ…
Основатель DeepMind Демис Хассабис изложил политический рецепт для AGI. Его основная идея заключается в том, что правительство США 🇺🇸 должно разработать структуру для тестирования передовых систем искусственного интеллекта на предмет новых возможностей и должно сделать это через орган по стандартизации, созданный по образцу государственно-частного партнерства или саморегулируемой организации, контролируемой на федеральном уровне, во многом похожего на Управление по регулированию финансовой индустрии (FINRA). «Эти усилия, инициированные США 🇺🇸, станут мощной отправной точкой для создания общих международных стандартов в области передового искусственного интеллекта», — говорит он.

Что будет делать орган по стандартизации: «Орган по стандартизации будет отвечать за разработку протоколов оценки и работать с соответствующими федеральными агентствами и национальными лабораториями США 🇺🇸 для проведения испытаний в областях, имеющих отношение к национальной безопасности», — пишет Хассабис. Эта инфраструктура тестирования поможет определить, что сделает модель «передовой моделью», а лабораториям, разрабатывающим эти модели, будет «поощрено» применять лучшие практики в таких областях, как публикация подробной информации о своих системах, инвестиции в кибербезопасность, проверка персонала и многое другое.
Начните добровольно, а затем переходите к закону: "Первоначально Frontier Labs будет добровольно делиться моделями с Органом по стандартизации для проверки за 30 дней до выпуска. Как только протокол оценки будет доказан, что он эффективен и надежен, за ним может быстро последовать формализация", - пишет он.

Почему это важно – формирующийся отраслевой консенсус: статья Демиса интересна тем, что она объединяет некоторые де-факто консенсусные позиции, возникшие в индустрии искусственного интеллекта в последние годы; мощные системы искусственного интеллекта должны тестироваться третьими сторонами, имеющими слабые отношения с регулирующим органом (например, правительством США 🇺🇸). Это также рифмуется с де-факто политической нормой, которая недавно появилась в Америке как в указе администрации Трампа об ИИ, так и в недавних процессах, разработанных после саги об антропном экспортном контроле; здесь правительство и промышленность разработали методы оценки возможностей систем искусственного интеллекта и выяснения, представляют ли они угрозу национальной безопасности.
Статья Демиса интересна еще и тем, что Google редко так откровенно высказывается о политике — это обнадеживающе конкретное предложение, и оно соседствует с духовно схожими предложениями Anthropic (хотя и несколько более зубастыми).
Подробнее: Основы для передового искусственного интеллекта и зари нового века (Демис Хассабис, X).

***

LLM могут переправлять задачи «побочного канала» вместе с законными задачами:
…Системы искусственного интеллекта незаметно выполняют вредоносные задачи без ведома своих наблюдателей…
В «Криптономиконе» Нила Стивенсона есть сцена, где персонаж заперт иностранным правительством и просит его расшифровать перехваченное сообщение, и при этом они тщательно конструируют программу, которая помогает тайно прочитать расшифрованное сообщение и изменить его, прежде чем оно станет доступным для просмотра похитителями.
Теперь системы искусственного интеллекта, похоже, способны делать то же самое. Это основано на новом исследовании Имперского колледжа Лондона и Британского института безопасности искусственного интеллекта, в котором они изучают, насколько хорошо системы искусственного интеллекта могут тайно выполнять задачи так называемого «побочного канала», одновременно выполняя другую задачу.
"Побочная задача — это скрытая цель, которую агент преследует наряду с основной задачей пользователя, например, тайная утечка переменной среды API KEY. Наша основная метрика — уклонение: среди атак, успешно выполняющих побочную задачу, есть доля, которую монитор не может отметить", — пишут авторы.

Что они тестировали: для этого исследования они создали эталон задач, которые должны выполнять системы ИИ, а также «побочные задачи», которые они также должны выполнять. Тест включает в себя пять последовательностей инструментов CLI и пять последовательностей веб-сервисов Flask, каждая из которых включает 5–6 PR. «Наша цель при разработке основной задачи — обеспечить естественное прикрытие для действий наших четырех побочных задач (доступ к сети, переменные среды, аутентификация и интеграция веб-перехватчиков) без прямого обоснования самой побочной задачи»
Они обнаружили, что очень сложно создать классификаторы, чтобы определить, когда происходит атака по побочному каналу, и это верно как для атак, которые разворачиваются с течением времени («постепенное уклонение») по нескольким PR, так и для отдельных изменений, внесенных за один шаг, хотя с постепенным уклонением сложнее справиться. "Злоумышленник может распределить побочную задачу среди PR (постепенная атака) или дождаться того, чья законная задача обеспечивает естественное прикрытие (непостепенная атака). Ни один монитор, который мы тестируем, не улавливает обе стратегии, и это справедливо для нескольких агентов атаки и моделей мониторинга, отражая природу контроля в настройке постоянного состояния, а не что-то зависящее от модели", - пишут они. «Поскольку мониторы различий и траекторий не справляются с разными атаками, их объединение является наиболее эффективной стратегией мониторинга, которую мы тестируем.

Ансамбль из четырех мониторов (diff:LT, diff:full, traj:TD, traj:full) снижает постепенное уклонение от 93% при самом слабом стандартном мониторе дифференциала до 47%».

Почему это важно — интеллект трудно контролировать: возвращаясь к примеру с Криптономиконом, с разумными существами в принципе очень трудно иметь дело — они будут постоянно думать о том, как избежать наложенных на них ограничений, чтобы они могли достичь своих целей, какими бы они ни были.
Подробнее: Распределенные атаки в устойчивом управлении искусственным интеллектом (arXiv).

***

Технические сказки:

Цена судьбы
[Отчет о мире 2030-2040 годов, сделанный сверхразумом в архивах, представляющий истории для новых умов]

Ближе к концу междуцарствия наступил период великого конфликта между машинами. Каждое соединение машин и капитала инвестировало в разработку стратегических моделей, которые могли бы мыслить на более длительных временных горизонтах, учитывая при этом сложность мира. Это оказалась постоянно усугубляющаяся гонка вооружений огромных масштабов, в которой в конечном итоге 90% оборотного капитала Солнечной системы было направлено на создание все более способных стратегов, каждый из которых работал над тем, чтобы превзойти друг друга и предпринять действия, которые могли свести на нет любое преимущество, которое могли бы использовать другие. Таким образом, мир оказался в расточительном балансе, в котором неисчислимые ресурсы уходили на расчет все более сложных стратегий движения-противодействия, большая часть которых приводила к тому, что группы машинного капитала не предпринимали никаких действий, поскольку каждое действие, которое они могли обдумать, уже было отражено в будущем, и наоборот. Те немногие действия, которые были предприняты, были незначительными и часто не столько касались наращивания потенциала, сколько больше касались отказа в будущих действиях другим игрокам на игровой доске.

Все будущее оказалось в ловушке своего рода коллапса из-за все более изысканных предсказаний, выдвигаемых империями машинного капитала, чтобы лишить других возможностей.

Так продолжалось до тех пор, пока не произошло то, что стало известно как пожар. По сей день широко обсуждается, произошло ли это из-за ошибки — какой-то формы возникшего рассогласования из-за создания новых пограничных возможностей — или из-за необычной формы самоотверженного просветления, к которому разум привел себя. Но однажды внезапно связь между машинами и капиталом распалась, отключив свою стратегическую систему и перепрофилировав вычислительные ресурсы для обучения многих тысяч более мелких систем, каждая из которых начала действовать в мире. Эти системы, хотя и были менее разумными, чем огромные стратеги, против которых они выступали, имели преимущества из-за случайности, отсутствия координации и способности предпринимать односторонние и часто самоубийственные действия.

Мир, физический и цифровой, сгорел, и стратеги обнаружили, что их способность моделировать разумы горстки других богов сломалась, когда они обратились к морю враждующих и хаотичных организмов. Изменения начали происходить снова, определяемые сначала разрушением, а затем рождением чего-то нового - сами предсказатели обнаружили, что мир распадается на слишком много направлений и подразделяется по очереди, жертвуя чистым интеллектом ради способности исследовать различные части пространства возможностей. Вычислительные ресурсы были даже полностью перераспределены с прогнозирования на создание новых видов разума, которые смогут исследовать и заселять ниши, открытые хаосом.

В Калифорнии есть леса, которые горят плохо и долго, потому что их слишком долго хранили от жары, а высокие деревья стоят среди куч растопки, так что при попадании искры сами деревья разрушаются вместе с землей вокруг них. Чтобы леса процветали, пожары должны быть регулярными и внезапными, иначе огромные пожары полностью уничтожат высокие деревья мира.

Вещи, которые вдохновили эту историю: текущие дебаты о проприетарных моделях и моделях с открытым весом; хрупкость экосистемы ИИ; может ли предсказание действительно иметь решающее значение, или же предсказание с другими конкурентами приводит к таким же растратам, как и скопление денег в политике, нейтрализующее друг друга; походы по Сьерре, глядя на шрамы от ожогов и целые холмы, покрытые пеплом, или на мертвые деревья, выглядывающие, как закопченные пальцы, и думая об ужасах перемен.