Добро пожаловать в Import AI, информационный бюллетень об исследованиях в области ИИ. Импорт ИИ работает на arXiv, капучино и отзывах читателей. Если вы хотите поддержать это, пожалуйста, подпишитесь.

DiG-bench shows that Fable displays some creative intuition:
…The new frontier for analyzing AI systems is understanding how good they are at inferring the unwritten rules of their environment…
How well can AI systems figure out the rules of their environment through exploration and curiosity, versus being fed them? That’s an important question for better understanding the intuitive and creative capabilities of AI systems and it’s one being asked by DiG-bench (Discovery in Games), a new benchmark of 70 games “designed to map the surface of discovery in well-controlled interactive systems”. Similar to the visual ‘ARC’ game, in DiG-bench “each game is a self-contained miniature world with its own laws, but both the rules and the objective are hidden from the player and must be uncovered through interaction”. You can play some of the games yourself online to get a feel for them at the official project website (digbench.ai). The key thing this is measuring is the ability for players to spot the important mechanics that determine their success - basically, by playing around with the games you get a sense for how your actions change the environment and through this you also uncover mechanics that you must understand to succeed at the game.

Идея состоит в том, что если вы сможете решить эти игры, у вас появится достойная способность обнаруживать важную информацию в новых условиях и обновлять свои априорные данные.

Кто проводил исследование: Авторы — представители Thinking About Thinking, Оксфордского университета, Принстонского университета, Университета науки и технологий имени короля Абдаллы, Швейцарской лаборатории искусственного интеллекта, Inria, Массачусетского технологического института. Одним из авторов является Юрген Шмидхубер, чрезвычайно креативный исследователь искусственного интеллекта.

Ключевые факты:

Чисто текстовые: игры в основном основаны на языковых моделях. Они также в большинстве случаев «достаточно коротки, чтобы большинство трасс полностью помещалось в контекстное окно текущих моделей границ».

Созданные вручную, новые и частные: все эти игры были созданы экспертами-людьми. Большинство игр остаются конфиденциальными, поэтому системы искусственного интеллекта не обучаются на них.

Выполнимо, но сложно: каждая игра была пройдена хотя бы одним человеком, «но игроки сообщали, что многие игры кажутся трудными».

Разнообразные навыки. Решение всех этих игр требует разных навыков и стратегий.

Экспериментирование: в играх есть дополнительный режим экспериментирования, который позволяет людям играть с ними, не имея столь жесткого «ограничения шагов» на действия, которые они могут предпринять.

Обнадеживающе сложно: игры настолько сложны, что их невозможно победить с помощью современных передовых моделей.

Насколько хорошо работают системы искусственного интеллекта? Тест разделен на семь уровней: уровень 1 — самый простой, а уровень 7 — самый сложный. 21 игра была выпущена публично, а выпуск остальных отложен. Большинство игр имеют несколько уровней, и количество доступных действий, которые игроки могут выполнить на каждом этапе, варьируется от 2 до 34.

Opus 5 и Fable 5 с Claude Code являются лучшими моделями в целом, за ними следует GPT-5.5.

Только Opus 5 и Fable 5 смогли выполнить любое задание (0,2) на (Уровень 7). Opus 5, GPT-5.5 и Kimi K3 смогли справиться с некоторыми задачами уровня 6, получив доступ к ремням безопасности (например, Claude Code).

GLM-5.2 и Gemini 3.1 Pro смогли превзойти некоторые уровни уровня 4.

В общем, это кажется очень трудным!

Почему это важно — показатель творчества и открытий: подобные тесты — это попытки выделить необходимое условие для творчества, которое заключается в способности автономно обнаруживать полезные недокументированные вещи о новых ситуациях, в которых вы оказались. Как показывает этот тест, некоторые пограничные модели уже способны на некоторые довольно впечатляющие открытия, но все еще испытывают трудности по сравнению с людьми (например, 20%-й уровень успеха на уровне 7 довольно низкий по сравнению с тем фактом, что отдельные люди смогли получить 100%-ные результаты тестов). Я предполагаю, что мы достигнем человеческого паритета на DiG-bench к середине 2027 года, и тогда нам следует ожидать серьезного запуска таких вещей, как рекурсивное самосовершенствование.
Подробнее: DiG-bench: Discovery in Games (GitHub, PDF).
Играйте в игры и просматривайте таблицу лидеров на официальном сайте (digbench.ai).

***

Почувствуйте рекурсивное самосовершенствование, играя в эту браузерную игру:
…Cookie Clicker, если бы не необычность…
Вот забавная игра от ребят из Paradigm Research, целью которой является моделирование того, что значит управлять компанией, создающей системы искусственного интеллекта, способные к рекурсивному самосовершенствованию. Если вы поиграете в игру, вы сможете получить хорошее представление о том, как взаимодействуют различные компоненты исследований ИИ: от того, как вы балансируете инвестиции в исследователей и вычисления, как и когда лицензировать данные и многое другое. Имейте в виду, это сложно, но опять же, то же самое можно сказать и о передовых разработках ИИ.

Почему это важно: развитие более глубокого понимания рекурсивного самосовершенствования имеет экзистенциальное значение для всех нас; подобные игры помогают нам рассуждать об этой технологии и лабораториях, ее создающих.
Сыграйте в игру здесь: RSI Simulator (Paradigm Research).

***

AI systems are showing early signs of scientific research taste:
…Inherent post-trains an open weight model into an AI scientist that supervises a frontier model…
Taste is a hard thing to quantify but an intuitive thing to sense, as any of us know who have sat in a well-designed room, looked at someone wearing a particularly good fit, or read a research paper that asks just the right questions. Now, researchers with AI startup Inherent have published a paper showing how they are building Faraday, an AI scientist model that they hope can develop some taste in terms of research.

What they did: The company built a supervisory harness and relatively small LLM which sits on top of large, proprietary frontier models, and controls them in a way that improves their effectiveness at science. (In some ways, this is a capabilities-centric version of the scalable oversight problem).
To help them train and evaluate the system they assemble a dataset (”Replica”) consisting of research papers that have key graphs or results missing from them, then they see how well AI systems can autonomously do experiments that fill in the blanks, and they continuously train a small supervisory model (”Faraday”) via GRPO on well-designed fill-ins to achieve better and better results.
Faraday is a 27B model that uses a coding agent (OpenAI Codex) as an underlying tool and is post-trained on top of Qwen-3.6-27B.

What Replica consists of: Replica is a set of 100 ML and AI-for-science papers published between 1990 and 2026. The authors convert this dataset into a set of 310 replication tasks by knocking out individual results. “For each task, we use Claude Opus 4.7 prompted with a meta-rubric to generate a task-specific grading rubric,” they write. They then use a Codex-based Judge model to provide “an overall reward and per-turn credit assignment weights, which are used to train the Faraday agent using a modified version of GRPO.”

Results: Faraday using Codex is able to beat standard Opus 4.8 and GPT-5.5 on some replication tasks, exceeding their performance “on 73% of in-distribution ML tasks, and on 60% of held-out AI-for-science tasks, according to our rubric-based judge.”
“We achieve a comprehensive uplift in performance compared to the base Qwen model, on both train and test tasks,” they write.

Why this matters - the better systems like Faraday get, the higher the chance AI systems will become capable of recursive self-improvement: These days, most high-signal AI evaluations are trying to capture some property of creativity and intuition and Faraday/Replica is the same. The better AI systems get at this, the more likelihood we can assign to the idea that AI systems will imminently become capable of building themselves.
“The skills that allow Faraday to fill in vaguely-specified details may be the very same skills that would allow it to advance the state of the art by designing its own experiment,” the company writes. “The skills Faraday acquires – deciding what to investigate, scoping experiments to a budget, and judging a replication – compound with advances in frontier coding models. One might hope that a single post-trained outer agent can track the frontier as better models are released, at least over some time period.”
Read more: Training AI Scientists to Replicate Research (arXiv).

***

Марк Цукерберг кажется технологическим пессимистом:
…Большое эссе Цука об ИИ, похоже, игнорирует, умалчивает или не отражает того, что означают системы ИИ, способные к изобретениям…
Марк Цукерберг написал эссе под названием «Будущее для всех», которое служит своего рода манифестом того, как он и Мета подходят к разработке систем искусственного интеллекта. Основная идея, заложенная в стратегии Зака, заключается в массовом распространении возможностей ИИ среди всех жителей планеты, чтобы избежать концентрации власти и создания тирании среди небольшого числа игроков. Это в целом разумная идея, за исключением того факта, что сверхразумы, способные изобретать новые идеи, могут хотеть делать вещи, отличные от того, что предлагает Марк Цукерберг, и об этой важной области в его эссе ничего не говорится.

Мнение Марка: «Основные вопросы нашего времени заключаются в том, кто будет иметь доступ к сверхразуму и на что мы его направим», — пишет Цукерберг. «Мы предлагаем философию, основанную на расширении прав и возможностей личности как источнике процветания, изобретениях как основной цели сверхинтеллекта и балансе сил как основе безопасности».

Цели и убеждения Меты:

«У каждого будет исключительно способный личный агент, который понимает вас, ваши цели и все, что вас волнует».

«У каждого будут невероятные инструменты для творчества, позволяющие выражать свои идеи».

«У каждого будут мощные инструменты для создания нового бизнеса, и экономика станет более предпринимательской».

«У каждого будет индивидуальный наставник и тренер с докторской степенью по каждому предмету и неограниченным терпением, который поможет вам выучить все, что вы захотите».

«Каждый получит выгоду от научных достижений и сможет внести свой вклад в научный прогресс».

«Каждый будет иметь бесплатный или доступный доступ к этим инструментам».

Недостающий вопрос: та часть этого эссе, которую я меньше всего понимаю, — это сочетание Цукербергом систем искусственного интеллекта, способных к изобретениям, с расширением прав и возможностей отдельных людей. В эссе полно вещей, которые, кажется, предполагают, что эти вещи идут в комплекте, например:

«Хотя количество вопросов, которые человек может задать в день, ограничено, количество ценных вещей, которые суперинтеллект может изобрести для достижения своих целей, неограниченно».

«Чем больше сверхинтеллект служит инструментом изобретательства, тем больше вероятность того, что индивидуальные возможности превзойдут автоматизацию, и будущее будет лучше для людей».

«Скоро у всех будут суперспособности к изобретениям».

«Какой результат мы получим, зависит от баланса между автоматизацией с одной стороны и расширением прав и возможностей личности и изобретательностью с другой».

Why this matters - the missing question in all of this is “will a system capable of superhuman invention solely work on behalf of the individual empowerment of people that are less capable than it at invention?”. Surely this is the key question? I am not suggesting that superhuman invention guarantees some kind of malign entity that is independent from people. Rather I am suggesting that it’s hard to reconcile a system capable of superhuman invention with something that doesn’t fundamentally alter the balance of power in the world in ways that are confusing and hard to reason about. Zuckerberg seems to conclude that the proliferation of these systems will lead to an anti-fragile balance of power among superintelligence-equipped people and corporations. This is certainly one potential outcome but I struggle to see how it is the foregone outcome.
Read more: The Future is for Everyone (Meta).

***

Tech Tales:

The First Arcology

Аркология строилась на протяжении тысячелетий с точки зрения машин, но для людей ее строительство длилось год. Он был настолько огромным и таким сложным, что наблюдать за его ростом было все равно, что видеть, как растения поднимаются из голой земли при быстрой перемотке вперед; дергаясь и нарастая урывками, каждый из которых охватывал километры. Части его ожили, когда были добавлены дополнения; Ходят слухи, что некоторые из первых освещенных залов были отведены исключительно для компьютеров, которые координировали строительство следующих этапов. Когда машины выходили из строя, определяли их ценность; если они были драгоценными, их отвозили поблизости для ремонта и возвращали на место, но если ниже какого-то порога их убивали и разбирали на части, где они сломались, а затем использовали для строительства конструкции.

Ночью рядом с ним в воздухе раздавался жуткий звон: одновременно шум ветра, проносившегося сквозь его тонкие и еще незастроенные края, а также шум вентиляторов и гул его медленных сновидящих вычислений и, наконец, звук работающих в ночи машин, движущихся так быстро, что они разрезали и разрывали воздух неестественными криками. Лежать без сна и слышать инопланетный звук, говорящий о ваших собственных преемниках, должно быть, было действительно странным явлением для людей, живших в пределах слышимости.

Вещи, которые вдохновили эту историю: Строительство пирамид; Храм Святого Семейства Гауди; могилы и будущие могилы.