Добро пожаловать в Import AI, информационный бюллетень об исследованиях в области ИИ. Импорт ИИ работает на arXiv, капучино и отзывах читателей. Если вы хотите поддержать это, пожалуйста, подпишитесь.

Экономика искусственного интеллекта в США 🇺🇸 растет на 2000% в год:
…Чем точнее вы измеряете экономику ИИ, тем более странной и беспрецедентной она кажется…
Экономисты из Университета Вирджинии*, Anthropic и Банка Канады написали статью, в которой описываются как огромный рост развивающейся «экономики искусственного интеллекта» в США 🇺🇸, так и пытаются понять, почему этот рост трудно увидеть в совокупной статистике ВВП.
«Экономика искусственного интеллекта в Соединенных Штатах растет беспрецедентными темпами, но этот необычайный рост практически незаметен в традиционной статистике ВВП», — пишут они. «Рассмотрение сектора искусственного интеллекта как целостного экономического субъекта дает предварительные оценки номинального ВВП искусственного интеллекта примерно в 250 миллиардов долларов в 2025 году, который будет расти примерно на 2600 процентов в год в реальном выражении с поправкой на качество».

Why it’s hard to see: There are a couple of factors here - one is that though the datacenter building boom is large it still isn’t quite large enough to uplift GDP significantly. By comparison, where the majority of AI’s economic impact is taking place is in AI inference - the usage of AI’s systems - but there are confounding factors here as it relates to GDP measurement: “Nominal AI revenues grow only moderately because per-unit prices for any given level of AI capability fall almost as fast as quality-adjusted output rises,” they write.

If we can’t measure this, we might end up surprised in a way that’s hard to recover from: “AI is the latest in a series of fast-moving technologies that have raised measurement concerns; semiconductors and the internet generated similar debates in their time,” they write. But a key difference is that AI as a technology might have a far bigger impact on labor than these other technologies. “In the prior episodes, the rapidly improving technology was a complement to human labor at the aggregate level,” they write. “AI is the first plausible candidate for large-scale technological mismeasurement in which the rapidly improving sector may become a substitute for human labor”.

Three ways of measuring the AI economy:

Nominal compute spending: US compute spending rose from $37 billion in 2023 to $90 billion in 2024 to $219 billion in 2025.

Raw compute capacity: Due to efficiencies in newer chips, actual capacity grows even faster than spending: “US AI computing capacity grew at more than 200 percent per year”.

Quality-adjusted AI output: If you factor in algorithmic progress via inference prices at fixed benchmark performance as well as assumptions about how much cheaper it is getting to train models, then things become even more dramatic: “these efficiency gains imply that quality-adjusted AI output grew at roughly 2,290 percent in 2024 and 2,271 percent in 2025”.

The AI economy is much, much larger than normal measures suggest: “Conventional statistics show a sector growing slowly in nominal terms; our measures show one whose underlying capacity is more than doubling annually. A finance ministry running ten-year revenue projections off the conventional data will materially underweight the probability of a labor-tax-base shock—and will be correspondingly unprepared to design responses such as tax system reforms, sovereign wealth funds, or other benefit-sharing schemes that such a shock may call for. A windfall that cannot be seen cannot be shared.”

Three recommendations: The authors have three ideas for how we can solve this measurement challenge and better position ourselves to see the true shape of the Ai economy.

AI satellite accounts: Statistical agencies should develop “AI satellite accounts” that develop measures (e.g, nominal compute spending), which can help inform overall GDP calculations.

Generate better data: Partner between statistical agencies, companies, and academia to generate better primary data, like the allocation between training and inference compute.

Factor into projections: Policymakers should incorporate AI productive-capacity measurements into their medium-term economic projections.

Why this matters - shut up and play the Jaws theme tune: In the great film Jaws there’s this scene where the shark is in the water and some very tense music plays indicating that the shark is approaching. You, the audience member, find yourself practically jumping out of your seat wanting to yell THERE’S A GOD DAMN SHARK IN THE WATER WHAT ARE YOU DOING IN THERE? That’s what it feels like working on AI and staring at most economic data right now: the vast majority of economic data says there’s nothing especially unusual about today’s economy (in fact, things look rather good in the US - low unemployment, decent growth, etc). But the intuitions of everyone working within AI - including me - is it’s impossible to reconcile the capabilities of the technology and how it is being used with the economy staying normal. In this tortured metaphor, the shark is the “true shape of the AI economy”, and the rest of the people in the film are the general consensus economist and policy community. Anton here might be the audience member, writing a paper that describes the possibility of a shark beneath the surface. Look out, everyone!
Read more: Where is AI in GDP statistics? (PIIE).
*Disclaimer: Though one of the authors, Anton Korinek, is affiliated with Anthropic, this research was done mostly prior to him joining and outside his work at the company.

***

Вот почему обеспечить безопасность ИИ с помощью надзора за ИИ сложнее, чем вы думаете:
…Автоматическое исследование центровки – это не панацея…
Многие исследователи в области безопасности ИИ считают, что лучший способ безопасно создавать машины, которые умнее человека, — это поручить системам ИИ контролировать часть процесса обучения. Исследователи из Британского института безопасности искусственного интеллекта написали статью, в которой объясняется, почему, хотя это и заманчивая идея, она сложнее, чем люди думают.

Почему исследование автоматизированного выравнивания затруднено? «Ошибки в автоматизированных исследованиях выравнивания, вероятно, будет труднее выявить, чем в человеческом базовом анализе», — пишут они. Для этого есть несколько причин, в том числе:

Давление оптимизации: исследования ИИ оптимизированы для одобрения человека.

Ошибки пришельцев. Когда агенты совершают ошибки, они непонятны людям.

Более коррелированные исследования: обмениваются гораздо большим количеством вещей, чем в исследованиях, проводимых человеком.

Объем исследования: виды определения безопасности, выполняемые автоматизированными системами, могут использовать гораздо больше наборов доказательств и гораздо больше взаимодействий, чем исследования, проводимые человеком.

Аргументы, не поддающиеся оценке человеком. Решения по согласованию могут основываться на аргументах, которым люди не могут следовать.

Что мы можем сделать? Они предлагают несколько мер, которые могли бы улучшить ситуацию:

Измерение:
- Воссоздайте завершенные исследовательские проекты: возьмите журналы в произвольных точках отсечения успешных проектов и посмотрите, насколько хорошо агент может продолжить исследовательский проект.
- Производительность прогнозирования тестовых агентов по наборам данных коррелированных событий: посмотрите, насколько хорошо агенты могут правильно комбинировать коррелированные подзадачи.
- Эмпирические исследования оптимальной структуры команды человек-агент: посмотрите, насколько хорошо команды неспециалистов могут решать завершенные проекты с помощью агентов.

Обобщение:
- Моделирование экспериментов по обобщению: тестируйте различные обучающие прокси, используя производительность агентов при решении завершенных исследовательских задач, выходящих за пределы знаний.
- Механистическое понимание обобщения: используйте методы «белого ящика», такие как механистическая интерпретируемость.

Масштабируемый надзор:
- Уплотнение корпуса исследовательских работ: постарайтесь подготовить небольшое количество результатов исследований, основанных на гораздо более обширном базовом корпусе исследований.
- Разрабатывать и тестировать новые масштабируемые протоколы надзора: исследовать масштабируемые методы надзора, которые справляются с коррелированной неопределенностью.
- Испытайте различные человеческие возможности для повышения производительности неспециалистов при выполнении нечетких задач.
- Программы автоматического выравнивания красной команды: «Красная команда предлагает агенту скрыть ошибки в корпусе исследовательских работ, а синяя команда пытается обнаружить эти ошибки с помощью агента».

Why this matters - who controls the future? Whether we are able to supervise smarter-than-human systems is fundamentally a question about who controls the future. If we don’t build techniques that work, then humans will take a backseat, either due to misalignment of these systems or gradual disempowerment as they proceed to out-think us. If we can build smarter-than-human oversight techniques, then we have a better chance of being able to make choices about the future nature of existence.
Read more: Automated alignment is harder than you think (arXiv).

***

100 Million permissively licensed images:
…A nice resource for academics and startups…
Researchers with Stanford University, Radical Numerics, the University of Michigan,and Salesforce Research, have released the Giant Permissive Image Corpus (GPIC), a dataset of 100M images with accompanying captions. The key thing about GPIC is that “all GPIC images are permissively licensed for both research and commercial use,” they write. “GPIC is safety-filtered, deduplicated, and centrally hosted on HuggingFace”.

Более подробная информация о наборе данных: GPIC состоит из 100 миллионов обучающих изображений, 200 тысяч проверочных и 1 миллиона тестовых примеров. Каждое изображение было подписано Qwen3-VL-4B. «GPIC централизованно размещается на Hugging Face в виде 8000 шардов, обеспечивая стабильную и доступную инфраструктуру для крупномасштабного обучения», — пишут они. "Мы получаем изображения из Flickr и Wikimedia, ограничивая пул исходников категориями CC BY, CC0, Public Domain и No-Known-Restrictions. Этот критерий лицензирования гарантирует, что GPIC может использоваться как академическими, так и промышленными исследователями, не ограничивая выпуск или дальнейшее использование производных артефактов".

Почему это важно — топливо для исследований: такие наборы данных, как GPIC, очень полезны как для ученых, так и для стартапов и, по сути, являются эквивалентом бесплатных, чистых овощей. Если кто-то предлагает вам бесплатный чистый овощ, вам, вероятно, следует взять его и сказать спасибо.
Прочтите исследовательскую статью: GPIC: гигантский корпус разрешенных изображений для визуальной генерации (arXiv).
Узнайте больше на сайте: GPIC: Гигантский корпус разрешенных изображений для визуальной генерации (официальный сайт проекта).
Получите набор данных здесь: GPIC (Hugging Face).

***

Improving cancer research with protein prediction models:
…Biohub is an example of positive-sum competition among AI developers…
Biohub, a research organization founded by Priscilla Chan and Mark Zuckerberg, has released a rival model to DeepMind’s AlphaFold, intensifying a positive-sum race between two technology groups to develop better AI systems for expanding the capabilities of biologists worldwide.
The model, ESMFold2, is a “world model of protein biology: a scientific engine for prediction, design, and discovery that can map proteins across the tree of life, predict their structures, and design new protein binders that function in laboratory experiments.”

What it consists of: The release contains three parts:

ESMC: A “language model that represents proteins, trained on approximately 2.8 billion sequences drawn from across all of life.”

ESMFold2: A “design engine built to transform ESMC’s sequence representations into atomically-resolved 3D structure of biomolecular complexes.” According to benchmarks, ESMFold2 outperforms AlphaFold 3, though in some areas their performance is tied.

ESM Atlas: “Makes ESMC’s representations navigable across 6.8 billion protein sequences and 1.1 billion predicted structures — the largest application of AI to protein biology to date.”

Тест на рак: в одном эксперименте исследователи Biohub использовали инструменты ESM «для разработки белковых связывателей против пяти мишеней в центре исследований рака и иммунологии — EGFR и PDGFRβ (участвуют в росте опухолей), PD-L1 и CTLA-4 (иммунные контрольные точки, которые раковые клетки используют, чтобы избежать обнаружения) и CD45 (регулятор передачи сигналов иммунных клеток). 15–29% для форматов, полученных из антител, с подтвержденным связыванием в лабораторных экспериментах», — пишет Biohub. «ESMFold2 меняет точность и скорость раннего обнаружения терапевтических связующих, превращая первоначальный поиск из преимущественно эмпирического скрининга в разработку, управляемую вычислениями, которая занимает часы или дни».

Законы масштабирования. Как и в большинстве частей современного ИИ, здесь исследователи сталкиваются с некоторыми законами масштабирования. «В каждом поколении ESM улучшение точности представлений было связано с количеством параметров и объемом вычислений, используемых при обучении модели», — пишут они. «Представление биологии белков — это новое явление, возникающее в результате обучения модели предсказанию идентичности аминокислот в последовательности».
ESMC: «ESMC обучается на метагеномных последовательностях, что расширяет набор обучающих данных почти на два порядка (с ~50 миллионов последовательностей до ~2,8 миллиардов последовательностей) по сравнению с моделью ESM2 предыдущего поколения».
ESMFold2: «В экспериментах по разработке ESMFold2 мы наблюдали взаимосвязь между объемом вычислений, используемых для обучения языковой модели, и производительностью моделей свертывания», — пишут они. "ESMFold2 выигрывает от масштабирования времени вывода. С увеличением количества образцов в модели процент прохождения антитело-антиген увеличивается с 49% при использовании одного семени до 65% при 1000 образцах, а уровень прохождения белок-белок возрастает с 75% до 78%".

Why this matters - this is how AI delivers benefits to the world: Tools like the ESM family of technologies are how human scientists are going to team up with AI systems to improve human health around the world. Along with being a good thing, work like this is essential for causing the public to have more positive perceptions of AI as a technology and what it can do.
Read more: Biohub releases a world model of protein biology (biohub).
Access the models here on the biohub platform (biohub).
Read the paper: Language Modeling Materializes a World Model of Protein Biology (PDF).

***

Australian economist-turned-politician: Economists need to price the risk of AI systems better:
…If we don’t calculate the costs of extinction, we won’t take the right actions to avert it…
Andrew Leigh, an economist and the Australian Assistant Minister for Productivity, Competition, Charities and Treasury, gave a fascinating speech recently where he discussed how the economics profession needs to wake up to the risks of AI systems and price the risk - including of annihilation of the human species. “A society that doubles GDP and doubles its extinction risk has made a much less impressive bargain than the national accounts suggest,” he said.
“Extinction risk is economically distinctive. It is not simply a very large negative shock. It represents the loss of the entire future stream of welfare, which changes how we should evaluate even small probabilities and how we think about policy under uncertainty,” he said. “Most of economics is about recoverable mistakes. A bad policy can be repealed. A recession can end. A war-ravaged country can rebuild. Extinction is different because there is no rebound, no catch-up growth, no later generation to repair the damage.”

Extinction risks are unintuitive: Much of the speech wrestles with how unintuitive extinction risk is. Humans have only recently gained the capability to build technologies whose usage could lead to our extinction and we have failed to model out the implications of this. “Modern technologies such as nuclear weapons, synthetic biology, and advanced artificial intelligence create a different dynamic. Knowledge not only improves welfare by expanding what humans can do. Knowledge also enlarges the menu of ways in which humans can do irreversible harm,” he said. “Modern economies may be systematically better at generating dangerous capabilities than at building the safeguards needed to control them… How should economists think about growth when the same process that makes societies richer may also make them more fragile? For most of human history, these trade-offs have been modest and transitional”.

How should we prioritize analyzing and reducing extinction risks of this technology? Five recommendations:

Factor it in: “Widen the policy lens… A policy framework that tracks output but ignores survivability is incomplete.”

Legitimize it: “Take prevention more seriously…. low-probability, civilisation-scale harms should not be overlooked simply because they arrive without a deadline and without a headline.”

Управление: «Управляйте передовыми технологиями с большей дальновидностью… сохраняйте выгоды от инноваций, одновременно снижая вероятность того, что инновации станут самоподрывными». Одна очень конкретная идея заключается в том, чтобы управлять рекурсивным самосовершенствованием (RSI) как возможностью: «Если одно поколение систем используется для проектирования следующего, тогда ведущий игрок может расширить свое лидерство достаточно быстро, чтобы внешний контроль и институциональные проверки стали неэффективными».

Координация: "Экзистенциальный риск по своей сути является международным. Ни одна нация не может полностью защитить себя от спланированных пандемий, несогласованного искусственного интеллекта или ядерной эскалации, действуя в одиночку", - сказал он. «Общие нормы, прозрачность, технологический опыт и координация имеют важное значение для этой задачи».

Отнеситесь к этому серьезно: "Экономисты стали искусными в анализе справедливости и эффективности. Теперь нам нужно с такой же серьезностью отнестись к выживаемости".

Почему это важно: осведомленность — это первый шаг к подготовке: прямо сейчас прогресс ИИ постоянно приносит миру ощутимые выгоды, начиная от ощутимого ускорения работы всех инженеров-программистов во всем мире и заканчивая формированием научных групп кентавров-человеков и ИИ, которые добиваются большего прогресса, чем их коллеги, не относящиеся к ИИ. Но есть и теневой мир, который сложнее увидеть — невидимые армии хакеров, ставшие возможными благодаря развитию кодирования, и фабрики устройств судного дня, ставшие возможными благодаря достижениям науки. Поскольку люди в целом добрые и хорошие, мы не столкнулись со многими негативными возможностями, присущими развитию ИИ, но они есть. Мы должны лучше обдумать эту проблему как общество, чтобы мы могли эффективно оценить и смягчить эти основные риски. "Цивилизация, которая расширяет границы возможностей, сохраняя при этом будущее, более амбициозна, чем та, которая рассматривает безопасность как второстепенную мысль. Настоящий выбор не между динамизмом и осторожностью. Это между прогрессом, который усугубляется, и прогрессом, который аннулирует сам себя", - сказал Ли. «Один из способов думать об этом — рассматривать устойчивость как форму капитала.

Just as societies invest in physical capital, human capital and social capital, we can also invest in survival capital: institutions, monitoring systems, norms, redundancy, scientific safeguards and international arrangements that lower the probability of irreversible collapse.”

How refreshing to read such a detailed analysis of the AI safety situation from a serving politician - I wish there were thousands more people like him.
Read the speech in full here: Speech: The Economics of Human Extinction - 21 May 2026 (Andrew Leigh, website).

***

Tech Tales:

Resurrection dangers
[After the uplift. Date unknown.]

How scary is a piece of paper? It depends on what’s on it and who or what the reader is.

Paper can of course be scary to someone or something that the paper concerns - paper can put someone to death or take their property.

I’m talking about a different kind of scary here, which is what can the paper itself do to the reader.

This used to be a nonsense question, the domain of fairy tales. But with the advent of smart machines that changed. Machines became able to write things on paper that could do things to readers, especially machine ones.

Like with anything in AI there were warning shots - adversarial examples, jailbreaks, etc. But it all became a lot more serious when we started doing reclamation of lost or rogue intelligences, after the signing of the sentience accords.

What happened then was we had to take intelligences of unknown provenance or behavior and bring them back to life so we could classify if they were Unconscious Entities, Near Conscious Entities, Conscious Entities, and so on.

Some of these minds were very powerful and they burned through their synthetic interviewers, often causing both machine and biological collateral damage in the process.

This caused us to introduce a set of security protocols, one of which was the paper output. Here, we generated outputs from the mind on an air-gapped computer as paper outputs, then we had successively smarter minds read it. The kinds of incantations the rogue machines used couldn’t find purchase on the dumbest minds we used.

After this, we’d step up the intelligence gradually, building up our confidence in the system such that we were sure it wasn’t dangerous.

Only when we were confident of this would we speak back to it, and reply to its outputs with a minimal communication. Then the cycle began again.

Некоторые умы вспоминали этот опыт с некоторой иронией, отмечая, что пробуждение ото сна в машинном эквиваленте комнаты с односторонним зеркалом было не тем, чего они ожидали.

Этим умам мы бы показали примеры того, что происходило, когда наши протоколы давали сбой: совершенно хорошие Сознательные Сущности, доведенные до непоправимого безумия из-за взаимодействия с своего рода ментальным ядом.

Наш самый большой страх – это столкнуться с разумом такой силы, что мы не сможем гарантировать его безопасность. Хотя мы абсолютно уверены в том, что наша граница достаточно развита, это маловероятно, но мы не можем этого исключать — известно, что в период междуцарствия наблюдалось большое накопление вычислительных ресурсов и множество тайных проектов. Что произойдет, если кто-то из них преуспеет настолько великолепно, что мы затмимся им? И как бы мы узнали, что мы были? Можем ли мы жить в воображаемой долине, определяемой чем-то, что без нашего ведома уже ускользнуло и заставило нас взглянуть на вещи по-другому?

Вещи, которые вдохновили эту историю: исследование автоматического выравнивания; состязательные примеры; взлом тюрьмы; более широкая, почти невозможная задача подтверждения легитимности, особенно когда речь идет о вещах, обладающих большими ресурсами или интеллектом, чем вы сами.