Энергия для искусственного интеллекта

Недавно вышла интересная статья от Леопольда Ашенбреннера, одного из членов команды, создававших Open AI. В ней он рассматривает перспективы развития искусственного интеллекта. В документе дан обзор важности данной технологии, скорости её развития, связанные с этим проблемы, потенциальные выгоды и опасности.

Для нас, конечно, главный вопрос – как на этом заработать? Помимо вариантов вкладываться в производителей чипов и корпорации, собирающихся создавать ИИ, считаю, что нужно внимательно рассмотреть тех, кто будет обеспечивать развитие этой  технологии.

Итак, вот что пишет автор: «За последний год разговоры переместились с вычислительных кластеров стоимостью 10 миллиардов долларов на кластеры стоимостью 100 миллиардов долларов и даже на кластеры стоимостью в триллион долларов. Каждые шесть месяцев в планы заседаний совета директоров добавляется еще один ноль. За кулисами идет ожесточенная борьба за обеспечение каждого энергетического контракта, который все еще доступен до конца десятилетия, каждого трансформатора напряжения, который, возможно, будет приобретен. Американский крупный бизнес готовится вложить триллионы долларов в давно невиданную мобилизацию промышленной мощи Америки.

К концу десятилетия производство электроэнергии в Америке вырастет на десятки процентов; от сланцевых месторождений Пенсильвании до солнечных ферм Невады  будут гудеть сотни миллионов графических процессоров.»

Вот как автор прогнозирует рост CAPEX корпораций с тех пор, как ChatGPT положил начало буму ИИ.

Ашенбреннер приходит выводу, что благодаря росту производительности процессоров — AGI (Artificial general intelligence: Общий Искусственный Интеллект, ИИ с разумом человеческого уровня) появится уже в 2027 году. Это будет разум, по своим возможностям сопоставимый с человеческим. Исходя из темпов прогресса за последние годы: с 2019 по 2023 год (от GPT-2 до GPT-4) был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником. Этот гигантский скачок произошел всего за 4 года.

На графике показаны приблизительные оценки прошлого и будущего увеличения эффективности вычислений (как физической, так и алгоритмической).

Возможно, автор слишком радикально смотрит на рост вычислительных мощностей на несколько порядков (OOM «order of magnitude», порядок величины, десятикратное увеличение) к 2030 году. Но то, что развитие этой технологии потребует роста мощностей – факт. В таблице даны приблизительные расчеты при масштабировании крупнейших кластеров для обучения ИИ.  Для расчета принят H100-эквивалент (топовый аппаратный процессор от Nvidia для ИИ). По оценкам аналитиков, GPT-4 был обучен на 25 тысячах A100, а производительность H100 в 2-3 раза выше, чем у А100.

«С каждым ООМ эффективность вычислений модели предсказуемо и надежно становятся лучше, как например, в OpenAI Sora. И стоит отметить, насколько последовательны эти линии тренда. Объединение статьи о законах масштабирования с некоторыми оценками, полученными с тех пор в области масштабирования вычислений и эффективности вычислений, позволяет получить устойчивую тенденцию масштабирования более чем на 15 порядков (более 1 000 000 000 000 000раз при эффективном вычислении)!»

Рост производительности графических процессоров потребует роста мощностей кластеров, колоссальных вложений и резкого роста потребления энергоносителей.

Все это приведет к тому, что  компании перейдут к созданию индивидуальных кластеров для обучения моделей стоимостью в сотни миллиардов долларов к 2028 году (одна из ключевых неопределенностей – насколько распределенным будет обучение: если бы вместо того, чтобы нуждаться в таком количестве энергии в одном месте, мы могли бы распределить ее между сотней мест, было бы намного проще). Кластеры будут требовать мощности, эквивалентной той, что требует небольшой штат США. А уже к концу десятилетия мы придем к кластерам стоимостью более чем в $1 трлн, требующим мощности более 20% от производства электроэнергии в США. Триллионы долларов пойдут на производство сотен миллионов GPU в год.

«Вероятно, самым большим ограничением со стороны предложения будет электроэнергия. Уже сейчас в ближайшей перспективе (1 ГВт/2026 г. и особенно 10 ГВт/2028 г.) электроэнергия стала сдерживающим фактором: свободных мощностей просто не так много, а контракты на поставку электроэнергии обычно заключаются на долгосрочную перспективу. А строительство, скажем, новой атомной электростанции гигаваттного класса занимает десятилетие.

Цукерберг купил 350 тысяч H100. Amazon приобрел дата-центр мощностью в 1 ГВт рядом с атомной электростанцией. Ходят слухи, что в Кувейте строится кластер мощностью 1 ГВт, эквивалентный 1,4 млн H100. А Microsoft и OpenAI работают над кластером стоимостью 100 миллиардов долларов (цифра, сопоставимая со стоимостью Международной космической станции).

Но главный вопрос пока что остается без ответа — где взять 10ГВт энергии? По грубым расчетам, именно столько энергии понадобится для кластера в 2028 году. Уже в 2030 году нужна будет мощность в 100 ГВт. Это мощность эквивалента 20% производства электроэнергии в США.»

Автор дает сравнение общего производства электроэнергии в США с приблизительными оценками спроса на электроэнергию ИИ. Опять же кажется потребности в электроэнергии в 2030 оцениваются слишком оптимистично.

Вопрос «быстрого» наращивания мощностей для новых гигаватт возможно решить за счет введения в строй новых АЭС (но их срок постройки не менее 5 лет и пока в США не слышно о новой масштабной программе развития мирного атома) и электростанций, работающих на газу. «Зеленая повестка» вероятно не даст строить новых угольных электростанций, но потребление угля всё равно пока не собирается снижаться. И если в Китае уже есть программа развития АЭС (сейчас китайский атом вырабатывает около 52 ГВт, в 2030 план 120 ГВт, а к 2035 – 180 ГВт), то в Соединенных Штатах основной энергоноситель, по словам автора, имеющийся у них в изобилии – природный газ:

«Даже кластер мощностью 100 ГВт на удивление выполним.

– В настоящее время только на месторождении Marcellus/Utica (около Пенсильвании) добывается около 36 миллиардов кубических футов газа в день; этого было бы достаточно для производства чуть менее 150 ГВт непрерывно с генераторами (а электростанции с комбинированным циклом работы могли бы вырабатывать 250 ГВт благодаря своему более высокому КПД).

— Сложнее всего было бы построить достаточное количество генераторов / турбин; это не просто, но кажется выполнимым при капитальных вложениях примерно в 100 миллиардов долларов на 100 ГВт электростанций, работающих на природном газе. Установки комбинированного цикла могут быть построены примерно за два года; сроки строительства генераторов были бы еще короче». Но опять возникает вопрос – а есть ли свободные мощности построить эти генераторы.

Ашенбреннер постоянно сравнивает историю ИИ с историей появления атомной бомбы. И не сомневается, что в гонку за его получение США и Китай вложат баснословные деньги.

Ну и главный вопрос для обсуждения: во что нам инвестировать, чтобы тоже получить с этого прибыль? Создание кластера для ИИ в России пока маловероятно, таких прорывных технологий у нас нет. Однако явно и Китаю и США потребуется всё больше энергоносителей, поэтому в фокусе компании, производящие газ, уран, уголь. К тому же Америке может потребоваться ещё больше газа на внутреннем рынке и поставки в Европу могут быть ещё сокращены (может поэтому Байден решил прекратить выдачу новых разрешений на экспорт СПГ из США)? Поэтому оценки Новатека, Казатомпрома, да и Газпрома думаю стоит пересмотреть в этой перспективе.

Но если кластеры для ИИ мы строить не будем, то новые ЦОДы на новых процессорах (пусть и в ограниченных количествах) у нас думаю будут появляться. Что отразится на прибылях Россетей и их дочек (в чьих регионах будут вводится эти ЦОДы), а также генерирующих компаний, например,  РусГидро или частично ЕН+. Но, разумеется, после очередного CAPEX в инфраструктуру.

Здесь оригинал статьи:

https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

Здесь её краткий обзор

https://habr.com/ru/companies/bothub/articles/819659/