Экономика ИИ. Что просочившаяся записка Google говорит о будущем ИИ?

Искусственный интеллект с открытым исходным кодом переживает бум. Это снижает вероятность того, что горстка фирм будет контролировать технологию.

Они изменили мир, написав программное обеспечение. Но технари также известны тем, что сочиняют длинные заметки, самые известные из которых отмечены поворотными моментами в вычислительной технике.

Вспомните меморандум Билла Гейтса «Интернет-приливная волна» 1995 года, который переориентировал Microsoft на Интернет; или меморандум Джеффа Безоса «мандат API» от 2002 года, который открыл цифровую инфраструктуру Amazon, проложив путь для современных облачных вычислений. Теперь технари обсуждают еще одну записку, на этот раз просочившуюся из Google, под названием «У нас нет рва».

Его неизвестный автор подробно описывает удивительный прогресс, достигнутый в области искусственного интеллекта (ИИ), и ставит под сомнение некоторые давние предположения о балансе сил в этой быстро развивающейся отрасли.

ai ворвался в общественное сознание с запуском в конце 2022 года Chatgpt, чат-бота, работающего на «большой языковой модели» (llm), созданной Openai. Его успех побудил Google и другие технологические компании выпустить собственных чат-ботов на базе LM.

Такие системы могут генерировать текст и вести реалистичные разговоры, потому что они были обучены с использованием триллионов слов, взятых из Интернета.

Обучение крупной компании занимает месяцы и стоит десятки миллионов долларов. Это привело к опасениям, что в сфере искусственного интеллекта будет доминировать несколько фирм с большими карманами.

Но это предположение неверно, говорится в меморандуме Google. В нем отмечается, что исследователи в сообществе открытого исходного кода, используя бесплатные онлайн-ресурсы, в настоящее время достигают результатов, сравнимых с крупнейшими проприетарными моделями.

Оказывается, llm можно «тонко настроить» с помощью техники, называемой адаптацией низкого ранга или LoRa. Это позволяет оптимизировать существующий llm для конкретной задачи гораздо быстрее и дешевле, чем обучение llm с нуля.

Активность в области искусственного интеллекта с открытым исходным кодом взорвалась в марте, когда в сеть просочилась модель llama, созданная Meta.

Хотя llama меньше самого большого llm (его самая маленькая версия имеет 7 миллиардов параметров по сравнению с 540 миллиардами для Google), его быстро настроили, чтобы в некоторых задачах он давал результаты, сравнимые с исходной версией Chatgpt.

По мере того, как исследователи открытого исходного кода основывались на работе с llama, «за этим последовало огромное излияние инноваций», — пишет автор меморандума.

Это может иметь сейсмические последствия для будущего отрасли.

«Входной барьер для обучения и экспериментов снизился с общей производительности крупной исследовательской организации до одного человека, вечера и мощного ноутбука», — говорится в меморандуме Google.

LLM теперь можно настроить за 100 долларов b несколько часов.

Благодаря своей динамичной, совместной и недорогой модели «открытый исходный код имеет ряд существенных преимуществ, которые мы не можем воспроизвести». Отсюда и название меморандума: это может означать, что у Google нет защитного «рва» от конкурентов с открытым исходным кодом. Как, впрочем, и Openai.

Не все согласны с этим тезисом.

Это правда, что Интернет работает на программном обеспечении с открытым исходным кодом. Но люди также используют платное проприетарное программное обеспечение, от Adobe Photoshop до Microsoft Windows. ai может найти аналогичный баланс. Кроме того, общеизвестно, что бенчмаркинг систем искусственного интеллекта сложен.

Тем не менее, даже если служебная записка частично верна, подразумевается, что доступ к технологии искусственного интеллекта будет гораздо более демократичным, чем это казалось возможным еще год назад.

Мощные llm можно запускать на ноутбуке; любой, кто хочет, теперь может точно настроить свой собственный ИИ.

Это имеет как положительные, так и отрицательные последствия. С положительной стороны, это делает монопольный контроль над ИИ горсткой компаний гораздо менее вероятным.

Это значительно удешевит доступ к ИИ, ускорит инновации в этой области и облегчит исследователям анализ поведения систем ИИ (их доступ к проприетарным моделям был ограничен), повысив прозрачность и безопасность. Но более легкий доступ к ИИ также означает, что злоумышленники смогут точно настроить системы для гнусных целей, таких как создание дезинформации.

Это означает, что попытки Запада помешать враждебным режимам получить доступ к мощным технологиям искусственного интеллекта потерпят неудачу. И это затрудняет регулирование ИИ, потому что джин выпущен из бутылки.

Действительно ли Google и ему подобные потеряли свой ров в ИИ, скоро станет очевидным.

Но, как и в предыдущих заметках, это кажется еще одним поворотным моментом для вычислений.

Оригинал

P.S. Подпишитесь на проект «КОГоть» — “КраткоОГлавном” в Телеграм, Дзен, VK и Youtube