Вкратце про Generative AI — что это?

GPT — это сокращение от Generative Pre-trained Transformer «генеративный предварительно обученный трансформер». Это специальный класс крупных нейросетей, который появился совсем недавно — в 2017 году, а тот самый ChatGPT стал доступен общественности в прошлом году и сразу завоевал популярность благодаря своим качественным ответам, невиданным ранее у нейросетей. Сейчас GPT-нейросети могут генерировать текст, качественно переводить языки, создавать изображения и музыку подчас неотличимые от профессиональной работы. И все это на новом качественном уровне, что открывает новую степень полезности для внедрения во все области деятельности человека.

Почему это очень ресурсоемко

Для получения качественно лучших результатов ChatGPT использует 175 млрд параметров, это очень много. Вам нужно 5 карт Nvidia A100 80Gb только, чтобы загрузить модель. А скорость генерации текста будет порядка 15 слов в секунду.
Стоимость одной такой карты A100 — $16,895, то есть минимум денег только на карты это $85K.

( Читать дальше )