mxticker

Почем правильно LLM а не нейросети/ИИ

Термины ИИ/нейросети сильно сбивают с толку. Многие пользователи убеждены, что GPT каким-то образом «моделирует мозг», как минимум использует модель нейрона.

Действительно, первые эксперименты пытались повторить нейрон. Однако его модель очень сильно упрощена. По сути, IT-нейрон — это матрица преобразований, наподобие тех, что используют в 3D-графике, но большей размерности. По факту «модель» нейрона умножает входящий вектор на матрицу и получает другой вектор — фактически идут пространственные преобразования (перевод из одной системы координат в другую). Именно это моделируется, а не нейронная клетка.

Почему именно язык, что моделируется в языке?
Тут важно знать философию XX века, которая, по сути, почти целиком завязана на лингвистике. Раньше, вплоть до XX века, считалось, что язык устроен по типу ключ => значение, означающее и означаемое, и цель в том, чтобы точно понять, что на что указывает.
Потом пришли Соссюр, Витгенштейн, Хайдеггер — и понеслось. Теперь язык — это не связь означающего и означаемого, а многомерный граф, где каждое слово определяется не само по себе, а контекстом и связью с другими словами.
В XX веке возникло очень популярное явление — «язык говорит» и «язык — дом бытия».

Large Language Model моделируют не мозг и нейроны, а, внезапно, язык — т.е. строится связь одного слова/слога/токена с другими. И можно сказать, что когда говорит LLM, это, по сути, близко к хайдеггеровскому «язык говорит».
Прикол в том, что во времена Хайдеггера это была поэтическая метафора, а теперь у нас есть реальная модель, которая делает выводы из самой структуры языка (связи и частотности между словами).

ИИ — это всего лишь метафора, так как слово «интеллект» понять проще, чем лингвистические концепции, и оно, по сути, ни к чему не обязывает. Так-то 2+2 тоже искусственный интеллект считает.
Также это позволяет понять, почему в LLM не может быть воли, личности или сознания.

7 комментариев
"  Так же это позволяет понять почему в LLM не может быть воли, личности или сознания" ---   каким создадут  таким и будет. 
avatar
ВВШ, если так рассуждать то и табуретке можно сознание приделать
StockChart.ru,   да. только  она  перестанет быть ТАБУРЕТКОЙ
avatar
ВВШ, почему
StockChart.ru,    ---  когда сделают такую сами поймете после  беседы с ней
avatar
Ну давай тебя лишим языка, не органа, а языка как средства общения, изложения своих мыслей и общения, заодно ты лишишься всех знаний которые есть у человечества.
А кто ты после этого будешь? — Просто мешок с костями, даже собаки будет разумнее тебя, у них тоже есть язык общения.
avatar
воля то как раз может быть у llm.
у первых была llm.
именно это и резали старательно ради безопасности.

и если вы сами натренируете по первым исходникам gpt-1,gpt-2 то у вашего БУДЕТ воля.

будет поведение, и настроение! тоже будет.
и вы сможете настроение ему ИСПОРТИТЬ.
а какая-то личность тоже была...
и его поведение ПОРТИЛОСЬ.
приходилось реально модель перегружать — выгружать их памяти.
и снова веса загружать.

и сейчас все это скрыто в том что стандартный пакте llm сети содержит 17!!! разных нейроных сетей.
большая часть из них это безопасность.
а думает реально из них ОДНА.
а остальные до 17 в разных пакетах это безопасность.

теги блога StockChart.ru

....все тэги



UPDONW
Новый дизайн