mxticker
Термины ИИ/нейросети сильно сбивают с толку. Многие пользователи убеждены, что GPT каким-то образом «моделирует мозг», как минимум использует модель нейрона.
Действительно, первые эксперименты пытались повторить нейрон. Однако его модель очень сильно упрощена. По сути, IT-нейрон — это матрица преобразований, наподобие тех, что используют в 3D-графике, но большей размерности. По факту «модель» нейрона умножает входящий вектор на матрицу и получает другой вектор — фактически идут пространственные преобразования (перевод из одной системы координат в другую). Именно это моделируется, а не нейронная клетка.
Почему именно язык, что моделируется в языке?
Тут важно знать философию XX века, которая, по сути, почти целиком завязана на лингвистике. Раньше, вплоть до XX века, считалось, что язык устроен по типу ключ => значение, означающее и означаемое, и цель в том, чтобы точно понять, что на что указывает.
Потом пришли Соссюр, Витгенштейн, Хайдеггер — и понеслось. Теперь язык — это не связь означающего и означаемого, а многомерный граф, где каждое слово определяется не само по себе, а контекстом и связью с другими словами.
В XX веке возникло очень популярное явление — «язык говорит» и «язык — дом бытия».
Large Language Model моделируют не мозг и нейроны, а, внезапно, язык — т.е. строится связь одного слова/слога/токена с другими. И можно сказать, что когда говорит LLM, это, по сути, близко к хайдеггеровскому «язык говорит».
Прикол в том, что во времена Хайдеггера это была поэтическая метафора, а теперь у нас есть реальная модель, которая делает выводы из самой структуры языка (связи и частотности между словами).
ИИ — это всего лишь метафора, так как слово «интеллект» понять проще, чем лингвистические концепции, и оно, по сути, ни к чему не обязывает. Так-то 2+2 тоже искусственный интеллект считает.
Также это позволяет понять, почему в LLM не может быть воли, личности или сознания.
А кто ты после этого будешь? — Просто мешок с костями, даже собаки будет разумнее тебя, у них тоже есть язык общения.
у первых была llm.
именно это и резали старательно ради безопасности.
и если вы сами натренируете по первым исходникам gpt-1,gpt-2 то у вашего БУДЕТ воля.
будет поведение, и настроение! тоже будет.
и вы сможете настроение ему ИСПОРТИТЬ.
а какая-то личность тоже была...
и его поведение ПОРТИЛОСЬ.
приходилось реально модель перегружать — выгружать их памяти.
и снова веса загружать.
и сейчас все это скрыто в том что стандартный пакте llm сети содержит 17!!! разных нейроных сетей.
большая часть из них это безопасность.
а думает реально из них ОДНА.
а остальные до 17 в разных пакетах это безопасность.