1. Теория
Все существующие нейросети это GPT (генерирующие натренированные трансформеры). Трансформер это преобразователь. Он превращает A->B, B->A. То есть, он генерирует приблизительный ответ B (строку) на основании входной строки (A).
=> Нейронка не анализирует смысл, смысла не заложено в её архитектуре. Она похожа на попугайчика, который на входе получает «что делает собачка», а на выходе генерирует «гав-гав». При этом, если спросить попугайчика, что такое собака, у попугайчика случится разрыв шаблона, поскольку концепт слов и их значений у него отсутствует.
Нейронки хороши в своей приблизительности и хорошо генерируют там, где точность не требуется. Приблизительную картинку нейронка нарисует влёгкую, сборочный чертёж (требующий и точности, и понимания) — нет. Программирование, как и любая инженерия, не потерпит неточностей.

2. Практика
По некоторым вопросам, нейронка генерирует откровенную лажу, отвечает невпопад. Но что гораздо хуже — иногда она попадает, создавая ощущение правильности ответа. В середине ответа, тем не менее, часто находится ошибка.
Если ты тематики не знаешь (а потому и вопрошаешь) — ты примешь ошибочный сгенерированный ответ за истину и возьмёшь в работу. А потом будешь две недели выяснять, где же ошибка в коде. А ошибка будет логическая, в построении.
Т.е. ей нельзя доверять даже гуглить на стеке и гите — может наврать.
Любые более-менее сложные проекты, требующие удержания контекста, нейронка не напишет — тут просто без шансов.
Маленькие функции и участки кода пишутся быстрее и без ошибок руками — hotkey, скоропечатанье и какой-нть Intellisense, и вот ты уже пишешь функцию быстрее, чем Петя набирает промпт (который ещё нужно сформировать).
Большие модули нейронка напишет быстро, а отлаживать ты всё это будешь неделю, причём нет гарантий, что код вообще заведётся.

Так что лучше месяц писать и день отлаживать, чем наоборот, поскольку во втором случае нет никаких гарантий.

Так что все эти влажные мечты завидующих о замене кодеров удобной волшебной единорожкой можно смело пропускать: это вбросы.
Крупные американские компании облажались по полной — они вложили ярды в нерабочую архитектуру под влиянием отдельных манагеров. Теперь последние, дабы не оказаться на плахе корпората, с экрана будут пороть любую лажу и рисовать наивным и доверчивым заоблачные горизонты в надежде замедлить падение тренда и немножечко отбить потери.

ИИ на входе получает А и с блеском отыщет наилучшие Б, В и Г.

Но решение задачи может лежать в плоскости вне а, б, в, г, а среди яблок и закатов) на это способно только сознание, не интеллект

ЧатГПТ придумали айтишники

Тем временем все остальные кричат, что ЧатГПТ накроет работу айтишников медным тазом. Гыыы. Логично же.

У программистов уже есть инструменты типа Копилота, пытаются что-то угадать и подсказать, иногда получается, иногда нет. Но это уровень ближайшей строчки.

Пока ИИ инструменты просто сокращают этап гугления. Раньше на этого много времени уходило — похоже скорее на продвинутый поиск по стековерфлоу. Но даже тут не редко ИИ выдает ахинею и нерабочий код. В общем пока это скорее продвинутый гугл.

Еще есть проблемка с подключением ЧатГПТ к проекту с т.з. безопасности. Где гарантия, что ЧатГПТ не отдаст данные доступа к условным серверам одной компании в ответе для другой компании. Или сама ОпенАИ (или другая контора) не сохранит их себе.