1. Теория
Все существующие нейросети это GPT (генерирующие натренированные трансформеры). Трансформер это преобразователь. Он превращает A->B, B->A. То есть, он генерирует приблизительный ответ B (строку) на основании входной строки (A).
=> Нейронка не анализирует смысл, смысла не заложено в её архитектуре. Она похожа на попугайчика, который на входе получает «что делает собачка», а на выходе генерирует «гав-гав». При этом, если спросить попугайчика, что такое собака, у попугайчика случится разрыв шаблона, поскольку концепт слов и их значений у него отсутствует.
Нейронки хороши в своей приблизительности и хорошо генерируют там, где точность не требуется. Приблизительную картинку нейронка нарисует влёгкую, сборочный чертёж (требующий и точности, и понимания) — нет. Программирование, как и любая инженерия, не потерпит неточностей.

2. Практика
По некоторым вопросам, нейронка генерирует откровенную лажу, отвечает невпопад. Но что гораздо хуже — иногда она попадает, создавая ощущение правильности ответа. В середине ответа, тем не менее, часто находится ошибка.
Если ты тематики не знаешь (а потому и вопрошаешь) — ты примешь ошибочный сгенерированный ответ за истину и возьмёшь в работу. А потом будешь две недели выяснять, где же ошибка в коде. А ошибка будет логическая, в построении.
Т.е. ей нельзя доверять даже гуглить на стеке и гите — может наврать.
Любые более-менее сложные проекты, требующие удержания контекста, нейронка не напишет — тут просто без шансов.
Маленькие функции и участки кода пишутся быстрее и без ошибок руками — hotkey, скоропечатанье и какой-нть Intellisense, и вот ты уже пишешь функцию быстрее, чем Петя набирает промпт (который ещё нужно сформировать).
Большие модули нейронка напишет быстро, а отлаживать ты всё это будешь неделю, причём нет гарантий, что код вообще заведётся.

Так что лучше месяц писать и день отлаживать, чем наоборот, поскольку во втором случае нет никаких гарантий.

Так что все эти влажные мечты завидующих о замене кодеров удобной волшебной единорожкой можно смело пропускать: это вбросы.
Крупные американские компании облажались по полной — они вложили ярды в нерабочую архитектуру под влиянием отдельных манагеров. Теперь последние, дабы не оказаться на плахе корпората, с экрана будут пороть любую лажу и рисовать наивным и доверчивым заоблачные горизонты в надежде замедлить падение тренда и немножечко отбить потери.