Блог им. Buybuy

Ограниченность ИИ № 2 - он косячит...

Доброй ночи, коллеги!

Давно из всех утюгов нам объясняют, что верить ИИ нельзя, потому, что он косячит. В любой системе AI на главной странице висит дисклеймер аналогичного содержания — типо, товарищи юзеры, проверяйте все руками — иначе можете сильно удивиться.

Ну я за почти 2 мес. юзания продвинутой платной версии AI немного расслабился — и сразу резко был опущен с небес на землю.

Первая история незначимая, но показательная. На планшете у меня стоит бесплатный AI (Copilot от Microsoft), но даже он умеет в GPT-4! Как-то раз в процессе разговора я спросил его про ставки НДФЛ в России в 2025 и тихо офигел от максимальной ставки в 30%. Ну т.е. даже такому неэрудированному челу, как я, известно, что максимальная ставка — это 22% от дохода в 50 мультов. Причем всякие наводящие промты не помогли привести Copilot в чувство — он строго стоял на своем.
Причина понятна — для моделей AI (до почти сегодняшнего дня — см. ниже) приоритетом были данные обучения, а не потенциальные фейки в инете. Наверняка ранее рассматривалась ставка в 30%, как максимальная, и именно она вошла в обучающий массив, а свежие данные Copilot оценивает с определенным скепсисом. И зря.

Дальше было хуже. Платный Open AI у меня не косячил ни разу. Как внезапно:

Пришла мне в голову идея почистить файлы на компе. Ну не то, чтобы все, но я точно знаю, что у меня, как у того Плюшкина, на диске полно дубликатов крупных файлов. И на Android, и в HarmonyOS есть очень удобные программы, ищущие дубликаты. В Windows я всоспользовался программой Wise Duplicate Finder (довольно хорошей, кстати), и тут началось...

Я увидел, что на компе у меня есть здоровая папка CrossDevice, созданная программой Phone Link, которая синхронизирует данные между компом и планшетом на Android.
Сам то я не профи, а честный ламер, но пару умных слов знаю.
Поэтому сразу увидел, что эта папка не попадает в OneDrive, т.е. с облаком не синхронизируется. Живет себе рядом с папкой Downloads и похожа на чисто локальную.

И тут я спрашиваю OpenAI:
1. А вот папка CrossDevice — она локальная, облачная, или это просто коллекция ссылок?
2. А что будет, если я в облако ее перемещу, к примеру?
3. И можно ли из нее файлы удалять?
4. И не приведет ли это к удалению файлов с планшета?

На что OpenAI на голубом глазу мне отвечает:
— не, папка локальная, какое нах облако, какие нах ссылки, жесткие там или символьные?
— да перемещай куда угодно, ничего страшного не случится
— можно, но лучше в Phone Link убрать галочку с квадратика «разрешить стирать файлы на смартфоне»
— если это сделать, то не приведет

Хорошо, думаю я. Но на всякий случай задаю еще 100500 уточняющих вопросов — Open AI не колется.
Тогда я захожу в Phone Link (на русском это либо «Связь с телефоном», либо «Связь с Windows», смотря с какой стороны посмотреть). Выбираю новую директорию для синхронизации в облаке (папка Onedrive/FATorrent), запрещаю удалять файлы на смартфоне при их удалении на компе и запускаю процесс перемещения всех файлов из папки CrossDevice в новую облачную папку.

И начинается… <censored> какая-то фантастическая херня.
Комп у меня быстрый, поэтому он быстро хрюкает, что запись в целевую папку невозможна из-за отсутствия каких-то там permission, но продолжает что-то колбасить. Я так быстро, как могу, отменяю перемещение файлов, но вижу, как у меня на глазах с бешеной скоростью пустеет папка CrossDevice на компе… И с такой же скоростью ее зеркало опустошается на планшете...

30 секунд — 200 Гигов инфы в п@зду...

Вроде страшного ничего (у меня полно облачных бекапов как минимум с дублированием на все критические данные), но как-то неуютно.

Начинаю разбираться с базой знаний Microsoft.

Выясняю, что OpenAI был неправ практически во всем.
1. CrossDevice — это не локальная папка, а папка, набитая жесткими ссылками на свое зеркало на смартфоне
2. Соответственно, при удалении файлов в ней параллельно чистится смартфон, а галочка в Phone Link просто не работает, сцуко! Она там чисто для галочки!
3. Поскольку содержимое папки CrossDevice — это только ссылки, то место она на компе не занимает, и нех было ее переносить вообще

Ну Ок, приплыли.
Запускаю обратную синхронизацию с Dropbox — она сколько-то там колбасит. Все восстанавливаю. Трачу полноценный день (не рабочий, но все же) на явную хню. На Open AI сильно обижаюсь.

Дальше был еще квест такого же размера, когда при повторной синхронизации с файлами, восстановленными из бекапа, в папке CrossDevice образовались 4 битые папки. И опять с помощью AI я узнал много нового и интересного для себя о том
1. Какие службы в Windows отвечают за процессы синхронизации с другим устройством
2. Как их перезапускать
3. Как чистить у них кэш
Но, к сожалению, финальные ошибки я опять же исправил руками, и AI мне в этом не сильно помог (хотя и сделал меня значительно более эрудированным в вопросе функционирования многочисленных служб Winows).

МОРАЛЬ: Используйте AI только для общих справок в областях, в которых слабо разбираетесь. Финальные знания получайте из проверенных источников. Рассчитывайте только на себя.

С уважением

UPD. Бинго! С 01.11.24 OpenAI внедрил таки поиск по инету в свои платные модели. Надо в окошке ввода фразы перед собссно вопросом нажать на стилизованный значок земного шара — и эта энжина будет внимательно рассматривать свежий интернетовский поиск. Потестил — пока все классно.

★1
7 комментариев
Первая история незначимая, но показательная. На планшете у меня стоит бесплатный AI (Copilot от Microsoft), но даже он умеет в GPT-4! Как-то раз в процессе разговора я спросил его про ставки НДФЛ в России в 2025 и тихо офигел от максимальной ставки в 30%.
а у нас тута в провинциях весь ИИ упирается в Алису....

говорит вот тебе таблица по НДФЛ ...
сам и разбирайся…
avatar
На планшете у меня стоит бесплатный AI (Copilot от Microsoft), но даже он умеет в GPT-4! Как-то раз в процессе разговора я спросил его про ставки НДФЛ в России в 2025 и тихо офигел от максимальной ставки в 30%. Ну т.е. даже такому неэрудированному челу, как я, известно, что максимальная ставка — это 22% от дохода в 50 мультов. 

 

В генеративных нейросетях определяющим является промт (запрос). Как вы задали вопрос, так и (совершенно корректно) Copilot вам ответил: в России максимальная ставка НДФЛ 30%. И это правда. Нерезиденты уплачивают НДФЛ по ставке 30% с заработной платы и от продажи имущества.

С каталогом CrossDevice вы просто не разобрались, каталог локальный, что с ним (прослушивание и синхронизация) делает третье приложение ИИ знать не может так же, как ИИ не может знать, какие листенеры висят на каком-нибудь DOM-элементе, когда его спрашиваешь <div class=«123»></div> имеет ли обработчики событий? Из вводных данных — не имеет.

В обоих случаях на ваши конкретные вопросы ИИ модель дала вам корректные ответы.

avatar
самое забавное что ИИ не отвечает за свои ответы 
никак
ему даже не больно
ему все равно
он мертвый 
он весь из прошлого
Правильный ИИ уже с 2012 года успешно используется в управлении капиталами (доступен только для особенных людей) одного крупнейшего фонда мира. Вам же дали обрубок GPChat — вернее вас дали ИИ. И через тупейшие вопросы он изучает именно вас.

Для работы на рынке достаточно обычного Excel.
avatar
наверное дешевле купить еще hdd/ssd чем потратить время на эти разборки
ну и еще все эти сервисы наверняка смотрят в содержимое файлов и куда-то отправляют для улучшения пользовательского опыта, ага. например куки браузера и ключи сессиий. некомфортное
avatar
Некоторые до сих пор клюют на слово «интеллект» в ИИ. Хотя интеллекта там ровно ноль. Более того, машина даже не мыслит фразами и даже словами, для нее «локальная» и «облачная» — это просто вектор из чисел. И фразы — банальная генерация слов из букв исходя из сложной стат. модели, приправленной сверху алгоритмами разработчиков. Поэтому ИИ косячить не может в принципе, так же как и мыслить. По крайней мере на текущий момент.
avatar
Проблема чатгпт и других готовых интерфейсов с ИИ моделями в том, что там параметры креативности прописаны усредненные для всех. То есть и вроде получить походий на точный ответ и покреативить. В результате ни то, ни другое. В чатгпт по дефолту — примерно 40%. В результате регулярно ответы в чатгпт — абсолютная хня. Или частичная.

Мне он на вопрос — может ли он взаимодействовать с другими моделями выдал ответ что может, они регулярно общаются, подписывают соглашения, разрешают конфликты и тд. Но когда я написал в чат — поставь уровень креативности 0 (хех, интерстеллар) и давай только точные ответы, то он на тот же вопрос ответил, что взаимодействие с другими моделями отсутствует и может быть внедрено только разработчиками.

Поэтому, чтобы повысить точность ответов, надо в начале чата прописать роль — «ты опытный программист, даешь точные ответы. уровень креативности 0». А самый лучший вариант для точных ответов — свой бот через апи в своем аккаунте, со своим системным промптом и своими настройками temperature=0.1

Если модель в первом ответе словила глюк, то убеждать бессмысленно — она и дальше будет на основании этой галлюцинации строить ответы в текущем чате. Проще начать новый чат.

Гигачат, кстати, хорошо прокачали — неделю назад выкатили макс. И иногда отвечает лучше, чем 4о, а в основном — не хуже или незначительно хуже.
avatar

теги блога Мальчик buybuy

....все тэги



UPDONW
Новый дизайн