Будущее и судьба человечества.

vovA4546, ))). 

Надеюсь, будет ещё много умных и справедливых людей, которые устроят человечеству процветающее справедливое будущее.

Трейдер biopsyhose, 

1. Пока да. Но «пока» может скоро закончиться)).

2. А что есть мыслящий субъект? И нужно ли быть мыслящим субъектом чтобы случилась эта технологическая сингулярность? Если что-то крякает как утка, выглядит как утка — не важно, утка ли это на самом деле, если во всём оно полностью как утка)).

Трейдер biopsyhose, 

Что такое мотивация и творческий процесс? Мы используем эти абстракции в речи, а что это означает конкретно? 

Как работает чат-бот на нейросети? Мы что-то спрашиваем — он отвечает. Молчим — он молчит. Что мы думаем? — Что у него нет мотивации и творческого процесса. Модифицируем схему: есть бесконечный цикл, который задает вопросы нейросети, она бесконечно отвечает что-то. Дальше придумываем некую мета-задачу — считай цель нейросети. А дальше задаем вопросы, приближающие достижение цели.

Типа так:

Какой у нас план чтобы добиться цели? — Такой-то. 

С чего начнём? — С этого-то.

Детализируй. — Сделано.

Идем по первому пункту. — Сходила.

Идем по следующему. — Идем.
Ещё есть пункты в плане, какие? — Такие-то.

Идем по ним. — Сходила.

Сверяемся с картой, что-то надо менять? — Вот это.

Меняем. — Поменяла.

Написать подобные вопросы — не сложно и они будут универсальны. Можно нейросеть попросить написать такие вопросы). В конце концов можно нейросеть просить писать каждый следующий вопрос. Все, нейросеть будет планомерно преодолевая препятствия двигаться к цели, естественно в процессе будет решать какие-то проблемы, решение проблем это и есть творческий процесс. 

Unworldly, 

Принимать новую реальность не просто, понимаю)).

Скачок заключается в открытии архитектуры трансформеров.
Эта архитектура, благодаря своим свойствам, позволила ускорить развитие.

Этой архитектуре 5+ лет, а генеративная языковая модель скакнула практически дискретно разово и только не колько месяцев назад — от условной модели, которая может писать похожие на настроящие тексты в стиле Пушкина до модель, которая «понимает» язык и уделывает людей в разных дисциплинах.

>>"

Если модель может получать на вход голос (и звуки в общем случае), изображения и видеопоток (считай, глаза) эта штука может перформить по тем же принципам, что и человек.

Нет, не сможет."

Чего не может?)) Если уже картинки на вход получает.

Что произошло, когда появились станки?
Стал ли Вася получать 175 вместо 585?
И да, и нет.

Тот Вася, который пытался продолжать вручную работать, действительно, стал получать 175. А другой Вася, который переучился для работы на станке, не только продолжил получать 585, но и вскоре стал получать больше.

Начнём с того, что аналогия не является дедуктивным методом). Во-вторых аналогия не идеальна — первые станки не могли работать сами по себе, а нейросети скоро смогут. И станки уже могут — ну типа не по одному человеку на станок и на произодстве куча станков, а на производстве куча станков и немного человек, их обслуживающих. Да, по-прежнему не все физическое автоматизируемо сейчас, нейросети и этот пробел скоро помогут закрыть.

Ну а так да, безусловно на начальных этапах будет именно так). Ну только надо заглядывать чуть подальше за начальные этапы ;). 

Что такое ChatGPT?
Это — эрудит, но без критического мышления.
Тот массив информации, на котором он обучен, является для него догмой.
Условно можно считать, что религиозной.

Ну таких штук можно много накидать. Это просто абстракция. Наполните конкретикой — тогда поговорим. Что такое критическе мышление? А разве человек не основывается на той информацией, на которой он обучен? В мозгу человека очень много механизмов, удерживающих его от выхода за пределы. Привидите, например, пример предметной области или вопроса, области принятия решений где критическое мышление важно и где нейросеть типа не зарешает. Без этого звучит голословно.

Вряд ли кто-то рискнёт заменить Васю таким догматиком до мозга костей, хоть и сверхэрудированного, да ещё при условии, что часть догм у него неверные, и неизвестно, какие из всех — неверные.

Опять некий «догматик» и совершенно не понятно, что конкретно под этим понимаетя конкретно здесь.

Произойдёт переквалификация.

Переквалификация в задавателя вопросов нейросети и интерпретатора ответов. Ок, да. Но если нейросети продолжат прогрессировать, в кого произойдет переквалификация? В кого произойдет переквалификация когда уровень нейросетей позволит уверенно на них полагаться в, скажем, 95% предметных областей и областей принятия решений.

Как правило в таких вещах ошибочно полагают, что имеющаяся архитектура — универсальна, что её достаточно отмасштабировать, чтобы получить любой уровень интеллекта, и что масштабирование не встретит на своём пути такого перехода количества в качества, которое может стать препятствием к дальнейшему масштабированию.

У нас есть нейросеть, которая понимает язык, которая имеет доступ ко всей базе знаний — окей, она мегаэрудит. У нас есть модели, которые могут обучаться «тихо сам с собой» — Reinforcement learning. Если нафигачить комбинаций этих нейросетей или имплементировать в одну элементы другой, дать доступ не только к интернету, но и к реальному миру, доступ к элементам управления — вот нейросеть уже и моделировать сможет и эксперименты проводить, а это уже совершенно другой доступ к знаниям, возможность рождать новые и вуаля — нету никаких «ограничений архитектуры». Если у нейросети есть доступ к написанию кода и соответствующая задача — она уже может и более продвинутую архитектуру придумать. Так что все эти ограничения архитектуры — больше так чтоб себя успокоить отговорка).

Критическое мышление — это способность анализировать и оценивать информацию, принимать обоснованные решения на основе логического анализа, аргументации и фактов.

Вот этого пока принципиально нет у ChatGPT.

А разве человек не основывается на той информацией, на которой он обучен?

Он основывается, но это — лишь часть, а не всё.
Этот факт даёт принципиальное отличие от ChatGPT.

Как я понял, вы не пытаетесь убедить), но всё равно не убедили).

Я не увидел тут логической цепочки, обоснования, которое бы привело к выводу, то у человека это есть, а у машины нет, да ё-моё, это определение критического мышления ничуть не проливает свет на то, что такое есть критическое мышление, с практической точки зрения, если мы хотим понять, а вот у этой штуки есть критическое мышление или нет? Нужные понятные критерии, метрики, признаки. По мне так исходя из определения, у современных нейросетей как раз-таки это есть).

Unworldly, 

 Эксперимент — не голословно?

... 

Реши задачу: девять осликов за три дня съедают 27 мешков корма. Сколько надо пяти осликам за 5 дней?

Во, другое дело!)

Повторил эксперимент).

ChatGPT 3.5 дала 3 из 5 верных ответов.

ChatGPT 4 дала 5 из 5 верных ответов.

Время между релизами моделей — несколько месяце. И модель точно не натаскивали на задачи про осликов. Всё ещё не страшно?))

Кого, вы говорите, модель уделывает после решений задачи выше?

Не знаю как по крупней сделать, ну наверно видели эту картинку:

В вытаскивателя полезной информации и отсеивателя бреда.
В какой-то степени, в ИИ-психолога.

Подобный тип задач для нейросетей не нов — как там эти модели называются не помню — генеративно-состязательные или как-то так. Одна модель генерит, другая оценивает. 

Ну и у вас по ходу аргументации много отсылок к эксперименту с задачей про осликов, но модель 4.0 легко справляется с этой задачей. Дальше будет 5.0 и т.д.

Unworldly, Ну у меня настоящая ChatGPT 4, без посредников). И у меня она без пролем расщелкала эту задачу 5 раз из 5.

Кстати, на свою первую работу когда устраиваля, на собеседовании подобную задачу задавали)), символично… Тока там было про куриц и яйца.

Ну в общем основная моя идея в том, что 1. это уже впечатляюще, 2. это развивается очень быстро, 3. настаиваю, что я не вижу принципиальных ограничений чтобы это продолжило развиваться, улучшаться, становиться мощнее.

Unworldly, 
Кто это?)
Вот это чуть помасштабней фигура будет).
www.youtube.com/watch?v=to78maCxFEs

И хотя он по понятным причинам суперпредвзят к ChatGPT-like models, он говорит: я не удивлюсь если к ChatGPT-10 это уже будет AGI.

Кто это?)

Главное, понаучнее, чтобы была.

Не уверен. Профессия накладывает свойт отпечаток, проф деформация, если угодно. Думаю, это не та деформация, которая позволяет хорошо прогнозировать будущее челоечества и оценивать возможные риски.

Это — единственное, что он говорит как бы вразрез со всем остальным, что он сказал, но всё остальное вы почему-то пропустили мимо.

Знаете, как риски работают?) Рисковое событие можете перечеркнуть очень многое, нарабатываемое месяцами, годами и десятилетиями. Даже одно событие. Про профиты ИИ и так понятно, оно само реализуется. Есть естественные механизмы вытягивания полезного из изобретений. А вот риски нужно явно просчитывать и учитывать, риски сами себя не застрахуют.

Он ответил, что это — часть пути. Часть. И что нужны другие супер-важные вещи (кроме больших языковых моделей). Он же это сразу же сказал.

Видимо, когда он говорил о ChatGPT-10, то подразумевал, что к тому времени ChatGPT-10 будет уже не голой большой языковой моделью, а чем-то, состоящим из существенно бОльшего, чем только языковая модель, ведь он же сам сказал, что большая языковая модель — это только часть, и что нужны другие супер-важные вещи.

Мне как бы не принципиально будет это чистый ChatGPT или с примесью или вообще не ChatGPT. Я нигде на этом акцент и не делаю. Ещё раз: чувак, явно незаинтересованный (по понятным причинам) в подсвечивании рисков всей этой темы гоорит, что: я не исключаю, что к модели уровня ChatGPT10 уже будет AGI. А теперь вспомним сколько времени прошло между релизами 3 и 4 поколения модели. 

Т.е., условно, через несколько лет уже возможно построение AGI, от которого рукой подать до технологической сингулярности теоретически. Можете заодно учесть такой фактор: из-за профита от всей этой темы, из-за хайпа и подобного, туда щас ливанулись-ливанутся большие деньги и мозги. Так что всё это начнёт развиваться ещё быстрее. И думаю, там хватит умников, которые смогут добавить в просто языковую модель новых элементов.

И перестать бояться.

Unworldly, 

К делу это отношения не имеет. Важно объяснение.

Я не готов просто так смотреть полторачасовое видео).

Вы говорите «прогнозировать будущее человечества», вероятно, имея ввиду узкий смысл влияния ИИ, без учёта влияния политиков и прочих сил.В этом смысле можно опираться только на науку.

Ну нет же). Наука не в вакууме же. Есть ИИ, есть его увязка в экономику, есть социальные явления, есть законодательство и много чего ещё. ИИ не развивается в вакууме, поэтом тут на одной науке далеко не выедешь при прогнозировании.

Это — не риск, это, всего лишь, необоснованная «хотелка» некоторого человека, тем более, предвзятого, как вы сами говорите.
Ему кажется, что такое возможно

Ну вот мы и познакомились с определением риска)). То, что не то чтобы имеет большую вероятность, а вот последствия могут быть ого-го.

Авторитетов не существует. Мало ли кто что говорит.
Важно объяснение и понимание реальных возможностей конкретного варианта ИИ.
Вы схватились за необоснованную «хотелку» конкретного человека, которая противоречит его же объяснению.
Про 4-ую мы ничего не знаем толком. Насколько она 4-ая? 

Представьте у вас компания, продающая, не знаю, диваны. Стали бы вы говорить что ваши диваны служат 20 лет, а не 10, как показывает практика — да могли бы. А стали бы вы говорить, что при производстве используется вредная для человека смола (если бы такая смола по факту не использовалась) — нет, вряд ли. Одно совпадает с вашими интересами, другое противоречит им. Чувак продает ChatGPT (если утрировать), вряд ли бы он стал говорить «про вредные смолы» если бы их там реально не было. Это не имеет ничего общего с «хотелкой».

Если базироваться на неверных данных, ещё и не к таким выводам придти можно.

Есть такое). Я для этого пост и написал, чтобы глаза людям открыть)).

Я бы с удовольствием пользовался такой экспертной системой в своей профессиональной области, это очень помогло бы мне поднять свой уровень.

Я пользуюсь. Каких-то ограничений не наблюдаю). Скорее особенности инструмента, к которым нужно адаптироваться, чтобы наибольшую пользу извлечь. Ну и привычки не так быстро перестраиваются и не все бенефиты сразу становятся очевидны.

Действовать?
А что вы можете сделать?

Спрогнозировать, оценить вероятные сценарии развития событий, подготовиться.

Кстати, как вы оцениваете риск пересечения параллельных прямых в евклидовой геометрии?

Слово риск здесь вряд ли применимо, потому не вижу каких-то негативных пследствий от подобного. И в целом у этой темы нулевой леверидж с точки зрения влияния на человечество, чего не скажешь про ИИ.

Unworldly, 

Replikant_mih, если необходимо разобраться в вопросе, других способов, кроме как потратить на это N-ое время и приложить усилия, нет.

Ну, так я уже во всем разобрался давно). Уже к моменту получения этой ссылки)).

У науки есть множество отраслей.
И есть методы.

Окей, и какие это такие научные методы позволяют прогнозировать будущее человечества?) Экстраполяция?)) И почему-то когда речь об оправдании науки, у неё сразу множество отраслей появилось, а когда ей ничего не угрожало, звучало так, что любой ученый (безотносительно отрасли) это красавчик просто в прогнозировании будущего).

Вы имеете ввиду, что «ему кажется, что это возможно» — это и есть определение риска?

Нет, скорее так: это возможно, для меня это очевидно, разве нет? Вы же топите за науку, мозг же работает, мозг же не на эзотерике какой-нибудь работает, не на мистике — химия, электричество и подобное, ученые многое из природы повторяли, могут и это повторить. Это не самый вероятный сценарий построение AGI, но как минимум такой вариант есть.

А то что чувак в недалеком будущем «не исключает» (не далеком, потому что 10-е поколение при текущей смене поколений это не долго), и чел не с улицы, а возглавляет ту самую компанию, которая и разработала передовую нейросеть. Его мнение точно весомо.

Пока не будет найдена следующая прорывная модель, беспокоиться не о чем.

Думаете, вас заранее оповестят?) В этом и суть управления рисками — готовиться заранее. Дом страхуют до пожара, а не после).

А по поводу вашего диалога с нейросетью. Ну и кто после этого догматик))). Банальнейшее математическое действие, которое умели калькуляторы десятки лет назад. А вот нейросеть хорооша, пытается точность повышать, прям на ходу). 

А вообще для меня тут очевидны 2 момента:

1. Вы скорее пытаетесь увидеть то, то подтверждает ваши убеждения, чем проводите эксперименты, чтобы оценить убеждения и если потребуется скорректировать.

2. Вы зачем-то нагружаете нейросеть каким-то мусором). Да, ещё не AGI, да, ещё есть куда расти, но уже текущее поколение может выдавать чудеса, которые можно использовать для своей пользы. Но люди почему-то пытаются заставить нейросеть считать осликов и спрашивают, какую акцию покупать… Не понимаю.

Replikant_mih, а зачем тогда я тут всё пишу?

Сложно сказать), какую-то внутреннюю потребность реализовываете).

Возможно, для вас очевидно, но это может не соответствовать реальности.

Сама возможность может не соответстовать реальности? — Сомнительно. А А на конкретную оценку вероятностей и сроков я и не налегал.

Мнение же предвзятое, сами же говорите.

Он предвзят хвалить, а не нагнетать).

В наше время это вылезет на поверхность довольно быстро.

Скорее так: запилят, а потом «в наше время» довольно быстро получим последствия — потерю рабочих мест или реализацию других рисков.

Вы заметили, что она упорно не понимает, что ей говорят?

Ничего не хочу сказать, но часто если кто-то кого-то не понимает, дело может быть в любом из участников процесса, или например в обоих.

Диалог был приведён в качестве аргумента.

Вы зачем-то фокусируетесь на пустой части стакана, а не на полной).

Можно, но, во-первых, надо самому знать предмет, ибо сеть легко заблуждается (выглядит как жульничество), но самокритичность у неё близка к нулю, и за ней глаз, да глаз нужен

А вот здесь я полностью согласен!)) Ну вернее не полность, наверно). Да, «правильный» способ извлечения пользы из сети предполагает такое взаимодействие где выполняются 2 условия:

1. Ты имеешь механизм верификации.

2. Ты контролируешь процесс.

Наличие механизма верификации накладывает некоторые ограничения на область применимости. Ну т.е., например, мне нужно сравнить два объекта, я прошу сеть обобщить и привести аргументы за и против. Она приводит, аргументы это логическая конструкция по сути, логические конструкции я могу верифицировать. А вот факты, участвующие в логической конструкции — тут уже нужно повнимательней. Опять же, если у меня сомнения по какому-то вопросу — могу уточнить у сети же, могу запросить пруфы и т.д. Но в целом нужно держать руку на пульсе.

ezomm, Да, может быть и такое, может всё что угодно. Когда на графике рисуют пучек вероятностных сценариев — там определенный разброс сценариев, из текущей точки разброс очень большой). 

Да. человечество может деградировать — как в Машине времени Уэллса, например. ИИ — тут хз, эта штука может быть опасной, а не просто, что она управляет городами, это было бы ещё лайтовым вариантом, наверно).

Возможно, в колониях на удаленных планетах, спутниках или каких-нибудь кораблях поколений будет житься по-прежнему легко и раздольно))).