3Qu, так и я про это же, бро!

Обучение сетей прямого распространения — это метод сопряженных градиентов вместе с back propagation (ну это только для гладких пороговых функций)

Для негладких пороговых функций (sign) что-то умное из классики предложить сможешь? )))

С уважением

Мальчик buybuy, я думаю, что ты слегка бредишь и, видимо, полагаешь, что ты единственный после Хайкина, кто занимался НС.) Прежде, чем изобретать велосипеды (хотя это и приятно), неплохо бы ознакомиться с текущим состоянием.

Мальчик buybuy, понятно, что его издают и переиздают. Классика, как никак. У меня тоже издание посвежее 91 года, ну и че с того. Эти добавления немного что изменяют. Оттого, что у тебя законы Ньютона 2024 года издания, что изменилось? ))

3Qu, хммм

У меня Хайкин 2012 английское издание с дополнениями

Математика после этого не изменялась
Появились трансформеры и прочая шляпа

С уважением

3Qu, по классике (нейробиологи) — именно sign

А уже лет через 20 инженеры, которые только и умеют, что дифференцировать, стали заменять пороговую функцию на сигмоиду )))

 Суважением

Мальчик buybuy, ты Хайкина начитался 91 года написания.) Хайкин, конечно, классика, но с тех пор много чего изменилось.

По классике не sign, а всюду пихается сигмоид — 1/(1+e^-x)

3Qu, бро

Это было 2 разных вопроса. Если конкретно
1. Никто не умеет обучать модели с негладкими пороговыми функциями. При несогласии — расскажи про обучение для sign
2. Все умеют обучать с гладкими пороговыми функциями. Но никто не заморачивается оценкой разницы экстремумов при замене sign на tanh

С уважением

Мальчик buybuy, тебе обучать надо или разницу экстремумов находить? Вам шашечки или поехали?

3Qu, уважаю твою вечнопозитивную точку зрения

Возьмем простую прямую сетку для глубокого обучения с N скрытыми слоями
Поставим (по классике) пороговую функцию sign

Приведи мне хотя бы одну ссылку на метод оптимального расчета коэффициентов для такой модели.

Ну или приведи мне хотя бы одну ссылку для оценки разницы экстремумов между моделью с sign и моделью с tanh.

С уважением

недавно пару умных книг (Гудфеллоу и Хайкин, в них хоть формулы какие-то есть) внезапно понял, что в этом подходе есть некая идея.

Хайкина я читал, Гудфеллоу — этого не знаю. Идея там простая.)

1. Если мы заменяем пороговую функцию с sign на tanh, то сетка ничего путного наваять не может
2. Если мы оставляем пороговую функцию sign, то результат получается шикарный

Фигня. Это от конкретики зависит. Смотря для чего, короче.

практически никто, кроме меня, не умеет решать задачи нелинейной оптимизации с негладкими пороговыми функциями )))

Никаких проблем с обучением сейчас нет, алгоритмов полно, хороших, разных и уже готовых к употреблению — наливай, да пей.). Основная проблема в постановке задачи.

Дай мне еще месяц до начала января — попробую собрать все в кучу и опубликовать подробный пост. Материалов много,

Не думаю, что по НС мы услышим что-то новое, чего уже не было в других источниках.

ВВШ, и это правильно!

С уважением

DAMAN, не, братэлло

Это когда скучающий интеллигент, не ищущий срача, внезапно попадает на мой пост (неожиданно? Онегин, епть!) — это интрига, да)

А я просто уважаю community и хочу очистить его (постепенно) от п@здоболов. Интеллигентно и аккуратно, без срача.

К тебе, браэлло, это пока не относится, кстати)

С уважением

3Qu, +85% (BitMEX, с НГ)

Я не учился нейросетям, но прочитав недавно пару умных книг (Гудфеллоу и Хайкин, в них хоть формулы какие-то есть) внезапно понял, что в этом подходе есть некая идея.

Но есть нюансы.

1. Если мы заменяем пороговую функцию с sign на tanh, то сетка ничего путного наваять не может
2. Если мы оставляем пороговую функцию sign, то результат получается шикарный

Проблема в том, что (судя по публикациям) практически никто, кроме меня, не умеет решать задачи нелинейной оптимизации с негладкими пороговыми функциями )))

Не торопись, бро. Дай мне еще месяц до начала января — попробую собрать все в кучу и опубликовать подробный пост. Материалов много, а работы до НГ — еще больше (((

С уважением

Мальчик buybuy, "  имевший в жизни 2-3 женщин, так обиделся на мой пост" ---  как сказал  джон леннон  полу маккартни  в 26 лет ..  " я вот тут понял недавно  что это не мы весь мир еб… м  а нас весь мир еб.т.

В моменте пишу большую статью, что ни ты, ни А.Г. не умеют говить нейросети 

Эт точно. Можешь не писать, я, по крайней мере, и так знаю, что не умею.)
Но знаю, что и ты ни фига не умеешь.)
А че сам. Пока +11% на крипте с июля, между делом, не вставая с дивана. Маловато конечно, но диван выше жажды наживы.

Мальчик buybuy, братэлло, ну если уж пошло на то, то я тебя нет нет да читаю, вроде взрослый и как бэ успешный мужик, а тут пост такой… )))

Но забавно кстати, что ты в принципе получается мыслишь тупо бинарно, 1 или 0, то есть либо первое либо второе. Третьего не дано. Чо за чушь то? Слишком топорно.

Но помимо всего, второе предположение вообще в молоко, я не реагирую на любой срач в принципе, но читаю посты когда нехрен делать. И удивляюсь, когда взрослый успешный мужик ноет публично, как девочка в интернете, при этом в своей же теме, любого кто посмел не поддержать эти розовые сопли, сразу пытаться классифицировать. У тебя комплексы что ли, или КСВ? )

3Qu, почему?

Есть чем.

В моменте пишу большую статью, что ни ты, ни А.Г. не умеют говить нейросети к предсказанию приращений рыночных цен )))
А так — п@здобольство на СЛ достало. Пишу человеку вежливо — перестань, плз, писать про меня инсинуации. А он мне в ответ — а я так думаю, ты что, мне рот затыкаешь? Детский сад, младшая группа...

Как сам?

С уважением

Заняться нечем?

Ты нам, кстати, через 2 недели о чем-то высокохудожественном обещал написать. Прошел уже минимум месяц. И где?

DAMAN, хммм

Ну, если ты, братэлло, один из первых ответ в моем топике накатал, то одно из двух:
1. Ты у меня в друзьях (нет)
2. Ты быстро реагируешь на любой новый срач (да)
Ну так и реагируй )))

С уважением