А. Г., ну, и че? Пока вы свои ярды туда введете, будет +3.)

Pavel_Potapov, при малых ТФ вообще по фиг что происходит. При больших, один- два дня вообще ничего не решают, тоже по фиг.

Я один ничего не вижу? Имхо, вообще ничего не произошло.

Мальчик buybuy, как это?

лично обещаю первую открытую мной самую черную и глубокую дыру назвать 

Взялся — ходи.)) Я никак не претендую.

Мальчик buybuy, ну, черную дыру-то ты откроешь.) Смотри чтобы под горизонт событий не залететь.)

Мальчик buybuy, 

Но, если вдруг получится, ты обо мне, бро, точно услышишь)))

Ты мне напомнил астрономов, которые по 3-м пикселям такие красочные изображения черных дыр рисуют.)
С твоими sign у тебя картинка на первом же слое рассыпется и уже нечего распознавать будет.)

Мальчик buybuy, 

Впрочем, как и вся современная теория deep learning )))

Да, вы, батенька, рэволюционэр, однако.)

Мальчик buybuy, 

Не согласен — обоснуй

Чего не видит глаз, того не чувствует и желудок.)

Мальчик buybuy, ты драматизируешь, все эти леса деревья изначально двоичные и все там прекрасно обучается и, мало того, повсеместно используется. Отсюда вывод: скорее всего и в НС ситуация аналогична. Ни в одном мануале по НС нет ограничений алгоритмов на использование sign.

Мальчик buybuy, 

И что ты наваял из нейросеток в несекретной части?

Что наваял неск лет назад, уже писал. Недавно какие-то вспомогательные вещи на них проверял, не более того. Какие-либо конструктивные идеи полностью отсутствуют. Энтузазизма никакого.

Мальчик buybuy, ну, изобретайте, дерзайте, пробуйте. Глядишь, лет, этак, через 20 получим результат.)
У меня прагматический инженерный подход — что есть, из того строим.

Мальчик buybuy, 

Можешь привести ссылку хоть на одну (!) работу, в которой приведен метод расчета оптимальных весов 

Чукча, вообще-то, не читатель.) Имхо, back propogation должно нормально работать независимо от ф.активации. Но, вообще-то, твой sign меня абсолютно не интересует.)

Мальчик buybuy, 

с SFT, и с KTO, и с LOR-адаптерами, и с многим, многим другим...

По сути что-то сказать можешь?

Не, не могу, не интересовался. Меня вполне устраивают древние простые решения. Я так полагаю, если с ними ничего не получается, то и с более сложными ни фига не получится.)

P.S. Если вкратце — в вопросе предсказания рыночных цен новодел не работает. В противном случае об этом уже трубили бы из каждого утюга )))

В переделах 5 минут все там работает, только эти 5 минут на фиг никому не нужны. На больших интервалах я даже не пробовал.
Кстати, обрати свой просвещенный взор на SVM (который вообще линейный). Сейчас оч кстати появился софт, в котором слои различной структуры можно комбинировать.

Мальчик buybuy, 

Для негладких пороговых функций (sign) что-то умное из классики предложить сможешь? )))

Эт тебе в леса-деревья лучше. Эт, которые random forest.
Вообще, для НС sign больше подходит для классификации, четкой, желательно.

Мальчик buybuy, я думаю, что ты слегка бредишь и, видимо, полагаешь, что ты единственный после Хайкина, кто занимался НС.) Прежде, чем изобретать велосипеды (хотя это и приятно), неплохо бы ознакомиться с текущим состоянием.

Мальчик buybuy, понятно, что его издают и переиздают. Классика, как никак. У меня тоже издание посвежее 91 года, ну и че с того. Эти добавления немного что изменяют. Оттого, что у тебя законы Ньютона 2024 года издания, что изменилось? ))

Мальчик buybuy, ты Хайкина начитался 91 года написания.) Хайкин, конечно, классика, но с тех пор много чего изменилось.

По классике не sign, а всюду пихается сигмоид — 1/(1+e^-x)

Мальчик buybuy, тебе обучать надо или разницу экстремумов находить? Вам шашечки или поехали?

недавно пару умных книг (Гудфеллоу и Хайкин, в них хоть формулы какие-то есть) внезапно понял, что в этом подходе есть некая идея.

Хайкина я читал, Гудфеллоу — этого не знаю. Идея там простая.)

1. Если мы заменяем пороговую функцию с sign на tanh, то сетка ничего путного наваять не может
2. Если мы оставляем пороговую функцию sign, то результат получается шикарный

Фигня. Это от конкретики зависит. Смотря для чего, короче.

практически никто, кроме меня, не умеет решать задачи нелинейной оптимизации с негладкими пороговыми функциями )))

Никаких проблем с обучением сейчас нет, алгоритмов полно, хороших, разных и уже готовых к употреблению — наливай, да пей.). Основная проблема в постановке задачи.

Дай мне еще месяц до начала января — попробую собрать все в кучу и опубликовать подробный пост. Материалов много,

Не думаю, что по НС мы услышим что-то новое, чего уже не было в других источниках.