3Qu, уважаю твою вечнопозитивную точку зрения
Возьмем простую прямую сетку для глубокого обучения с N скрытыми слоями
Поставим (по классике) пороговую функцию sign
Приведи мне хотя бы одну ссылку на метод оптимального расчета коэффициентов для такой модели.
Ну или приведи мне хотя бы одну ссылку для оценки разницы экстремумов между моделью с sign и моделью с tanh.
С уважением