SMART-LAB
Новый дизайн
Мы делаем деньги на бирже
Информация
Блог им. 3Qu
Как работает Machine Learning.
- 01 января 2021, 22:30
- |
Различных методов Machine Learning очень много, но все они работают примерно одинаково. Это и нейросети, и леса-деревья, и Байесовские классификаторы, и многое другое. Найти и прочитать как ходят-как сдают, как обучают и проверяют правильность обучения — не проблема.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
теги блога 3Qu
- Android
- Binance
- Bitmex
- C#
- C++
- DDE
- DLL
- EMA
- Excel
- Exponential Moving Average
- Lua
- machine learning
- ML
- MOEX
- Moving Average
- Python
- QLua
- Quik
- Quik Lua
- Si
- Smart-lab
- SQLite
- USDRUB_TOD
- автоматическая торговая система
- акции
- алготрейдинг
- базы данных
- биржа
- биткоин
- Боллинджер
- Брокер
- брокеры
- буревестник
- Газпром
- Грааль
- депозит
- доллар
- Доллар рубль
- зигзаг
- инвестиции
- индикатор
- индикаторы
- интрадей
- календарный спред
- календарный спрэд
- комфорт
- криптовалюта
- МА
- Машинное обучение
- моделирование
- модель
- настройки
- нейросети
- нейросеть
- нефть
- обучение
- опрос
- опционы
- оффтоп
- плечо
- прогнозирование
- программирование
- психология
- роботы
- рынок
- сеточник
- скальпинг
- скользящие средние
- случайное блуждание
- спекуляции
- спекуляция
- статистика
- стационарность
- стоп
- стопы
- Стратегии
- стратегия
- стратегия инвестирования
- стрэддл
- стрэнгл
- Тейк
- терминал
- тест
- тестер стратегий
- тестирование
- технический анализ
- торговая система
- торговая стратегия
- торговые роботы
- торговые системы
- торговые стратегии
- торговый робот
- трейдинг
- ТС
- Фильтры
- Форекс
- фьючерс
- фьючерс ртс
- фьючерсы
- эффективность рынка
Deep learning (also known as deep structured learning) is part of a broader family of machine learning methods based on artificial neural networks with representation learning.
Machine Learning — сила!!!
Обученная модель покажет, что это не работает, и только.)
И да и нет. Да, гораздо большего эффекта можно добиться играясь с признаковым пространством, чем с выбором моделей и архитектур.
Нет, уровень детализации как в примере со свечным паттерном — это оверкилл. Если я правильно понял, что имеется в виду, для такой задачи ML не нужен! Вот если посмотреть как вообще формируются свечные конструкции, какие исходные признаки участвуют (ну там — цена 1-й свечи больше цены предыдущей, range 2-й свечи меньше, чем range 3-й и т.д., что-то такое), нарубить график на окна и описать каждое в соответствии с признаковым описанием, тогда можно чего-то интересного получить.
В случае с солдатами, скорее всего, МЛ само с ними может справиться и расставить их по значимости. Если за солдатами действительно есть какая-то значимая статистика. Ведь, в нашем случае, мы показываем только солдат, и ничего более.