SMART-LAB
Новый дизайн
Мы делаем деньги на бирже
Информация
Блог им. AGorchakov
Хочу уточнить в связи с возросшей пропагандой ИИ
- 18 ноября 2023, 21:26
- |
- А. Г.
Нейросети с алгоритмами обучения перцептрон и Коханен являются абсолютно нерабочими для ситуаций, когда на вход подаются последовательности случайных величин с нестационарными средними и дисперсиями. Это доказано ещё в конце 80-х. ИМХО, но в рядах цен акций и фьючерсов эти нестационарности и есть.
Поэтому, когда читаете, что-то об ИИ и их применении в торговле, то «забивайте» на те материалы, где ничего не говорится об алгоритмах обучения нейросетей или указаны те алгоритмы обучения, которые я указал выше.
Про иные алгоритмы обучения, к сожалению, ничего не могу сказать. Надо разбираться в их существенных отличиях от указанных выше.
Поэтому, когда читаете, что-то об ИИ и их применении в торговле, то «забивайте» на те материалы, где ничего не говорится об алгоритмах обучения нейросетей или указаны те алгоритмы обучения, которые я указал выше.
Про иные алгоритмы обучения, к сожалению, ничего не могу сказать. Надо разбираться в их существенных отличиях от указанных выше.
теги блога А. Г.
- "пила"
- "русский Баффет"
- CNYRUB
- comon.ru
- IMOEX
- S&P500
- S&P500 фьючерс
- Si
- автоследование
- акции
- алгоритмическая система
- алгоритмическая торговля
- алгоритмический трейдинг
- алготрейдинг
- банки
- Баффет
- бесплатные вебинары
- бинарные опционы
- биткоин
- брокеры
- Веселье
- волатильность
- встреча smart-lab
- Газпром
- Горчаков
- Горчаков Александр
- денежно-кредитная политика
- дивиденды
- доверительное управление
- доллар
- Доллар рубль
- ДУ
- ИК ФОРУМ
- инвестиции
- Инвестиции в акции
- Индекс ММВБ
- индекс РТС
- Индекс МБ
- индекс ММВБ
- индекс Мосбиржи
- индекс РТС
- инфляция в России
- инфоцыгане
- итоги года
- итоги месяца
- Ключевая ставка ЦБ РФ
- контртренд
- Конференции смартлаба
- конференция смартлаба
- копилка
- коронавирус
- короновирус
- кризис
- криптовалюта
- ЛЧИ
- ЛЧИ 2019
- ЛЧИ 2021
- макроэкономика
- макроэкономика России
- мемуары
- Мосбиржа
- мошенники
- нерезиденты
- нефть
- Новый год
- облигации
- обучающий курс
- опрос
- опционы
- оффтоп
- политика
- РБК-ТВ
- риски
- российские акции
- Россия
- рубль
- Русский Баффет
- рынок
- рэнкинг мосбиржи
- рэнкинг управляющих ММВБ
- санкции
- Сбербанк
- сбой на бирже
- системная торговля
- системный трейдинг
- смартлаб
- ставка ЦБ
- США
- теория вероятностей
- торговые роботы
- трейдинг
- Уоррен Баффет
- усреднение
- философия трейдинга
- Финам
- Форекс
- ФРС
- фьючерс MIX
- фьючерс ртс
- ЦБ РФ
Впрочем и для работы вне дешифрования те статьи тоже для моей репутации оказались бессмысленными и только помогли мне же в анализе и построении торговых алгоритмов.
При этом, если Вы посмотрите на другие сферы- люди активно делаться своими наработками. От врачей, которые помогают другим лечить лучше до программистов и сетевых инженеров (тот же хабр). Серии статей пишут целые, наработки свои опенс сорс выкладывают. По мне это скорее и есть общечеловеческая норма. Позволяющая не погрязнуть в толкании логтями а двигаться вместе вперёд.
Мультитрендовый,
По врачам. Впаривание через подкуп врачей производителями фармы присутствует. но это тонкий слой. Посмотрите рост продолжительности жизни за последние лет 100. И падение, например, детской смертности. В немалой степени это результат медицины. Ну или вспомните когда Вы или кто то из ваш знакомых серьёзно заболевал и его вытаскивали. В ситуации когда те же 100 лет назад он бы умер.
>Разве что если в этом нету гениальности
Давайте не будем льстить себе. Что мы (или даже наша команда превнесли? Миллиардную долю процента от багажа знаний человечества в лучше случае. Если реально гений, крупный учёный. Но сделать это мы смогли благодаря открытости знаний всех тех кто тысячи лет эти знания создавал. Иначе бы считали до сих пор что земля плоская и солнце вращается вокруг неё. И торговать на бирже бы и не додумались бы. А если бы даже захотели бы не знали как- кто знает то готов только за очень большие деньги делиться.
Причём они ещё и не всегда зарабатывали на этом. Врач создавший вакцину от Поэлемелита спасла миллионы жизней. Но он отказался её патентовать с целью сделать максимально доступной для всех жителей планеты в т ч в самых бедных странах.
И без неё кто знает- может нас с вами не было бы.
Ну и вот посмотрите на это с такой стороны, он говорит вот не верьте в это, а другие без слов верят осьминогу Паулю, что он правильно предсказывает что то, или торгуют по коту своему, то есть люди привержены сами выбирать себе ориентиры и он особо своей статьёй не достиг цели кого то отговорить, скорее он вызвал интерес, пропиарил проблематику, разве что его цель не создать какое то подобие хайпа, тогда конечно цель достигнута. Ну и хотелось бы добавить про врачей… врачей учат в основном по книжкам и у них есть четко отработанные алгоритмы, особенно при каких то крайних ситуациях, там не особо есть поле для самодеятельности и фантазий… и инициатив… Они как бы отвечают за жизнь и обязаны делать то что написано скажем так в инструкции, за очень небольшими отклонениями, а не то что Васька на заборе написал и заметьте там врачи общаются с подтвержденными себеподными врачами, а не с прохожими на улице или не на заборе читают, мол попробуй сделать вот так!
Мультитрендовый,
1. Хронические заболевания они на то и хронические, что их невозможно вылечить. тут другой критерий- несколько лечение продлило жизнь пациенту, сделала её комфортней, увелилило работоспособность, отложило инвалидизацию. И берут под контроль, компенсируют. Люди десятилетиями живут (пусть и на таблетках) с такими болезнями с которыми за несколько лет бы стали глубокими инвалидами а то и умерли. Нету часто гвоздя. Например диабет. Или шизофрения. Нет излечения. Есть компенсация болезни или ремиссия.
2. бесполезность знаний что земля кругла и вокруг солнца. Не скажите. Без этого бы вряд ли летали ракеты. И связь бы была современная.
Яркий пример- теорема ферма. Много веков была интеллектуальной задачей из фундаментальной математики. А потом легла в основу асимметричного шифрования.
Физика фундаментальная развивалась- а потом базис был накоплен пришли инженеры и создали компьютер. И теперь Вы через него может тоговать на бирже. И зарабатываете Вы не только благодаря себе, но и инженерам и физикам. Из законов Киргофа, помниться, меня учили всё электротехнику вывести можно. А без электротехники не было бы и ЭВМ. Если бы он не публиковал их, а скрыл. И продавал знания только за очень большие деньги. И если бы другие физики дошедшие до этого тоже скрывали -не было бы у вас ЭВМ. и у меня небыло бы
Так создали компьютер, но те кто создали не бегают же и не рассказывают всем как создавать?! Рассказали базис, а не комерческие тонкости заработка. На примере биржи это рассказали что акции растут и падают, вот такое вот наблюдение. И одни рассказали, а другие потом создали компьютер и рубят бабло, выходит одни вроде и гении, а другие шланги просто нашли этому применение и решили зарабатывать, хотя и не гении. В итоге у гениев признание у других деньги.
1.Тогда у Вас есть шанс стать очень богатым. И известным. Излечите хоть одно заболевание хроническое. К вам очередь выстроиться из жаждущих. Думаю те заболевания где вылечить можно было -уже вылечили. И в очередях люди стояли. и деньги платили. А остальные- или нельзя или мы не знаем как при современным уровне развитие науки
2. Почему не рассказывают? рассказывают. нормальная ситуация когда инженеры с заводов преподают в вузе. Я правда немножко про другое- есть физика (фундамент). Они рассказали. Вы пользуйтесь. На основе физике- электроника, теория электроцепей, электротехника. На этой базе- схемотехника. Цифровые абстракции. Тригеры, счётчики, регистры. А далее уже из этого можно собирать процессор. только современные проц Вы в голове не уложите- слишком сложный. А рассказывать даже тонкости технологий- даже думаю не сильно для крутого учёного страшно. Пока конкуренты будут копировать его разработку пару лет пройдет. А он за это время ещё на два шага будет впереди.
Посмотрите на опен сорс. Сколько всего выкладывают. В т ч разработки и созданные для внутренних решений И даже в модной-новой (а точнее-старой-новой) теме ИИ выкладывают разработки свои. Изучай что и как у них сделано. Можешь даже использовать их наработки. Делаться люди. А не жмотничают с принципом «не рассказывай про бесперспективный путь что он не работают -пусть коллеги по цеху помучаются и потеряют деньги»
m.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=dm&paperid=586&option_lang=rus&ysclid=lp5wum0kih791236379
В остальных 4-х просто результаты об аналогичных предельных теоремах, но без больших уклонений.
Удивительно, но русскоязычный вариант нигде не представлен в литературе в статьях, а англоязычный имеет 12 ссылок в статьях на английском.
Это как сказать в 2023 году: на автомобиле абсолютно невозможно покорить рубеж скорости 250 км./ч. — доказано первым автомобилем.
Нейросеть это класс алгоритмов, между перцептроном и трансформером современным навороченным пропасть.
Ну а так-то да, в лоб и не надо это использовать, оно с наскока и не работает и не будет.
«Про иные алгоритмы обучения, к сожалению, ничего не могу сказать. Надо разбираться в их существенных отличиях от указанных выше.»
А если Вам нравится, то расскажите о методах обучения, а не просто о том, что применяется.
И кстати, я тоже с удовольствием посмотрю на систему девяносто седьмого года которая способна на такое чтобы сравнить результаты…
Вот например пример по картинкам
Ничего в мире не поменялось, компы стали мощнее, а люди те же.
АГ, доказывает каждое своё утверждение
Если, вы ставите под сомнение
Просто, докажите обратное)))
Ну вот скажем какова вероятность появления следующего бара роста, после серии 10 баров. Думаю что точно не случайная величина получится.
Почему Вы думаете, что определение рака является случайным процессом с нестационарными средним и дисперсией? Лично я говорил только о ценах на акции в этом контексте.
А философское определение случайности — это просто невозможность точного прогноза пока ненаблюдаемого и в нем нет никаких вероятностей.
smart-lab.ru/blog/385168.php
И это и будет тем самым, говоря про авто выше. Такое мнение, чисто на ощущениях.
А история человечества показывает, что между первой публикацией из области науки и известности точного прогноза на его основе никогда не было больше века даже в Европе с 14-го по 16-й век. Ну а с нынешним обменом информации все будет на порядки короче по времени.
А мой пост собственно о том, где возросли объемы публичной рекламы.
И в целом, прогресс есть прогресс. Он может частное подвинет, но создаёт как правило общее благо.
пока противник рисует карты наступления, мы меняем ландшафты, причем вручную. Когда приходит время атаки, противник теряется на незнакомой местности и приходит в полную небоеготовность. В этом смысл. В этом наша стратегия…
?Сейчас вычислительные мощности уже позволяют всё точно спланировать, а это означает только одно — биржа становится асболютно излишней.
Если кратко — ИИ похоронит и рыночную стихию, и биржевую торговлю, как пережиток прошлого.
Но первое, что мы увидим — это применение ИИ в качестве маркетмейкеров.
Четвёртая промышленная революция — это плановое производство по редварительным заказам.
Публикации по этой тематике с указанием сроков массово появлялись на Западе ещё лет 10 назад.
Процесс пока намеренно тормозится политиками, опасающимися массовых потрясений и не знающими как конкретно осуществить переход.
Хотя уже понятно, что это будет война, причём ракетно-ядерная.
Только это позволит остановить Китай, которому Запад уже полностью проиграл конкурентную борьбу.
А это для западной элиты смерти подобно!
«Как Америка перестала быть великой»
zen.yandex.ru/media/id/5dc00a6792414d00ac7d7b9c/kak-amerika-perestala-byt-velikoi-617c460f8d2a8a63c7df397b?
Да и никто не мешает токенизировать весь мир и «взвешивать в граммах» что угодно. Скорее обновится всё и ещё больше разовьётся, чем иссякнет и схлопнется.
А для всего остального мой последний абзац.
Число параметров мало-мальски сложной нейросети может составлять тысячи, миллионы чисел, наработанных довольно случайно методом градиентного спуска.
Подозреваю, ты не заглядывал ни в Франсуа Шоле, ни в Тарика Рашида и даже в древнюю «Нейронные сети. Полный курс» Саймон Хайкин. Не поленись заглянуть в ссылки из Rostislav Kudryashov Сегодня в 22:36
И еще, ИИ и нейросети, это оч разные вещи. Мало общего.
Я склонен больше доверять классикам.)
ЗЫ привел бы цитату, но нет под рукой книги, и на ~1000 стр вряд ли что найдешь.
Кстати, для прогнозирования котировок НС вполне неплохо смотрятся. Приводил в своем топике диаграмму такого прогнозирования, топик должен быть на месте.
Ведь ещё из школьной программы можно вспомнить, что через любые n точек в двумерном пространстве проходит многочлен степени n. Только толк от него для прогноза n+1 точки случайного процесса — нулевой.
Думайте, прежде чем кому-то предлагать что-то сделать.))
Какую либо доп работу я, естественно делать не собираюсь.)
АГ пишет, что нельзя, я говорю — можно. У него бездоказательное утверждение (он, типа, знает), у меня результат эксперимента.
Не, ну, пусть себе продолжает знать.))
На 15 мин или 1 час можно? — Без понятия.))
У него там есть еще интереснейИнтересно, кто ему собирается раскрывать методы обучения? График покажут, и хватит.)) Такая корова самим пригодится.)
В нормальном бизнесе это так не работает — есть патентное право, всяческие know how и пр. Трейдинг — это, все таки, не совсем бизнес.))
Есть ли сегодня работающий ИИ без нейросетей?
Кроме программы, обыгравшей Гарика Каспарова.
Аналогично НС — часть ИИ, но нейросеть ИИ не является.
PS опособов реализации ИИ — море.
Самый простой способ реализации ИИ — центробежный регулятор Уатта. Заменил человека, присматривающего за давлением в паровой машине.
Реализация любой умственной функции — уже ИИ.
Но распознавание цифр почтовго отделения на конвертах более впечатляющая функция. И такой ИИ был реализован именно на нейросети.
101books.club/carte/descarca-francois-chollet-deep-learning-with-python-pdf
и «Создаём нейронную сеть» Тарик Рашид,
github.com/makeyourownneuralnetwork/makeyourownneuralnetwork
мне показалось, что перцептрон и есть вариант нейросети.
А вот алгоритм обучения нейросети -это градиентный спуск, усовершенствованный «обратным распостранением ошибки» (Backpropagation algorithm).
Нюансы в формировании целевой функции для минимизации отклонения от заданной цели путём подгонки параметров нейросети.
Кстати, Линда Рашке в «Сардинах для трейдинга» вскользь упоминает о своей неполной удаче с ИИ.
У меня неудача полная.
Поэтому я чётко и пишу, где «дыра» ИИ и только обращаю внимание на то, что для всех частных случаев ИИ надо выяснить — это та же «дыра» или реальный прогресс для фондового рынка?
А для случаев с алгоритмами обучения нейросетей альтернативными перцептронам и Кохонену ничего объективно сказать не могу, так как просто их не изучал.
Персептон не является «супер» эффективной моделью ML. LSTM базово дает хорошие результаты, но часто сопоставимые с XGBoost, который обучить в десятки раз быстрей можно...
Если она есть, ИИ её найдёт и сформулирует в нелинейной модели из миллионов чисел-параметров. Независимо от того, отражает корреляция причинную связь или просто совпадение в пределах обучающей выборки.
Если данные за пределами обучающей выборки такой корреляции не содержат, ИИ будет попадать пальцем в небо.
Как это случилось недавно с применением ИИ в Сбербанке, о чём Греф с год назад поведал молодёжи. И обещал исправиться.
Автор поста акцентируется на персептоне и некоторых данных, с которыми он не работает. Я хочу сказать в этом свете что куда важнее есть ли в этих данных вообще какой то сигнал — вот что важно.
По х — прогноз значения на 5 минут, по У — реальные значения.
Данные нормированы, т.е., это не пункты инструмента.
Ну и че, НС с прогнозированием вполне справляется. Не пошло в дело, т.к. было без надобности, есть более простые и не менее эффективные решения.
Что касается доходности моих ТС — меня вполне устраивает.
1. Это данные с того отрезка, где нейросеть обучалась?
2. Если да, то я уже писал о многочлене степени равной числу испытаний, где вообще все лежало бы в одной точке нуль. А если нет, то где сравнение той части, где нейросеть обучалась с той, которую не видела во время обучения?
Диаграмма пятилетней давности, других данных у меня нет. Боюсь, что и технологии утеряны после замены компа.) Восстановить можно, но в планах это не значится.)
dzen.ru/media/id/5dc00a6792414d00ac7d7b9c/kak-ispytat-razumnost-iskusstvennogo-intellekta-647c44fc8bc81353f7ef6332
«Как испытать разумность Искусственного Интеллекта».
Пусть ИИ, имея те же исходные данные, что Кеплер, Галилей и Ньютон, запланирует все эксперименты и проделает все шаги этих натуральных интеллектов, что привели к динамике Ньютона.
А в реальном мире всё начинается с практики, с дел и фактов, для которых потом придумывают наиболее удобные слова-термины.
Сам же я готов доказать это для Газпрома и SPY. Только недавно тут публиковал пост о разбиении процентных приращений центрированных средним на разные классы стандартного отклонения
smart-lab.ru/blog/699507.php
Такое ощущение что все работают по одной и той же программе. Типа я сейчас возьму, напишу алгоритм (остальные же тупые, до этого не додумаются), найду закономерности и стану рубить капусту. Вот реально, как биороботы по одному и тому же сценарию.
А вот взять, почитать нужную литературу, понять что график это обычная сетка координат, попытаться привести время и цену к общему знаменателю и далее РУЧКАМИ, РУЧКАМИ на истории пройтись лет так 10-15… Не, зачем, мы сейчас комп заставим, он же железяка, не устает!!!
У меня почему-то все работает, и всегда на выходе одни и те же параметры, типа 72 за 72, 62 за 41, 72 за 108 и т.д. Не зависимо от актива, таймфрейма и т.д. Везде одни и те же пропорции мат. моделей.
Ну а как строить такие прогнозы — это другой вопрос. Собственно топик только о том, где в этом будет ошибка.
Ищите не проценты приращения, а конечную точку… Вспомните физику — угол падения = углу отражения. На рынке такая ситуация встречается очень часто. Все модели ищутся обычной школьной геометрией. Рынок это математика и геометрия 7-8 класса. Достаточно этих знаний!
А. Г., на отдельных участках характеристики выборки будут отличаться, но чем шире период, тем лучше усреднение. А если еще нормировать на волатильность?
А. Г., нейросети же как то отличают котиков от собак, а котики и собаки — это тоже разные классы. А на разном фоне — тоже разные классы.
Так и нейросеть можно настроить искать по сути паттерны. Не предсказывать цену на каждом шаге (это я не видел чтобы у кого-то работало).
Как по мне, так распределение вобще мало что показывает, это следствие наличия автокорреляций. Автокорреляции типа «трендовость» дают толстые хвосты. Тут распределение — это средняя температура по больнице.
Поэтому и топик с единственной мыслью: не доверяйте тем, кто скрывает методы обучения нейросетей с такими входными данными или разбирайтесь с методами обучения, которые предлагаются, когда на вход идут только прошлые цены и объемы.
А говорили Игру в имитацию, которая точно имеет мало отношение и к Тьюрингу, и к истории, а порой просто глупа.
Как говорится, говно на входе — говно на выходе. Искать надо конечную точку разворота, а не приращение баров…
На самом деле, знаю несколько крупных компаний, которые успешно применяют ИИ в биржевой торговле. Просто это надо делать, как и везде, умеючи.
Но речь не о том, что надо предсказывать частными случаями нейросетей, а о том, при каких входах они не дадут предсказание этого самого минимума. А про нейросети с другими входными данными я ничего не писал.
Нестационарность дисперсии может быть, а может и не быть на разных участках временного ряда. У меня даже пара статей есть в Journal of Applied Econometrics
Понятно, что в прошлом подгонка для случайных величин выглядит лучше, чем правильный анализ.
Daily и фьючерс, это безумие
поверьте старым, и
чуть более опытным, бобрам))))
для спекуляций, киньте графики
SP500, фьючерс ES
рабочие — S1, M1, M2
для наглядности — M5, M10, M15
сжато, чтобы было видно 2-3 дня / неделя
посмотрим, оценим
Современные нейросети ведут анализ в режиме реального времени всего контента, доступного через интернет.
И это только начало!
Например, она неплохо пишет макросы для эксель, но выдает ерунду по запросам на коды для амиброкера.
А про остальное я как раз и предложил тщательно разбираться тем, кто хочет использовать и ничего более.
Я когда-то попробовал использовать MLP в проге типа SPSS для прогнозирования РТС.
Итоговый алгоритм был — завтра будет то же что сегодня.
В тренде такой подход вполне рабочий, во флэте- ну вы поняли ))
В теории нейронки должны неплохо работать на графике, типа поиск уровней, фигуры и пр., но качество обучения будет зависеть от аннотатора, который будет ее кормить картинками.
Кстати, знание при продаже доверительного управления вовсе не методы, а результаты самой торговли. А больше я ничего за деньги и не продаю.
Ну я и для SPY сделал то же самое, но там на вход подавал только его прошлые цены и объемы торгов. И там получилось тоже самое.
Ну а результат о неприменимости таких нейросетей, если на их вход подаются случайные величины с нестационарными средними и дисперсиями был доказан чисто теоретически во второй половине 80-х в одной статье на английском. Я же только экспериментировал с нейросетями на вход которых подаются прошлые цены и объемы.
Перцептроны успешно используются для решения задач классификации или регрессии, например обработки изображений или структурированных данных.
Сети Кохонена применяются для кластеризации, сжатия данных, ассоциативного поиска и визуализации многомерных данных.
А у нас тут идёт речь о последовательных данных и обработки информации с учетом временных зависимостей. Это реккурентные сети, RNN. Например, LSTM, или упрощённый вариант GRU.
Но, должен сказать, глядя на мучения других на всяких хакатонах по трейдингу, что эффективность предсказания даже правильной технологией (RNN) не будет выше, чем у средней скользящей, если использовать одну сеть. Результат можно улучшить, если использовать ансамбль сетей, в котором каждая сеть будет предсказывать движение на своём таймфрейме, а их общий результат усреднять.
А ещё я думаю, что использовать DL для предсказания движения цены — это как стрелять из пушки по воробьям. Лучше уж подняться на уровень выше и предсказывать что-то, что связано с торговой системой в принципе.