SergeyJu
SergeyJu личный блог
28 апреля 2024, 10:51

Как оценить количественно переподгонку

Мы знаем, что любую простую меру качества торговой системы можно за счет подгонки загнать высоко вверх. Беда в том, что это утверждение верно в отношении прошлого и не опрокидывается в будущее. Переподогнанные системы разваливаются при реальной торговле. С другой стороны, алготорговцы верят, что в ценах есть скрытые закономерности, которые позволяют строить устойчивые торговые системы.
Практики обычно стараются упростить свои системы, чтобы минимизировать именно ПЕРЕподгонку. В математическом смысле сокращают число степеней свободы, число параметров, по которым ведется оптимизация. Не всегда эти параметры такие очевидные, как, например, число баров в алгоритме канала Дончиана. 
Или, для примера,  при подгонке RSI мы видим уже 3 параметра — переменная сглаживания, порог перекупленности, порог перепроданности. Те, кто используют стандартные настройки, начинают играть в интерпретации, что тоже может иметь смысл подгонки, но я сейчас не об этом. 
Хочется иметь какую-то меру, которая скажет нам, вот за введение дополнительного параметра подгонки мы получим вот такой выигрыш фиктивный (ПЕРЕ...), а все что свыше нам  скажет, что мы цепанули реальную закономерность. 
Для затравки, опишу, очень грубо, модельный пример. 
Я взял дневки на американские отраслевые ЕТФ акций серии XL (XLI, XLK, XLU и так далее) в количестве 9 штук плюс SPY, MDY, DIA — ЕТФ акций, соответствующие общим индексам.  Итого 12 штук, период времени с конца 1998 года. Примерно по 6500 точек на каждой или чуть больше 25 лет истории. Три одинаковых индикатора, в каждом по 1 подбираемому параметру =порогу. 
В качестве меры качества системы — сортино. 
Если подобрать три параметра для каждого ЕТФ независимо, мы получим, что ТС даст примерно троекратный выигрыш по Сортино против исходного ряда.  Равномерно взвешенный портфель (тут уж нет подгонки) из 12 систем даст выигрыш к среднему Сортино еще в 2 раза. 
Если же я буду подбирать все 3 порога одинаковыми для всех ЕТФ, то я потеряю примерно в 1,5 раза по Сортино для каждой системы и суммарный портфель даст выигрыш по сортино против среднего не в 2 раза, как первом случае, а в 1,5 раза. 
Внимание, вопрос. 
Можно ли количественно оценить, насколько велика доля переподгонки, когда я использую раздельную настройку индикаторов и вообще, будет ли реальный выигрыш от торговли раздельно подогнанного портфеля  от портфеля с 3 общими порогами.  
82 Комментария
  • Сергей Сергаев
    28 апреля 2024, 11:07
    Переподгонка определяется простым методом — это раздельное тестирование входов и выходов. Результаты статистики поведения входов показывают средний потенциал требуемого положительного смещения цен после входов. Результаты статистики поведения выходов показывают средний положительный потенциал удержания позиции.
    Их совокупность и есть результативность алгоритма вход-выход.
     
    А вот как проводить раздельное тестирование? — это уже правильный вопрос.
      • Сергей Сергаев
        28 апреля 2024, 11:17
        SergeyJu, ответ есть, он заключается в подходе как производится оценка раздельных входов. не каждому дано понять что один из параметров любой системы это нахождение в позиции или вне позиции. входы можно тестировать лишь понимая что в данный момент мы вне позиции. то есть не просто записать условие входа и кинуть его на график, нет, надо так записать чтобы условие входа учитывало что в данный момент мы вне позиции, а уж как это сделать — это очень интересный вопрос
          • Сергей Сергаев
            28 апреля 2024, 11:31
            SergeyJu, раздельное тестирование условий переподогнанной системы невозможно произвести по причине жесткой зависимости правил входа и выхода подобной системы. вот это и есть критерий проверки переподгонки…
              • Сергей Сергаев
                28 апреля 2024, 11:50
                SergeyJu, ладно кину последний шар, может достучусь.
                Переподгонка сама по себе включает в себя переподгонку входов и переподгонку выходов.
                Если ваше условие выхода невозможно проверить на случайных входах, то значит условие выхода уже переподогнанно.
                • Replikant_mih
                  28 апреля 2024, 11:58

                  Сергей Сергаев, О, а этот шар я поймал)), хотя предыдущие комменты тоже не сильно понимал).

                  Я тоже выходам тоже больше значения придаю (чем обычно это делается), но пока на уровне бэклога задач)). По сути вход у нас по принципу: ждем когда вероятность, риск-реворд будут приятными для нас — входим, в частности что это означает: если мы не уверены в конкретный момент времени — можем легко и свободно интерпретировать это как «не входим». С выходом так нельзя: мы уже сделали ставку, мы в игре, в конкретный момент времени можно сказать «пора выходить», можно сказать «не пора ещё», сказать «хз, чёт я не знаю» — уже не желательно.

                   

                  Ну а сточки зрения использования вот этой диссоциации выходов и входов для оценки подгонки — об этом точно не задумывался, спасибо.

                  • Сергей Сергаев
                    28 апреля 2024, 13:44
                    SergeyJu, сама идея что выход лонга это вход шорта является противоречивой факту наличия бокового движения на рынке, она упрощает движение цен только к лишь трендам вверх и трендам вниз. А куда вдруг пропало боковое движение, которое составляет довольно значительную долю?
                    • MPlus
                      28 апреля 2024, 13:55
                      Сергей Сергаев, падение не торгуем, есть правило «пусть полежит», на боровике рынка спокойно перекладываемся между локальными лидерами 
    • А. Г.
      28 апреля 2024, 21:56
      Сергей Сергаев, подгонка «лежит» исключительно в выборе параметров с лучшим по мнению разработчика показателем и без анализа параметров системы с худшими показателями.
      • Сергей Сергаев
        28 апреля 2024, 22:03
        А. Г., я веду Коллекцию заблуждений А.Г., добавлю туда и этот коммент )
        • А. Г.
          28 апреля 2024, 23:16
          Сергей Сергаев,  ну только уточните, что я говорил об одной системе с разными параметрами.
  • Replikant_mih
    28 апреля 2024, 11:29
    У меня есть подобные меры — они полностью кастомные — сама логика, вычисление. Хотя, вряд ли я один такое юзаю, но у трейдеров не встречал.

    Но у меня парадигмально немного не так работает. В приведенном же контексте что имеем: исходно дурацкий флоу, которому мы не даём баловаться за счет снижения степеней свободы, дальше пытаемся оценить: а потенциал идеи, помноженный на уменьшение степеней свободы приемлемую переподгонку дают в итоге? У меня по-другому: сам флоу так работает, что переподгонка не является естественным результатом, но даже в таком флоу на выходе я делаю оценку, но скорее не на переподгонку, скорее это ближе к оценке положения на шкале случйность-закономерность.
      • Replikant_mih
        28 апреля 2024, 11:50

        SergeyJu, Сильно конкретнее к сожалению нельзя). С одной стороны — это «ноу-хау», с другой — то, о чем я говорю — это абстракция высокого уровня, мне сначала нужно полностью объяснить мою парадигму и подход и абстракции предыдущих уровней, чтоб описываемая метрика стала понятна — а это долго).

        Дурацкий флоу — сама концепция генерации прогонов с разными параметрами и выбор значений из одного прогона, когда на соседние прогоны мы смотрим только на предмет больше/меньше — т.е. для ранжирования. Подгонка зашита в сам подход). Т.е. что мы делаем: мы зашили подгонку в саму суть подхода, а дальше пытаемся её контролировать затягиванием гаек по типу «убрать нахрен все параметры».


        > подбор параметров может уклониться от проклятия ложной тревоги на шуме

         

        Ну, если я в пределах описанного в посте подхода остаюсь, или где-то рядом (т.е. сильно саму парадигму не меняю), нужно смотреть на прогоны шире чем просто лучше-хуже, потому что лучше-хуже имеет несколько групп факторов — случайные и закономерные. Если просто смотреть лучше-хуже, случайные-то поволатильней будут — ты на них и зафитишься (фиттинг на белый шум :) ). Надо фититься на закономерные факторы. Можно просто задаться вопросом/вопросами: если тут есть закономерность в этом факторе и в этом, то как должны/могут выглядеть результаты разных прогонов при таких-то изменениях значения параметра, параметров. Это вектор, по направлению этого вектора можно придумать конкретные флоу, метрики и т.д.)

        Ну а если я вернусь в свою парадигму, то максимум, что я могу сказать: а не надо вообще параметры подбирать).

          • Replikant_mih
            28 апреля 2024, 12:21
            SergeyJu, У меня нет цели использовать матстатистику, у меня цель иметь рабочий инструмент — флоу, меры. Критерий рабочести для флоу — в среднем даёт ощутимо лучшие результаты по мере случайность-закономерность относительно бейзлайн флоу, критерий рабочести для меры: значение меры хорошо коррелирует с положением на шкале случайность-закономерность, тут уже посложнее — большим количеством телодвижений, кросс-проверок убеждаешься, что мера валидная как инструмент, дальше ей просто уже на этом основании доверяешь и пользуешься ей.
              • Replikant_mih
                28 апреля 2024, 13:15
                SergeyJu, Ну набор действий, процесс, что именно ты делаешь (или автоматика, или вы на пару) начиная с момента написания стратегии до момента когда определился с «эту стратегию торгую таким-то способом (облаком или набором значений параметров) с такими-то набором значений». 
                  • Replikant_mih
                    28 апреля 2024, 14:26
                    SergeyJu, Видимо, талант).
                    • Aleksey
                      29 апреля 2024, 10:05
                      Replikant_mih, давний)
                  • Aleksey
                    29 апреля 2024, 10:05
                    SergeyJu, это дар 
  • Лучший ученик В...
    28 апреля 2024, 11:38

          Прямого решения тут нет, зачастую всё зависит от самих параметров подгонки, может и с одним быть переподгонка, а может и с 5-ю быть робастной системой. Как оценить тут вопрос.

            Обычно классика RSI, стандартные периоды скользяшек… идут в конец, что-то необычное(нестандартное) в приоритете, если конечно есть результат. А далее уже эмпирически гоняя системы в хвост и в гриву вырисовывается мнение об их устойчивости или хрупкости.

      • Лучший ученик В...
        28 апреля 2024, 11:53
        SergeyJu, не очень понял вопрос объем данных параметров оптимизации или речь о котировках?
          • Лучший ученик В...
            28 апреля 2024, 12:38
            SergeyJu, другая математика нужна, классика с этим не справляется.
  • Ju
    28 апреля 2024, 12:45
    Каменный век. Никто давно не занимается подгонкой параметров стандартных индикаторов типа RSI и подобных. Это напрасная трата времени. Эти индюки усложняют, добавляя в них визуализацию трендов, поддержек и сопротивлений.
    Салтыков, вы напрасно тратите время.
    • Лучший ученик В...
      28 апреля 2024, 12:50
      Ju, намекните нам тогда, куда копать?
  • Sergerk
    28 апреля 2024, 13:07
    По моему ситуация очень похожа на интерполяцию данных нейронной сетью. Только в Вашем случае все делается ручками...
    Так вот, при обучении нейронной сети на исторических данных с каждым следующим этапом обучения ошибка уменьшается, но существует общеизвестный порог обучения, за которым возникает так называемое «переобучение» нейронной сети. Это когда наша сеть все лучше интерполирует исторические данные, но в то же время все хуже — данные из той же выборки, но не участвующие в обучении...
    Поэтому, мне кажется, чтобы получить действительно объективный взгляд на «ценность» инструмента — нужно проверять его при подгонке на нескольких независимых выборках, не участвующих в обучении…
      • Sergerk
        28 апреля 2024, 14:55
        SergeyJu, не совсем согласен с тем, что плохо работают в наших условиях...
        Может Вы неправильно их готовите? 
        Мне кажется, что можно получить ответ только на правильно задаваемый вопрос. Дело в том, что «оптимизируя» параметры всяческих ТС мы как-бы в лоб ставим задачу, аналогичную той, что для нейронной сети — найти зависимости (грааль) по исходным данным. По мне — это тупиковый путь — ответ Вашей ТС или нейронной сети будет аналогичным. Нельзя по предыдущим следам (историческим данным) спрогнозировать дальнейшие шаги. ТС или нейронка может быть только инструментом. Нужно рассматривать не следы системы, а ее состояние в данный момент. Ведь именно состояние определяет ее дальнейшую эволюцию...
        Все — глубоко ИМХО…
          • Sergerk
            29 апреля 2024, 06:15
            SergeyJu, Не, я больше со стороны физики процесса. Состояние как процессы взаимодействия внутри системы типа диссипации, самоорганизации и пр. (Пригожин, Хакен и др.), свойственные подобным явлениям. В этом смысле что рынки, что погода или явления попроще -  как Ячейки Бенара, реакция Белоусова-Жаботинского, имеют одну, в общем уже довольно хорошо известную, природу…
    • А. Г.
      28 апреля 2024, 22:01
      Sergerk, все нейросети, имеющие разные СКО ошибок на обучающей выборке и тестирующей — подгонка. А вот со статистически одинаковым СКО уже не подгонка, а найденная статзакономерность.
      • Replikant_mih
        28 апреля 2024, 23:03
        А. Г., На стационарных данных. Но тут не такие, или нужно дополнительно специально сильно постараться, чтобы такие выборки подобрать. И это кстати отдельное направление исследований — на чем обучаться, на чем тестировать, как понять, различия связаны с различием в данных или модель хреновая и т.д.
        • А. Г.
          28 апреля 2024, 23:11
          Replikant_mih, да нейросети из нестационарных могут преобразованием выделять стационарность. А мой топик лишь о том, как это проверить правильно.
          • Replikant_mih
            28 апреля 2024, 23:28

            А. Г., Если мы возьмём размеченные фото кошек и собак, поделим на 2 выборки рандомом, на одной выборке обучим нейросеть, заметим, когда ошибка на тесте закончит падать, начнёт подрастать — в этом месте остановим обучение. 

            Хотя не, в предыдущем сообщении я наврал, при любом раскладе ошибка не будет равна на трейне и на тесте. 

            Вернемся к примеру — да, будет некоторая небольшая разница между ошибкой трейна и теста.

             

            Теперь гипотетическая ситуация: возвращаемся в прошлое на несколько миллионов лет назад (или сколько там), отматываем эволюцию назад и фоткаем кошек и собак того времени. Обучаемся на тех фотках, а в качестве тестовой выборки даём фотки современных. Будет разница в ошибках больше — да, почти наверняка.

            «Закономерность» это абстракция, чисто понятие для человеков, модель обучается на тех данных, которые есть, с теми их особенностями, которые есть.

            Если модели дать трендовый рынок для обучения и модель, условно, научится хорошо торговать на тренде и будет сливать на флете (который она никогда не видела в качестве обучающих данных), значит ли это, что модель переобучилась? — Нет (вернее может да, может нет — не известно).

              • Replikant_mih
                29 апреля 2024, 10:13
                SergeyJu, Я знаю, что не наш, я довел пример до крайности для того, чтобы он стал более «нашим».
            • А. Г.
              29 апреля 2024, 16:03
              Replikant_mih, да все проще. Если прогнозируемых точек в тесте N, а прогнозная функция имеет степень больше N. То оптимальный «прогноз» на тесте будет иметь ошибку «нуль», но и его ценность тоже нуль.
              • Replikant_mih
                29 апреля 2024, 19:10
                А. Г., Это для вас проще)), а для меня когда вы перешли на язык математики сразу стало сложнее).
          • Sergerk
            29 апреля 2024, 06:32
            А. Г., Все персонажи и события в моем посте являются вымышленными, любые совпадения — случайны...  
            А если серьезно — целью было через грубую аллегорию сравнить природу процессов. Нисколько не претендую при этом на точность их описания…
  • Laukar
    28 апреля 2024, 13:39
    Переподгонка оценивается через проверку на других инструментах на том же периоде и через проверку на других периодах не участвующих в обучении(подгонке). Если при проверке результат значительно не улучшаются значит уходишь в лишнюю переподгонку.
  • Мальчик buybuy
    28 апреля 2024, 16:11
    Т.к. пост был написан отчасти по мотивам моего — надо что-то ответить.
    Пробуем.

    1. Я не знаю, как оценить переподгонку между индивидуальной оптимизацией и оптимизацией портфеля. Т.к. как по мне, объединение активов в портфель (равномерный) улучшает результат только в случае однородных активов (акции и отраслевые индексы одной страны).
    2. Зато я знаю, как оценить переподгонку на одном активе — и уже писал об этом ранее. Надо просто увеличить окно в N раз (проще всего N=2). Если подгонка даст результат больше, чем sqrt(N), к предыдущему, то это, скорее, некая закономерность. Если меньше — шум.
    3. Но я в своем посте писал вообще не об этом. Попробую тезисно.
    3.1. Под индикатором я понимаю не индикатор ТА, но любую функцию от предыдущих приращений цен, которая дает нам сигнал на покупку (значение положительно) или на продажу (значение отрицательно). Неважно, аналитическая это функция или кусок программы. Я называю это плоский реверсивный индикатор (или торговая система).
    3.2. Любая система, которая может стоять в сквере (не покупать или не продавать) — это портфель из 2-х реверсивных систем, так что претензии в адрес реверсивных систем не принимаются — это хорошие кирпичики.
    3.3. Простейшая процедура продолжения индикатора в будущее — это подгон параметров на интервале, а затем периодический (раз в день, раз в неделю) очередной подгон.
    3.4. Масса успешно работающих индикаторов (например, наилучший МНК-прогноз будущего приращения цены) при такой процедуре периодической подгонки никак не улучшают свой результат.
    3.5. Некоторые хитрые индикаторы при такой процедуре периодической подгонки улучшают свой результат на 30-40-50%
    3.6. Пост был написан про то, что при «антиподгонке» (выбираем параметры, которые хуже всего работали на интервале обучения) некоторые индикаторы улучшают свои результаты в разы (на 100-200-300%). И это в самом деле удивительно

    С уважением
      • Мальчик buybuy
        28 апреля 2024, 21:43
        SergeyJu, ну такое...

        1. Посмотрите, плз, на 2-й из приведенных графиков. Там не только эквити красивая длиной 1900000 баров, там и E/DD практически не меняется при перемещении слева направо окна выборки. Так что результат кажется очень устойчивым.
        2. Наличие хороших линейных прогнозов для будущего приращения цены (они есть) означает, что цена подчиняется чему-то вроде стохастического дифференциального уравнения (не Ито, конечно, т.к. приращения цен не образуют мартингал, скорее это интегральное СУ Стратоновича).
        Вопрос: насколько очевидно, что эти уравнения будут одинаковы или похожи для нефти и нефтедобывающих компаний? Для золота и золотодобывающий компаний?

        С уважением

        P.S. Так то я пробовал. Но это не более, чем торговля в треугольнике активов, 2 из которых сильно коррелируют. Вместо золота и нефти могу предложить EURUSD и USDCHF. Смысл в этом есть, гигантская прибыль там не растет. Просто красивая версия портфельной задачи.
      • RKS_01
        28 апреля 2024, 21:49
        SergeyJu, может
    • RKS_01
      28 апреля 2024, 21:49
      Мальчик buybuy, добрый

      1 — ложно, противоположное истинно
      2 — ложно, параметры конкретного актива — не стационарны

      3.2 — ложно, не обязательно реверс-система
      3.5 — истинно

      3.6 — тему прочёл
      причины, не выделены

       
  • Denis
    28 апреля 2024, 18:00

    А что насчет форвард-тестов 3+1 год, там должно быть видно, как сильно скачут коэффициенты для максимизации ф-ции прибыли из года в год.

      • Denis
        28 апреля 2024, 20:21
        SergeyJu, 

        На период очень высокой волы – возможно, лучше вообще отдельную систему иметь. Т.к. искомый паттерн поведения точно меняется.

      • Sergerk
        29 апреля 2024, 06:58
        SergeyJu, Потрясения разные, а вот природа катастрофичекого поведения — одна. И работает она чаще, чем может показаться...  ))) 
        Масштаб катастрофы зависит от количества задействованных в ней таймфреймов (для временных процессов). Аналогично и для пространственных структур. Миникатастрофы есть практически в любом графике.
        Привел тут старый график — то, что попало под руку из книги Бака Пера — но, все это работает и сегодня...  )))



          • Sergerk
            29 апреля 2024, 08:39
            SergeyJu, Да, если Вы имеете в виду, что Сорнетте рассматривает явление как самоорганизующуюся систему. А в части «торговать график» — с самого начала хотел сказать — торговать не график, а состояние системы, рассчитанное на основании графика…
              • Sergerk
                29 апреля 2024, 09:20
                SergeyJu, Гудылина читал... 
                Оставляет впечатление неординарной личности. Читать интересно, но в процессе ощущается привкус неадекватности, что, в общем, бывает свойственно одаренности. Но я не поверил — идея, что фракталы на разных таймфреймах должны быть подобны, мягко говоря, не обоснована...
                Возвращаясь к нашим баранам — торговать состояние системы — работаю с этим уже несколько лет. Задача не из простых — общеизвестными являются только общие принципы существования таких систем. Т.е. приходится «изобретать» какие-то способы расчета характеристик системы, а, затем, использовать их же для изучения конкретики поведения таких систем. Результаты есть, но пока скромные...
            • Дед Нечипор
              29 апреля 2024, 09:11
              Sergerk, ну, что же Вы замолчали?




              • Sergerk
                29 апреля 2024, 09:21
                Дед Нечипор, отходил от монитора...   )))
  • Synthetic
    29 апреля 2024, 00:17
    С другой стороны, алготорговцы верят, что в ценах есть скрытые закономерности, которые позволяют строить устойчивые торговые системы.
    ИМХО — ключевая фраза. Так не надо верить, надо проверять и выявлять эти закономерности в явном виде. А не заниматься мастурб оптимизацией.
  • Synthetic
    29 апреля 2024, 12:03
    На kaggle.com периодически бывают задачки на поиск закономерностей в предложенных ценовых данных. Причем с солидным призовым фондом от какой-нибудь инвестиционной компании. Бывает так, что в этих данных нет никаких закономерностей ( что подтверждает подозрение в дефиците по настоящему умных людей в финансовых компаниях). Что и подтверждают получаемые  результаты. Но все равно у кого-то score выше на ничтожную величину и они получают приз...
    А вот про матаппарат я ничего плохого не говорил.
  • kostay_scr
    29 апреля 2024, 16:51
    Может бутстрапом?
    1. Сгенерировать случайное блуждание того же кол-ва баров(можно перетасовать приращения исходного ряда)
    2. Оптимизировать на нём ТС
    3. Посчитать и сохранить все метрики(сортино)
    4. Повторить процедуру N раз, мин. 100, лучше 1000 и более
    5. По результатам будет распределение значений сортино, можно посчитать дов. интервал, СКО.
    Чем сильнее отличается значение сортино на раельных данных от симуляции на случайных данных, тем сильнее данная ТС.  Например, на сколько сигм далее от центра, если система с 2 параметрами 3.5 сигмы, а с 10 — 4 сигмы, то чуть лучше(но статистически не значимо).
      • kostay_scr
        29 апреля 2024, 18:24
        SergeyJu, в этом весь смысл. Если система даёт больше, чем тест( с оптимизацией) на случайных данных, то можно оценить, насколько больше.
        Бутстрап в данном случае это повторение всей процедуры N раз, чтобы получить оценку распределения результатов оптимизации некой ТС на случайных данных.
          • kostay_scr
            29 апреля 2024, 19:33
            SergeyJu, Да, это можно назвать и монте карло. Только вроде наоборот — там случайные системы на реальных данных. Суть в том, что получится распределение оптимизации именно реальной системы с реальными индикаторами, а не случайной. И по нему можно сравнивать разные системы, с разным кол-вом параметров и логикой.
            Будет как-раз количественная оценка подгонки — результат системы, с поправкой на случайный результат(на случайных данных, без зависимостей).
  • Synthetic
    30 апреля 2024, 14:52
    У Прадо книжка есть на русском (2019г). Там есть глава про бэктестинг и оценку результатов.
  • bascomo
    11 октября 2024, 22:08
    Практически, это возможно.

    Стратегия такая:
    1. нормализуете цены каждого инструмента в портфеле minmax.

    Нормализация min-max является одним из наиболее распространенных способов нормализации данных . Для каждого признака минимальное значение этого признака преобразуется в 0, максимальное значение преобразуется в 1, а каждое другое значение преобразуется в десятичное число от 0 до 1.

    В этом кейсе минимальное значение должно быть у вас 0,25, а максимальное 0,75. Это нужно для того, чтобы будущие цены гарантированно не вышли за диапазон 0 — 1, поскольку мы тут предсказанием занимаемся.
    Таким образом, сводите OHLC всех инструментов к одному диапазону.
    2. И уже на таком ценовом ряде считаете все свои показатели.
    3. Количественно долю переподгонки можно посчитать в таком случае, разделив число успехов на общее число вариантов.
    4. Разумеется, чем больше инструментов — тем выше достоверность.
    5. Всё описанное выше не сработает, если у вас 3-4-10-15 инструментов. Нужно существенно больше.
    6. Радость в том, что вы ценовой диапазон любых из них можете привести к 0,25 — 0,75.

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн