Блог им. SECRET

Задачка по теории вероятностей

    • 17 октября 2017, 10:57
    • |
    • SECRET
  • Еще
Всем привет!

Предлагаю поломать голову над следующей задачкой. Ее решение вполне применимо в трейдинге и возможно кому-то поможет.

Имеется N случайных величин (СВ), распределенных по нормальному закону. Каждая из них имеет отрицательную корреляцию K одновременно со всеми остальными СВ. Необходимо найти минимальное возможное значение K и построить график K(N). Дополнительно можно построить график корреляции между суммой N-1 CВ и оставшейся СВ.
★14
45 комментариев
ves2010, полный перебор чего?
avatar
SECRET, идея в том что собранная из  нормальных случайных процессов K(N) тоже будет нормальным случайным процессом… для оценки характеристик которого достаточно 100 точек (90% точность)… и 1000 точек для 99% точности
т.е. берем и тупо перебираем 1000*N количество данных находим точки минимумов и считаем по ним статистику
avatar
ves2010, интересует решение в общем виде. Данных нету.
avatar
SECRET, всегда можно сделать модель и посчитать статистику по модели… мне помню надо было проверить теоретические расчеты по спермоанализатору… там измерялась концентрация спермы и ее подвижность… на дифракционной решетке… тупо сделал модель на компе в масштабе 1к1000… получил статистику… посчитал и убедился что метода рабочая… аналогично делал при расчете балвычислителя… моделировал пушку и снаряд все стреляло и летало по заложенным формулам… сразу вылезли косяки в расчетах… а прикинь еслиб в реальности стрелять
avatar
ves2010, тут придется подбирать значения СВ для каждого набора из N СВ, чтобы для каждого случая Корреляция была одинаковой и минимально возможной. Генетикой пришлось бы решать. _sk_ уже дал красивое правильное решение.
avatar
ves2010, наверное алгоритм расчета нужно заложить в hft, а перебор — это не айс =)
avatar
спасибо огромное.
недавно думал о подобном, а Вы так четко сформулировали...
Это мне напоминает кажется формулы Эйнштейна  и вероятности частиц… ;-))))
avatar
Как-то некорректно поставлена задача. Когда говорят о взаимо-корреляционной функции или авто-корреляционной функции, то имеется ввиду как раз функция (набор СВ), но ни как не о числе. Если у вас нормальное распределение (Гаусов купол) то как каждое конкретное число может иметь отрицательную корреляцию относительно любого другого числа? 

Хорошую генерацию последовательностей с наименьшей величиной взаимной корреляции (одной последовательности относительно другой последовательности) дают коды Голда. 
avatar
maxman, автокорреляция это когда следующее приращение зависит от предыдущего во временном ряде.

О числе никто не говорит. Речь идет о наборе зависимых случайных величин.

Зависимость между СВ может быть выражена одним числом — корреляцией K.

Коды Голда дают очень низкую корреляцию, а нам нужна минимально возможная, т.е. как можно меньше нуля значение, а не как можно близкое к нулю.
avatar
SECRET, 
автокорреляция это когда следующее приращение зависит от предыдущего во временном ряде. 
Автокорреляция это свертка функции (временного ряда) со своей копией, сдвинутой на N отчетов K=f(x)*f(x-i). Каждое i дает свое значение автокорреляционной функции. Если система динамическая и на вход поступают новые значения временного ряда и вы пересчитываете автокорреляцию, то да следующее приращение автокоррелционной функции зависит от предыдущего, так как эти отчеты используются в расчете.   

Все же не понятно, что именно вам нужно. Значение автокорреляционной функции зависит от самих СВ и больше ни от чего, вы можете только сдвижку менять, при определенной сдвижке вы можете получить локальный минимум корреляции, который при получении следующего СВ может уже и не быть локальным минимумом. 
Соответственно, вы хотите синтезировать некую функцию корреляция которой с исходными СВ будет минимальна или что? 


avatar
maxman, да тут не нужна автокорреляция. Речь идет о взаимной корреляции между случайными величинами.
avatar
Чего автор этим предложением-то хотел сказать?:))
Каждая из них имеет отрицательную корреляцию K одновременно со всеми остальными СВ.
Сперва придется решить задачку по русскому языку, а уж потом по ТВ.
avatar
Sergey Pavlov, «K» это не предлог, а обозначение корреляции в поставленной задаче.
avatar
1) Теория вероятностЕЙ, конечно же. (UPD: Спасибо, что исправили).

2) Судя по всему, в условие надо дописать, что отдельные величины Xi имеют одинаковые математические ожидания EXi и дисперсии Var Xi.

3) Без ограничения общности считаем, что математическое ожидание каждой из величин равно 0 и дисперсия совпадает со вторым моментом E Xi^2 и равна 1, тогда корреляция равна математическому ожиданию произведения двух таких случайных величин r = E XiXj. Сумма S = X1+...+XN величин имеет неотрицательный второй момент E S^2 >= 0, который равен N*EX1^2 + N*(N-1)*EX1X2 = N*1 + N*(N-1)*r, откуда r >= -1/(N-1).

4) Наверное, надо ещё доказать, что существует многомерное нормальное распределение, для которого это равенство достигается. В этом случае K(N) = -1/(N-1) — график гиперболы.

5) Самое сложное — теперь придумать этому применение в трейдинге. :)
avatar
_sk_, Гениально! Я предполагал что график должен быть похож на гиперболу, но не додумался через дисперсию суммы решить. А оказалось, что очень даже красивое решение. Спасибо
avatar
SECRET, есть другое решение. Пусть есть N случайных чисел x1, х2, ..., Хn нормально распределенных и с мат ожиданием 0 и дисперсией 1. Пусть корреляция между ними одинакова  и равна К. Пусть есть СВ Y — нормально распределенная и с корреляцией со всеми Xn равной тоже К. Найдем корреляцию суммы Х1+Х2+...+Хn и Y => r =( E[(X1+..+Xn)*Y] — E(X1+...+Xn)*EY ) / корень(D(X1+..+Xn)*D(Y)).
Упростим выражение:
1) E[(X1+..+Xn)*y] = Е(X1*Y)+E(X2*Y)+...+E(Xn*Y) = K+K+...+K=N*K
2) E(X1+...+Xn)*EY = 0, т.к. EY =0
3) D(X1+..+Xn)*D(Y) = D(X1+..+Xn)*1= D(X1)+...+D(Xn)+2*K*N!/(N-2)!/2! => D(Xn) =1 => N+K*(N-1)*N

Тогда получаем упрощенное выражение:
r=N*K/корень(N+K*(N-1)*N) = корень(N/(1+K(N-1)))*K
Известно что r>=-1 тогда:
корень(N/(1+K(N-1)))*K >=-1, возведем в квадрат обе части:
N/(1+K*(N-1))*K^2>=1
N*K^2-(N-1)*K-1>=0, решаем квадратное уравнение относительно К и получаем корни:
K=1, K=-1/N.

Таким образом r>=-1 при К>=-1/N для СВ Х1, Х2, ..., Хn и Y.
Если сделать замену Y=Xn+1 то K>=-1/(Nn+1  -  1)






avatar
А разве тут N может быть больше 2?
avatar
ну во-первых корреляционная матрица должна быть положительно определенной
avatar
Не понимаю как тут N может быть больше 2. 
avatar
rvins, дак наверно многомерная случайная величина
avatar
Андрей Казанов, одномерная СВ
avatar
rvins, легко может быть
avatar
Какое значение у автора более минимальное: -0,000001 или -10000000?
avatar
Wasiliew Wasilij, -10000000
avatar
SECRET, а почему не -1?!
avatar
Wasiliew Wasilij, потому, что в вопросе было -0,000001 или -10000000
avatar
SECRET, но вопрос-то в теме про корреляцию?)
avatar
"  неотрицательный второй момент E S^2 >= 0, который равен N*EX1^2 + N*(N-1)*EX1X2 = N*1 + N*(N-1)*r   "

откуда такая формула второго момента, у нас же N СВ.
avatar
 E S^2 >= 0, который равен N*EX1^2    вот такой будет второй момент
avatar
Eskalibur, Нужно учесть, что переменные зависимые.
avatar
SECRET, теперь ясно. 
avatar
Получилось так:
/>
N K
2 -1
3 -0,5
4 -0,33
5 -0,25
6 -0,2

Получается график гиперболы в IV четверти декартовой системы координат, где по х — число используемых случайных величин и у- корреляция между СВ.
avatar
Max, вроде не сложная задача, а какой толк то от нее?
avatar
Max, возможно в вашей торговле не применимо это просто. У меня есть пара идей, но озвучивать не буду, потому и дал в общем виде условия.
avatar
SECRET, спасибо за интересную задачу. посмотрел решение второй части задачи, попробовал посчитать корреляцию суммы N-1  для N=3 и N=4. Получилось что корреляция суммы N-1 СВ c СВ номер N составляют около 99% и 98%. В целом смысл улавливается, если есть три актива с отрицательной корреляцией, цены или дельта цена которых отрицательно коррелируют, то сумма изменений цен двух активов будет практически функциональной  зависимостью от изменения цены третьего актива.
avatar
SECRET, 
«Каждая из них имеет отрицательную корреляцию K одновременно со всеми остальными»
а как такое возможно вообще? может имелось в виду «нулевую»?
avatar
robomakerr, думаю такое вполне возможно.
avatar
Max, прям точно K(N) = -1/(N-1)
avatar
Eskalibur, да, так получается
avatar
Дожили...
SECRET походу решил в портфельное инвестирование удариться… 
Бабёр-Енот, скорее всего он выбирает одну из нескльких бумаг для торговли либо один из нескольких вариантов настроек
avatar

теги блога SECRET

....все тэги



UPDONW
Новый дизайн