Сенсация! Кукл есть!(подборка статей, многа букафф) ч.1

Блуждая по интерету в поисках всемирного заговора  на рынках, жидомассонов и кукла наткнулся на интересную статью. Поскольку кукл всемогуч и всеобъемлющ все тексты привожу полностью дабы не исчезли.

Алгоритм «Кассандра»

Абстрактный математический метод, разработанный академиком Журавлевым, нужен практически любому рынку...

Журнал «Эксперт»,
№ 42, 11 ноября 2002 года
Автор: Елена Рыцарева
 
Абстрактный математический метод, разработанный академиком Журавлевым, нужен практически любому рынку — от сотовой связи до розничной торговли.
Компанию Forecsys, одного из призеров предыдущего Конкурса русских инноваций, вполне можно было бы назвать электронной Кассандрой. Программное обеспечение Forecsys легко определяет, какой банк надежный, а какой нет, какие абоненты сотового оператора через месяц перебегут к конкурентам, каким покупателям супермаркета понравится новый товар, за кого будут голосовать в том или ином регионе и какой трейдер на бирже играет на понижение. Впрочем, в отличие от героини греческой мифологии программа руководствуется не внезапными озарениями, а использует математический аппарат, разработанный академиком РАН Юрием Ивановичем Журавлевым и его учениками.

 


О колебаниях бесконечной струны




Математическая теория, положенная в основу технологии Forecsys, полностью опубликована уже лет пятнадцать-двадцать назад в советских и зарубежных научных журналах. Но овладеть этой математикой, кроме нескольких десятков учеников Журавлева, с тех пор так никто и не смог. Ни в России, ни в мире. Столь сложным оказался научный метод. Зато работает он на редкость легко и быстро, опережая конкурентов. «Это, как машины с автоматической и механической коробкой передач, — объясняет ученик Журавлева член-корреспондент РАН Константин Рудаков, — автоматическая устроена гораздо сложнее, зато пользоваться ею намного проще».
История создания математического аппарата, используемого Forecsys, восходит к 50-м годам прошлого века. В то время в науке преобладали только классические математические модели. Они описывали любое явление с помощью системы уравнений. Простейшие примеры таких моделей проходят на младших курсах вузов. Если вспомнить университетский курс математической физики, то задачи там в основном решались «идеальные». Даже несведущих в естественных науках людей должно насторожить, например, название одной из них: «колебания бесконечной струны». В реальной жизни никто из физиков, естественно, с бесконечной струной не сталкивался. И чтобы понять, как колеблется обыкновенная струна, в задачу приходилось вводить массу ограничений, в результате чего одно уравнение превращалось в сложную систему. На самом деле то же самое происходит с математическим описанием явления любой природы — будь оно физическое, биологическое, экономическое или историческое. «Случаи, когда для какой-то предметной области ученым удавалось построить хорошую математическую модель, можно пересчитать по пальцам», — говорит Константин Рудаков. Именно поэтому, несмотря на детально разработанную теорию упругости, для того, чтобы определить надежность, например, новой детали корпуса автомобиля, ее до сих пор бьют, бросают, подвергают массе других испытаний. Именно поэтому, несмотря на теоретические основы электротехники, у всех производителей изоляционных материалов работают мощные установки по их «пробою». Именно поэтому, несмотря на сто лет существования радио, качество покрытия любой сети радиосвязи определяется испытаниями на местности, а не в тиши кабинетов.
Но даже если хорошая матмодель (то есть система уравнений) построена, это не гарантия успеха. С помощью ручки и листа бумаги описать поведение большинства «решенных» систем оказывается невозможно. Когда появилась ЭВМ, стали развиваться специальные численные методы, «решабельность» простых классических задач увеличилась. Но только простых. «Когда количество переменных превышает пять-шесть, традиционные численные методы перестают работать», — утверждает Рудаков. А, скажем, для описания системы кровообращения человека нужны сотни и сотни переменных.
 


Золото из кабинетной тиши
В середине 50-х появился подход, альтернативный классическому моделированию. «Если вы, когда сидите за рулем автомобиля, задумаетесь о том, что в нем происходит (гидравлика, цикл Карно и так далее), вы никогда не сдвинетесь с места. Несмотря на архисложное устройство автомобиля, в любой момент вам надо принять очень простое решение: нажать на одну педаль или на другую, повернуть руль вправо или влево. И все», — поясняет Рудаков. Явление при таком новом подходе описывалось не как множество сложных процессов, выраженных длиннейшими уравнениями, а как совокупность прецедентов — ограниченного числа данных, полученных для описания этого явления в конкретных ситуациях. Именно с этой идеи и начал развивать свои математические методы тогда еще кандидат наук Юрий Журавлев.
До 1964 года будущий академик в основном занимался теорией, готовил докторскую диссертацию на стыке алгебры и логики. И если бы не срочное задание партии и правительства, он остался бы чистым теоретиком. Касалось это задание на первый взгляд далекой от алгебры проблемы — разведки золота. Дело в том, что золотом Россия не бедна, но каждое разведанное к тому времени месторождение в отдельности было не очень мощное по мировым масштабам. «Тогдашний премьер-министр Алексей Косыгин отдал приказ: найти на территории СССР месторождение золота так называемого южноафриканского типа (во всем мире их тогда было известно только семь — в Южной Африке, в Бразилии, Гане и так далее), — вспоминает Журавлев. — Это крайне специфические месторождения. Они представляют собой тоненький блин, который растянулся по огромной территории. Толщина «блина» может быть десять-пятнадцать сантиметров, а глубина залегания — два-три километра. Попробуйте такой найти!»
Однажды геолог Федор Кренделев и геофизик Алексей Дмитриев пришли в Институт математики новосибирского Академгородка с вопросом, нельзя ли им разработать метод, который позволил бы решить эту задачу. В частности, они спросили об этом и Журавлева. «Я посмотрел и понял, что задача глухая совершенно: функции от ста пятидесяти переменных, да еще их надо экстраполировать по пятнадцати точкам, — вспоминает Журавлев. — Наверное, я бы им отказал, если бы за год до этого новосибирский Академгородок не посетил американский профессор Эдвард Фейгенбаум. Он произвел на всех нас неизгладимое впечатление, прежде всего своим пиджаком на ярко-красной подкладке». Фейгенбаум выступил с несколькими экстравагантными заявлениями. Он утверждал, что ни одна по-настоящему сложная задача не может решаться чисто математическим путем. А для того, чтобы решать трудную задачу, для которой нет прямого метода, надо использовать человеческий опыт, подсматривать, как эту задачу решают специалисты. Журавлев решил воспользоваться этим советом. «И стали мы с геологами думать, — говорит Журавлев. — Я у них все выпытывал, как ищут золото нормальные геологи-поисковики. Длились наши раздумья долго — около года». Описаний месторождений было только семь, а характеристик, данных геологоразведки — больше сотни по каждому месторождению. Геологи рассказывали, какую информацию из этих данных они принимают во внимание при определении «золотоносности». Все это Журавлев описывал языком математики (потом это назвали принципом использования частичных описаний).
Конечной целью анализа было разделение месторождений на классы. Журавлеву надо было провести границу в «пространстве описаний» конкретных месторождений, по одну сторону которой были бы описания месторождений южноафриканского типа, по другую — всех остальных.
В конце концов Журавлев с геологами изобрели алгоритм разделения месторождений. «С точки зрения математика, он был некорректен. Нормальный математик плюнул бы и ушел. Но мы решили попробовать, — рассказывает Журавлев. — Сначала мы проверили алгоритмы на уже имеющемся материале. Мы убирали одно из известных месторождений и применяли метод на оставшихся, сравнивая их с убранным. Отмечу, это было не просто сравнение, а сравнение по очень сложной процедуре, оно делилось на несколько десятков тысяч элементарных сравнений по разным частям описания. И ответ оказался на сто процентов правильным — метод четко определял принадлежность месторождения к южноафриканскому типу. Меня вызвал Алексей Николаевич Косыгин, и я лично премьер-министру полтора часа рассказывал о нашей технологии. Косыгин был очень умный человек, он все понял. И нашему методу была дана «зеленая улица»».




Консилиум алгоритмов
После «золотоносного» успеха Журавлев стал все чаще задумываться над тем, что «есть какая-то неведомая нам пока математика, которая способна решать задачи, подобные нашей геологической, при том, что классическая математика их решать не может». К тому времени уже было описано несколько сотен алгоритмов, подобных «геологическому». Все они работали с большими массивами данных, в сложной среде, но давали ответы на очень простые вопросы из разных сфер жизни человека. В медицинской диагностике они определяли, болен ли, например, человек туберкулезом или у него рак легких, в политологии пытались предсказать победу или поражение некоей партии на выборах, в военном деле прогнозировали, возможно ли в определенном районе на территории противника существование ядерного объекта.
Журавлев начал изучать эти новые алгоритмы: «Как всякий добропорядочный педант, я просто прочесал литературу, какая только была для меня доступна, — на всех возможных языках. Я собрал все, что было известно в мире на этот счет. Внешне все методы выглядели по-разному. Одни алгоритмы основывались на статистике, другие на логике, третьи на алгебре. И я решил навести какой-то порядок. Построить универсальную систему, которая позволяет описывать все эти алгоритмы».
Журавлеву удалось это сделать. В 70-е годы он провел полную систематизацию. Это было сложно, только формализация одного алгоритма занимала десяток страниц математического текста. Но в итоге оказалось, что, несмотря на внешнюю непохожесть, все эти алгоритмы устроены по одному и тому же образу.
Журавлев придумал самое большое в мире семейство алгоритмов распознавания. Но выбрать из него оптимальный алгоритм для решения конкретной задачи не могла даже самая мощная ЭВМ. Чтобы справиться с этой проблемой, Журавлев ввел над алгоритмами простейшие операции — сложение, умножение и умножение на число. «Ну, правда, это совсем не обычное сложение, на самом деле черт-те что нужно было делать над алгоритмами. Этого раньше никто не знал, не делал, и вообще думали, что таких вещей быть не может», — комментирует Журавлев. По сути, он разработал «алгоритм алгоритмов».
С помощью операций над алгоритмами удалось резко повысить их точность и качество. Недостатки одних алгоритмов оказалось возможно компенсировать достоинствами других. «Вместо того чтобы прыгать через пропасть, мы переходим по столбикам, по камушкам», — образно комментирует суть алгебраического подхода Константин Рудаков. Журавлев до сих пор считает, что с базовыми алгоритмами ему просто повезло. «Они были написаны умными людьми и потому оказались такими хорошими», — говорит он. 






Кто ходит на порносайты
Применение методов Журавлева началось уже в 70-х годах. Вместе с гуманитариями он предсказал кризис в Бангладеш в 1973 году по описаниям положения в стране. Сразу после исследований советских ученых там действительно произошел переворот. Предсказал он и турецко-греческий кризис на Кипре. Работал Журавлев и с медиками, пытался ставить диагнозы психических заболеваний, была создана система прогнозирования на ранней стадии так называемой вибрационной болезни (она развивается у тех, кто работает с отбойным молотком). В химии по описанию формул группа Журавлева прогнозировала свойства разных соединений.
К началу 90-х теория алгебраического подхода была уже в основном разработана. В этот момент науку перестали должным образом финансировать. Журавлеву, Рудакову и их ученикам пришлось всерьез заняться прикладными исследованиями. Выяснилось, что журавлевская математическая конструкция может отлично работать в совершенно разных ситуациях. Особенно интересной и перспективной оказалась область приложений, которую авторы назвали «анализ клиентских сред». В основе анализа лежат описания поведения клиентов в тех или иных ситуациях — трейдеров на бирже, абонентов сотовых компаний, пользователей Интернета и т. д. Задачи касались выявления и интерпретации типов поведения клиентов, поиска взаимосвязей и закономерностей в клиентской среде.
Первым успешным проектом команды Журавлева-Рудакова была система для Московской межбанковской валютной биржи (ММВБ). В 1996 году, когда туда пришли математики, на ММВБ торговали уже только через вычислительную сеть. Биржа представляет собой надежную информационную систему, объединяющую более трех тысяч компьютеров по всей стране. Но организаторы торгов в режиме реального времени могли только наблюдать за котировками. А они хотели следить за действиями трейдеров (не происходят ли торговля на основе инсайдерской информации, манипуляции ценами), устанавливать, кто и как влияет на цену, и т. д. Говоря языком науки, им надо было получить объективное представление о клиентской среде — об участниках торгов.
Когда команда Forecsys начала работать с ММВБ, ей самой пришлось придумывать признаки поведения участников торгов. Сначала этих признаков было сто пятьдесят, теперь их число растет. Исходными данными, предоставленными ММВБ, были протоколы поведения трейдеров — записи того, кто, что, когда и сколько продал или купил. «То, что мы сделали, похоже на рентгеновский аппарат», — говорит Константин Рудаков. Система вычисляет «близость» между трейдерами, делит их по типам поведения на группы. Причем набор признаков, по которым делятся трейдеры, может меняться. Можно посмотреть, как действия одного игрока повлияли на движение цены, кто ее обвалил. «Бывает, один игрок небольшим объемчиком уронит рынок очень сильно, а можно и огромный объем акций сплавить так, что никто не заметит, — говорит один из создателей системы, заместитель генерального директора Forecsys Юрий Чехович. — Никто, кроме компьютерной системы».
Не менее интересен был опыт работы с крупным российским интернет-порталом. Основой для анализа послужили так называемые лог-файлы (записи о том, что посетитель номер N вошел на определенную страницу в определенный момент времени). После обработки информации «рентгеновским аппаратом» Forecsys сайты распались на несколько четких групп. Первая — РБК и другие новостные порталы (utro.ru, Lenta.ru и т. д.). Пользователи этой группы очень редко ходят на сайты других групп. Вторая — сайты о театрах и развлечениях, третья — порносайты. Их пользователи то-же очень четко разделились на группы предпочтений.
Методика анализа клиентских сред, примененная для посетителей сайтов, вполне подходит и для покупателей супермаркетов. Здесь можно обрабатывать протоколы поведения постоянных клиентов: тех, у кого есть дисконтные карточки, — они идентифицируются, и их покупки можно отследить. Когда товары «близки»? Когда их покупают одни и те же покупатели. Когда покупатели «близки»? Когда они покупают сходные товары. Следовательно, реально выявить группы покупателей и товаров и совсем по-новому представить ассортимент на полках. Более того, новый товар через несколько дней продаж будет весьма легко отнести к определенной группе потребительских предпочтений и расположить на «правильной» полке.

 
 





Не хранилище, а кладбище данных
Между тем сфера применения математических технологий Журавлева и его учеников гораздо шире. Возьмем пресловутый средний балл аттестата, который ничего не говорит о талантах ученика в той или иной сфере, или индекс Dow Jones — среднее арифметическое от котировок акций тридцати крупнейших компаний.
Более всего Константина Рудакова раздражает столь популярный в России рейтинг надежности отечественных банков. «Его составители что-то вытащили из баланса, высосали какие-то коэффициенты из пальца, перемножили, сложили — и все это назвали коэффициентом надежности! Причем берется только текущее состояние банка. Вспомним «СБС-Агро»! За несколько месяцев до его банкротства он стоял в рейтингах вторым после Сбербанка! Если взять рейтинг банков за несколько месяцев до кризиса девяносто восьмого года, а потом посмотреть, кто из них прогорел, то из каждой группы надежности «вылетел» бы примерно одинаковый процент». Что предлагает Forecsys? Проанализировать балансы банков за последние несколько лет, выяснить, какие из них были лишены лицензии. Потом проанализировать показатели «вылетевших» банков за несколько месяцев до банкротства. Вот вам и прецеденты. По ним журавлевцы готовы построить решающее правило, на математическом языке — поверхность, которая делит множество банков на существующие и разорившиеся. Когда такая поверхность построена, в любой момент времени можно точно определить реальное состояние банка, надо только узнать, с какой стороны поверхности он окажется.
Большие выгоды сулит технология Forecsys операторам мобильной связи и страховым компаниям. В условиях все ужесточающейся конкуренции они предпринимают отчаянные шаги для привлечения еще не охваченных клиентов. Особенно ясно это видно на примере сотовых компаний. Операторы мобильной связи вводят новые тарифные планы чуть ли не каждый месяц и в какой-то мере уже зашли в тупик. Конечно, придумывая новые тарифы, менеджеры сотовых компаний и анализируют зарубежный опыт, и прикидывают ответные ходы конкурентов, и смотрят, как может измениться средний счет абонента в месяц (так называемое ARPU). Но во многом они полагаются на интуицию. Между тем в их арсенале есть мощное оружие. Биллинговая система (система выставления счетов абонентам) оператора записывает время и продолжительность каждого звонка, входящий или исходящий номер. Вот она — прекрасная база данных для анализа. Специалисты Forecsys готовы разделить всех пользователей мобильной связи на группы. Причем вопросы могут быть поставлены по-разному. Можно проложить границу между лояльными клиентами и теми, кто может вскоре уйти. Можно обкатать новый тарифный план, выделив среди пользователей группы, которые на него могут перейти. Можно проанализировать эластичность спроса по цене относительно новой услуги. Технология Forecsys позволяет ввести в пространстве описаний абонентов метрику, по которой можно будет выявлять звонки с украденных телефонов — они всегда отличаются от звонков предыдущего владельца. «И при выявлении неблагонадежных трейдеров на ММВБ, и при выявлении несанкционированного доступа к сетям связи наши методы работают по одному принципу — они выявляют отклонение от нормального поведения, — объясняет Юрий Чехович. — Конечно, по такому же принципу работают и статистические системы, широко применяемые сейчас у операторов связи. Но наши продукты более гибки, они позволяют устанавливать многоступенчатую градацию ситуации, более оперативно реагировать на изменение, например, общего направления звонков».
Вообще говоря, методы, основанные на математике Журавлева, работают в любой среде, где много данных и клиентов. Они вполне могут быть применимы в банках для прогнозирования действий вкладчиков и разработки новых видов вкладов, в Министерстве по налогам и сборам — для анализа поведения налогоплательщиков. Но пока, по меткому выражению генерального директора Forecsys Александра Черепнина, в большинстве компаний и ведомств у нас «не хранилища, а кладбища данных. Нужна ломка стереотипов».



Статья заинтересовала меня. И я продолжил гуглить на предмет биографии Журавлева и его связями с массонами. Вот что получилось...


http://smart-lab.ru/blog/39085.php часть 2