Big Data (статья от Goldman)

Количество данных в мире нарастает с ужасающей скоростью. Совсем недавно технологическим чудом считалось удвоение мощности процессоров каждые 18 месяцев. Сегодня — это экспоненциальный рост данных. Уже в 2011 году данных было создано столько, что если их записать на DVD и положить друг на друга, то выстроенная «этажерка» будет равна длине пути от Земли до Луны и обратно. По некоторым оценкам к концу 2019 года это «стейк» достигнет пол-пути от Земли до Марса. 

Мы полагаем, что внедрение анализа данных в производство и коммерцию будет происходить на протяжении десятилетий и заключает в себе большой потенциал по изменению экономики, а также возможностей инвесторов. «Революция данных» – это не первый технологический прорыв, который обещает существенно изменить наш мир. Но он, однако, может оказаться самым быстротечным. Если заглянуть глубоко в экономическую историю, первые важные технологические сдвиги были после сельскохозяйственной революции, которая принесла с собой более эффективные методы ведения с/х и улучшила стандарты жизни человечества. Следующей была Индустриальная Революция в конце 18 и начале 19 столетий, тогда экономическая производительность удвоилась в течении 150-200 лет. Производительность взлетела в небо (skyrocketed) после Компьютерной революции, со скоростью 3 раза в второй половине тысячелетия, начиная с 1960.

Сейчас, по нашему мнению происходит четвертая революцию, когда мир может быть войдет в стадию, когда производительность будет еще быстрее увеличиваться благодаря замечательной силе, которая может быть получена из анализа данных .

 Big Data — большой потенциал!

Давайте начнем с того, что разделим так часто упоминаемый всеми термин «Big Data» на две части. Слово «Big» отвечает за огромнейший объем информации, который создается каждый день. «Data» тем временем сегодня называется тот самый старый способ искусства записи информации, который берет свое начало с времен использования наскальной живописи. 

Что отличает Big Data от просто большого набора данных, так это те уникальные возможности, которые открывают при оцифровке данных. Оцифрованная информация более удобная для хранения, для распространения и более доступна, чем все ранее использовавшиеся до сегодняшнего дня технологии. Возьмите к примеру Википедию, знаменитая он-лайн энциклопедия. Контент Википедии превзошел 2 600 копий библиотечной энциклопедии на момент 2010 года, а ведь объем сервиса существенно вырос с тех пор. Кроме огромных размеров, эта энциклопедия цифрового века существует и развивает в реальном времени и более доступна чем ее предшественники – и вся она может вместиться на флешку размером с человеческий тромб. Ее размер и возможность доступа только увеличивает важность того, как мы используем этот источник информации.

Оцифровка сама по себе, это только одна из технологий, которые помогает использовать  Big Data  для преобразования современной экономики. Кроме этого, мы должны обращать внимание на расширенные возможности анализа таких данных. Все больше и больше Big Data  становится доступной для бизнеса, правительства и инвесторов для детального и глубокого понимания окружающего мира. Другими словами Big Data  это не количество писем, цифр и фотографий, а то, как человек их использует. Ниже приведем вам несколько примеров каким образом анализ Big Data  приводит к инновациям и конкурентным преимуществам в различных областях экономики.

Здравоохранение: McKinsey & Co вычислили, что использование Big Data имеет потенциал сохранить 300-450 млрд долларов в индустрии, если оптимизировать технологии выявления и исправления недугов пациентов. 
Автострахование: Многие страховщики предлагают скидки для пользователей, которые установят на авто устройство, позволяющее отслеживать, как водитель водит авто (осторожно или нет).
Ритейл:  Программы по лояльности потребителей собирают данные по покупкам, которые в дальнейшем используют в прогностических моделях для сегментации покупателей, установление цены и промо-акций.
Автоматизация дома: Дома могут быть оборудованы «умными» устройствами, которые связываются с друг другом по внутренней сети, лучшая эффективность, комфорт и безопасность.
Сельское хозяйство: «Продвинутое с/х» использует высокотехнологичное оборудование, облачные технологии и технологии анализа данных, стремясь повысить уровень урожайности, повысить производительность продуктов питании, уменьшить влияние на окружающую среду и сократить издержки.
Перевозки:  Ride-sharing services выступают неким крауд сорсингом в индустрии такси при помощи водителей, объединенных сетью. Пользователи таких услуг загружают мобильные приложения на свой смартфон – поездки оцениваются исходя из времени дня, месторасположения и спроса.

 «Революция данных» в инвестиционном менеджменте.

Сегодня, существует громадное количество данных о любой компании – тех данных, которые потенциально могут повлиять на цену акции или предоставлять инвестиционные возможности. И мы ежедневно сражаемся с огромным потоком информации из сотен, а то и тысяч источников, чтобы быть в курсе событий. Новые инструменты анализа данных могут помочь найти сигналы в этом новостном шуме.

Например, спутниковые снимки парковок возле магазинов могут быть использованы для оценки посещаемости магазинов – что, в свою очередь, может помочь спрогнозировать данные о продажах еще до их официального объявления. Инструменты распознавания образов и обработки текста можно использовать при прочесывание терабайт данных в поисках новых инвестиционных возможностей. Давайте на примере индустрии аналитических исследований разберем, как эти инструменты могут быть применены к аналитическим отчетам инвестиционных аналитиков.

Анализ структурированной информации (данных, которые представляют собой наборы данных и таблицы) хорошо известен и давно применяется в мире финансов. Но анализ неструктурированных данных – статьи, заметки в социальных сетях – вот где сегодня сосредоточены изыскания по применению анализа данных.

Мы полагаем, что огромное количество возможностей будет открыто для бизнес-проектов, которые преуспеют в оцифровывании информации: возможность немедленно реагировать, когда новости говорят о том, землетрясение может угрожать каналам поставок или «чириканье» (от слова tweet) в одной одноименной социальной сети говорит о том, что работники должны быть эвакуированы из определенной геополитической точки.

Индустрия инвестиционных аналитических прогнозов публикует сотни тысяч аналитических отчетов каждый год – и отдельно взятый инвестор в состоянии прочесть их определенное ограниченное количество. Сегодня, 13 000 аналитиков, которые активно исследуют рынок, выпускают 2,7 млн. различных отчетов, глубоко и полно изучить которые не в состоянии ни один человек на земле. Мы подсчитали, что человек который читающий около 200 слов в минуту потребуется более чем 865 часов чтения, чтобы ознакомится со всем отчетами, выпущенными за один только месяц. Это означает, что он или она должна читать непрерывно более месяца без перерыва даже на сон.

Вместо того, чтобы проводить бессонные ночи, можно использовать дата анализ, который с высокой долей вероятности может отыскать новые идеи или ранее скрытые от ваших глаз инвестиционные возможности.

Вот вам пример.

Мы можем предположить, что инвестиционные аналитики очень редко делают выводы о повышении или понижении цены в одночасье. Вместо этого, аналитики могут подводить к своему решению постепенно, не сразу, при этом изменяя тональности и вид текста, который они пишут в своих отчетах. Можно ли в этих моментах отыскать возможность заранее предсказать изменения цены акции или рейтинга акций? Мы полагаем, ответ – ДА, и развитие дата-анализа уже создало пути, которые потенциально могут идентифицировать такие случаи. Одно из недавно созданных приложений по анализу отчетов аналитиков использует дата анализ для определения, как изменяется текст аналитика в положительную сторону перед тем как он опубликует свое решение о повышении рейтинга или цены акции. Мы полагаем, что отслеживание как изменяется виды аналитика на ту или иную бумагу перед отчетом потенциально может принести инвесторам преимущество при определении покупки или продажи акции. В случае реализации обратного сценария, мы полагаем, что если аналитик в будущем настроен понизить прогноз по акции, то он  может публиковать в своем отчете повышенные негативные тона. Пользуясь большой базой аналитических отчетов, можно идентифицировать тренды, даже перед тем, когда они только зарождаются.