Соцсети научились предсказывать обвалы фондовых рынков

Анализ записей пользователей сервиса микроблогов Twitter позволяет предсказать движение рыночных индексов c 70-процентной точностью

Нижний Новгород. 18 декабря. FINMARKET.RU - Идею о том, что предсказывать движение фондовых рынков можно с помощью соцсетей, экономисты выдвинули еще несколько лет назад.

В 2010 году экономисты Индианского университета Джонан Боллен и Хейна Мао сравнили http://arxiv.org/abs/1010.3003 изменение коллективного настроения пользователей Twitter в течение 10 месяцев 2008 года и динамику промышленного индекса Доу - Джонса (DJIA). Оказалось, что между эмоциональным состоянием блогеров и поведением индекса есть связь. В 87,6% случаев ухудшение настроения, которое ученые определяли по ключевым словам, вело к падению DJIA.

Впрочем, ученые сами тогда признали, что создание модели для предсказания роста или падения рынка не было их главной целью.

Российские экономисты Александр Поршнев, Илья Редькин и Алексей Шевченко из Высшей школы экономики решили усовершенствовать инструменты своих американских коллег и создали свой алгоритм для предсказания движений фондовых индексов.

Страхи и надежды пользователей как экономический индикатор

Сегодня уровень проникновения Интернета в крупнейшей экономике мира США составляет 78,3%. При этом активные пользователи сети, как правило, являются активными рыночными игроками или потребителями, то есть имеют большое влияние на состояние экономики. И большинство из них делятся своими планами, мечтами и надеждами в соцсетях.

Если найти правильный инструмент для анализа коллективного настроения, то по нему можно предсказать экономическое поведение, объясняют ученые.

Для анализа психологического состояния рыночных игроков Поршнев, Редькин и Шевченко, как и их предшественники Боллен и Мао, выбрали крупнейший сервис коротких сообщений Twitter.

За прошедшие с прошлого исследования годы число его пользователей сильно выросло. Если ученые из Индианского университета анализировали всего около 10 миллионов твитов, написанных за 10 месяцев, то российские экономисты изучали уже около 290 миллионов сообщений, написанных в период с февраля по сентябрь 2013 года.

Алгоритм, придуманный Поршневым, Редькиным и Шевченко, позволил проанализировать все твиты за два дня. Но главная инновация экономистов заключалась в том, что алгоритм более полно и точно мог определять эмоциональную окраску слов.

В его основе лежит "шкала настроений", которая позволяет отнести слово к одному из восьми различных состояний (счастье, влюбленность, спокойствие, активность, страх, злость, усталость или грусть). Для каждого настроения был сформирован специальный словарь.

При этом алгоритм распознавал даже слова, написанные с грамматическими ошибками, например, "happyyy" вместо "happy" (в переводе с английского "счастливый").

Все твиты были отсортированы по дню написания. Затем алгоритм вычислил, с какой частотой в каждый из дней пользователи использовали слова "беспокойство", "надежда" и "страх" и их синонимы.

После этого ученые сравнили эти показатели с движением фондовых индексов (учитывались данные на момент открытия и закрытия бирж).

Точность предсказаний размера DJIA составила 70%, а для NASDAQ - 56,08%.

Поршнев, Редькин и Шевченко считают, что в дальнейшем точность предсказаний может быть повышена. Для этого они собираются ввести в свой анализ еще один критерий - "вес" слов. Например, вес слова "страх" для предсказания движений индексов явно больше, чем вес его синонима "трусость".

Гадание на поисковых запросах

Twitter не единственный источник информации, по которому можно судить о будущих падениях рынков. В апреле этого года была опубликована работа, в которой обвалы фондовых индексов предлагалось предсказывать с помощью поисковых запросов в Google.

Тобиас Прейс из Бостонского университета вместе с несколькими коллегами проанализировал данные о запросах с 2004 по 2011 год и состояние экономики. Как выяснили ученые, рост числа запросов, содержащих слова "акции", "экономика", "долг" и других им подобных может предсказать скорое падению индексов. И, наоборот, за снижением количества запросов на экономическую тематику следовало улучшение экономических показателей.

Методы предсказаний движения рынков в с помощью активности пользователей в интернете пока что далеки от идеала. Однако, инвестфонды все чаще обращают на них внимание. Несколько фондов уже тестируют технологию анализа с помощью Twitter. В начале 2013 года даже появился фонд Derwent Capital Market, который инвестировал, опираясь только на нее. Правда он проработал всего месяц, а его доходность составила 1,86%.

Александр Поршнев, доцент кафедры социально-гуманитарных наук НИУ ВШЭ в Нижнем Новгороде

"Мы пытались предсказывать рост или падение индекса, но не глубину изменений.
Для этого мы разбили исследуемый период на 95-дневные промежутки. 80 дней использовались для того, чтобы научить алгоритм определять, что будет дальше. Тестирование проводилось на следующих 15 днях. И таких 95-дневных периодов у нас было от пяти до 40 в зависимости от того, сколько данных о предыдущих днях мы использовали.
Мы не нашли значимой линейной связи между количеством твитов и изменением индексов. Но когда мы добавляли данные о количестве определенных твитов, то получали значительно более высокую точность.
Например, добавление данных анализа Twitter за пять предыдущих дней дало возможность получить точность предсказаний в 68,63% для индекса S&P 500."