事例: ビッグデータを利用した予測分析 EMBERSプロジェクト

IARPA(米国家情報長官管轄の研究機関)が支援する、米バージニア工科大学のEMBERSプロジェクトは、日々発生する各種公開情報からの南米における様々な動きを正確に予測し、まさに「ニュースの先取り」をしています。 本プロジェクトは、テキスト解析(弊社 Rosette 言語処理プラットフォームを利用)をベースとした予測分析によって、公開ビッグデータからすぐれた洞察が得られることを示す好例です。

本プロジェクトは、Newsweek 誌でも紹介されました。

2015年3月7日 掲載記事(英語):
The EMBERS Project Can Predict the Future With Twitter

プロジェクトの概要

2012 年 11 月以降、EMBERS プロジェクトでは、平均 7 日のリードタイムで、南米における暴動事件を正確に予測してきました。このプログラムでは、19,000 を超えるブログとニュースフィード、ツイート、経済指標、世論調査、さらには駐車場画像やオンラインレストラン予約などの非従来型データソースから 1 日に 20GB 近くの公開データを取り込んでいます。半数を超える予測に非構造化データが利用されています。

Basis Technologyは、Rosette 言語処理プラットフォームにより、バージニア工科大学のチームを支援しています。Rosette 言語処理プラットフォームは多言語の非構造化テキストデータを構造化(処理)し、バージニア工科大学の南米専門家が開発した EMBERS 予測アルゴリズムにそのデータを入力しています。例えば、Rosette は非構造化テキストを精査し、今後起こりうる暴動を示す重要な指標になると思われる日時、人名、場所、組織名、重要語句などの情報を抽出します。

バージニア工科大学 のこのプロジェクトは、公開ビッグデータを適切にマイニングして利用すれば、驚くべき見通しが得られ、現実世界に影響を及ぼし得ることを実証しています。

事例の詳細については、 こちらのPDF でもご紹介しています。