データを「1行0.1円」と仮定せよ

ビッグデータを低コストで効果的なソリューションとして活用するには、以下に分析データ対象を絞るかが重要だ。ユーザーの観察、ライブテスト、グループインタビューをメンバー感で繰り返し、効果的な分析を導いていく。

ビッグデータ活用は膨大なデータとの戦いだ。例えば、「Yahoo! JAPAN」では、月間最大530億PVを記録し秒間アクセス数は最大約5万回を超える。ユーザーが検索画面でf5キーを押しリロードすれば、それだけでIPアドレスから時間、URL、掲載広告に至るまでページを構成する100のログが残る。このテラバイト級のデータをいかに活用し業績を向上させていくか―ヤフー・データソリューション本部の小間基裕本部長に話を聞いた。

ヤフー・データソリューション本部
小間基裕本部長

一つのポイントになるのがデータの縮約ノウハウだ。案件ごとに必要なデータは異なるため、毎回すべてのデータを処理するのではなく、必要なものだけを選び出す。小間氏は「ペタバイト級のデータ蓄積、処理のために、デー現在3500台のHadoopクラスターを使っています。しかし、ビッグデータの実際の活用となると、すべてのログが必要となるケースはそこまで多くはありません。案件ごとにビジネスに必要な最小限のデータ項目だけに縮約します。極端な例ですが、手元のたった2台のサーバーだけですべての検索キーワードデータを処理していた時代もありました。この考え方に基づけば、省コスト化も図れます」と語る。たとえば、関連検索キーワードの機能を開発するためには、ユーザーの検索履歴を知るためにログデータをURLとアクセス時間だけに絞り込めば、データ処理量は極端に削減される。

どのデータを取捨選択するかは難しい仕事だ。

小間氏はそのポイントとしてユーザー観察をあげる。たとえば「Yahoo!ショッピング」でのユーザーの動きを観察すると、様々なカテゴリーを見ながら彷徨い、そして最後にようやく自分の欲しいものに辿り着いている（あるいは辿り着かない）ことがわかる。ユーザー観察と洞察とが、ユーザーファーストのサービス改善、そしてデータを活用した新事業を生む母体となる。