課題・問題

テレビと動画配信のデータ統合を速やかに開発する必要があった

田中 克明様（以下、敬称略）： 私たちシステムソリューション開発グループのミッションは、メディア・マーケティング領域での商品・サービス開発に必要なIT技術を活用したサポートを実現することです。具体的には調査および視聴データを収集・統合し、分析機能を備えたシステムやアプリケーション開発を実施しています。またコンプライアンスを遵守したデータの蓄積・運用サポートに取り組んでいます。

ミッションの一部として、テレビと動画配信のデータの掛け合わせのシステム構築を行っております。

田中：ビデオリサーチでは、テレビ番組がどれだけ見られたかの判断材料として視聴率を提供しています。加えて最近ではメディア・配信プラットフォームが拡大しており、テレビと動画配信の両方に出稿するプランニングが増え、より多様な判断材料を求められていると考えております。判断材料のための高度な比較検証には、テレビと動画配信の統合的なデータ基盤の構築が必要不可欠だと判断しました。

田中：テレビと動画配信のデータ統合は、すでに取り組みがスタートしている部分もありましたが、データ取得のパイプラインが確立されていなかったり、社内で分析環境が混在していたりといった課題がありました。

お客さまからの要望をすばやく反映できる状態にするため、データ統合されたシステムを速やかに構築する必要がありました。インフラ含め一からパイプラインを構築すると、後続の開発や分析に時間がかけられず、しわ寄せが出てしまいます。そのため、データ統合の自動化をサポートするツールの導入は不可欠でした。

なぜ「TROCCO®」を選んだのか

海外製ETLツールと比較し、JISコードやデータソースとの相性を評価して「TROCCO®」を導入

田中：弊社では多様なサービスを展開しています。各サービスにそれぞれデータソースがあり、データ取得のパイプライン開発を案件ごとに行っています。そのため、案件が増えるとデータ取得のパイプラインの管理が煩雑化し、管理コストが高くなると考えていたのです。そこでデータ取得のパイプラインを一元的に集約し、管理コストの省エネ化を図ろうとしていました。運用負担が少ない状態を作り、なるべくビジネスサイドとの調整や品質アップのためのテストに時間を充てることで生産性の向上を狙いました。

田中：海外のETLツールや「TROCCO®」など、3つほどのツールで比較検討しました。弊社のデータソースはJISコードで定義された日本語のデータも多く、海外製品をそのまま流用することは難しい状況でした。

一方で「TROCCO®」は、分かりやすい操作で、特別なカスタマイズを入れなくても使える点が良いと感じました。エンジニア以外の利用者も今後増えていくことを考えると、日本語に対応していることも進めやすいポイントでした。さらにHTTP・HTTPSプロトコルのWebサービスからの転送にも対応しており、弊社システムとのAPI連携もできたため、求めていた機能もすべて揃っており、独自でカスタマイズする必要もなく、導入前の期待とのミスマッチも感じませんでした。

導入までのスケジュール・過程

3つの主要プロダクトからGoogle BigQueryへつなぐデータパイプラインを構築

田中：契約後「TROCCO®」に関わる実質的な導入期間は1ヶ月ほどです。具体的には、弊社システムのAPIと連携する設定を仮組みし、転送元HTTP・HTTPSで定義できるリクエストの値やワークフロー定義のループ実行について、カスタマーサクセスの方に相談しながら設定を進めていきました。的確に解決策を提示いただけたので、初期導入をスムーズに進めることができました。

田中：今回の取り組みでは、主要プロダクトのAPIからそれぞれデータを転送し、ひとつにまとめました。転送元はプロダクト毎に分かれており、HTTP・HTTPSとS3での転送を行いました。データの転送先には、Google BigQueryを指定しています。取得データは、各プロダクトの指標を横並びで比較可能なシステムとして利用されています。

田中：ワークフロー機能を活用しています。Google BigQueryを利用して動的に転送設定やSQLクエリの値を変えながら実行を行うことができるため、非常に柔軟な要件にも対応できています。

また検証段階ではありますが、プログラミングETLの機能に注目しています。例えば区切り文字が無く展開できないテキストデータに対しても、プログラミングETLの機能を使ってデータを加工・整形した後に転送できるため、更に独自でデータパイプラインを組む必要が無くなるのではと期待しています。

導入後の効果

本来4ヶ月はかかっていたデータ基盤の構築を1ヶ月で！生産性の向上にも貢献

田中：もし「TROCCO®」を導入せず、弊社の主要サービスからGoogle BigQueryへデータを転送するパイプラインを構築したとすると、4ヶ月以上はかかったと思いますし、インフラなどを運用管理する工数も負担になっていたと思います。「TROCCO®」の導入によって開発工数を大きく抑えることができたため、1ヶ月でパイプラインを構築できています。

その他の成果として、さまざまなインターフェースがある中で一部セキュリティ等の要件の高いものを除き、データ取得のためのパイプラインを1箇所にまとめられたことも管理上の大きなメリットです。今後新たなデータを求められたとしても、過去に同じような処理を作成していれば業務工数を大幅に抑えることができます。

田中：より素早くモックを作ることができ、社内外へのレポート提供のPDCAのサイクルが早くなりました。サイクルが早くなることでお客さまからの要望の反映もスムーズになり、その結果、生産性の向上にも貢献できています。

田中：「TROCCO®」を利用しデータ転送の手間を減らすことで、よりビジネス活用に最適な分析やデータ品質を上げるためのテストに時間を割けるようになりました。

データ活用の負担を下げたことで、エンジニアリング以外の部署でも「TROCCO®」を利用すれば視覚的に理解することができ、データの民主化につながっている点も評価しています。

今後の展望

顧客視点に立ち、最適な判断材料を与えられる仕組み作りに貢献したい

田中：テレビと動画配信のデータ統合のように、メディアが増え社会情勢が変わる中でも顧客に最適な判断材料を届けられるシステムと仕組み作りに貢献したいと考えております。データ統合に加え、顧客や関係部署に広く使っていただけるようなデータの民主化の活動にも注力していきたいと考えています。

田中：弊社のように複数のサービスがあり、連携にリソースを割いている企業は「TROCCO®」を導入すればデータ統合がスムーズになると考えています。

データ基盤の開発に割くリソースが少なくなれば、エンジニアリングリソースを今よりもデータ基盤以外の事業成長に貢献する業務に割くことができるはずです。

また積極的に多くのチームを巻き込むのなら、他ツールよりも特にハードルの低い「TROCCO®」はおすすめです。