課題・問題

データ転送の構築に手間と時間がかかっており、業務も属人化していた

上本英様（以下、敬称略）：弊社はこれまでインターネット広告事業のアフィリエイトサービスによって成長してきたのですが、現在のアフィリエイト市場はすでに飽和状態になっています。そのため、これまで営業の力で解決してきた業務にデータを活用することで効率化し、ユーザーの要望に応えることで他社と差別化を図りたいと考えるようになりました。

そこで立ち上がったのが、私たちが所属するシステム企画開発部データ基盤グループです。今まで手作業で行ってきたデータ分析を、もっとパワフルなマシンに代替するため、主にデータ基盤の管理やデータ整備、BI管理などを手掛けています。将来的には、事業部のビジネスサイドや経営層が自らデータを取得、活用し、ユーザーのインサイトを掘り出しながら営業活動を行い、売り上げに貢献していける環境を構築していく予定です。

上本：データの転送元として、Oracleで管理している広告のログデータや基幹データ、Salesforce上の顧客データ、Excelにまとめられているビジネスサイドの手元にある予算関連のデータが挙げられます。これらのデータをデータ基盤グループが管理し、GoogleCloudのBigQueryに転送しています。最後にそのデータを処理しその結果をTableauでダッシュボードして利用者に提供しています。

上本：一番の課題だったのは、データを転送するときに必要となるデータパイプラインの構築に手間と時間がかかりすぎることでした。ビジネスサイドからの要望を満たすために考慮しなければならないポイントがいくつもあり、転送パイプライン構築の準備だけでもコストがかさんでいました。

ビジネスサイドからは、たとえば手元にある予算データと実績データを結合させたり、アフィリエイトの広告主から頂いたデータと、自社の実績データを結合させたり、といった要望がありました。簡単な開発であれば、0.5人月程度ですんなり開発できる場合もありますが、「データが増える中でどのように管理するか」「失敗した時、どのようにリトライするか」といった設計まで手が回っていないと、結局は運用フェーズでまたコストがかかってしまいます。

また、データを活用するための業務が属人化していたことも課題に感じていました。「今すぐデータが欲しい」というビジネスサイドからの要望に対して、データを準備できる担当者が少なかったのです。属人化すると、リソース不足で対応できなかったり、逆に要望に応えるため作り込みすぎてしまい、長期的な運用ができなくなってしまったと、デメリットばかりな状況でした。

そこでまず、既存のダッシュボードを残しながら裏側のデータ転送やデータ処理を綺麗にするためにGoogleDriveからGoogleCloudのBigQueryへデータを転送するため、まずはETLサービスの導入を検討することになりました。

なぜTROCCO®を選んだのか

社内で理解を得やすい料金プランや、操作のしやすさが決め手に

馬田 祐希様（以下、敬称略）：メンバーが足りないという現場の問題はあったものの、ビジネスサイドのマネージャーから「Tableauでデータが確認できる状態は維持してほしい」というオーダーがありました。しかし、Tableau Prep Builderでデータ準備をしようにも、以前からあったファイルを読み解くにも改めてTableau Prep Builderを学習する必要がありますし、ExcelとCSVファイルだけで40～50個もあり、それらすべてを転送しなければなりません。また、開発期間もそこまで取れず、変更する他の業務も考えると、開発するのは不可能だと判断し、汎用性の高いSQLを利用できるETLサービスを導入することを決定しました。

上本：ユーザー数が多い有名なサービスであり、かつクラウドベースであるETLサービスを検索し、まずは4つほどが候補に上がりました。その中から、日本語に対応していること、担当者が解決策を検索できることを重視した結果、最終的なトライアルを実施したのは、TROCCO®を含め2つのサービスに絞られました。

上本：まず、経営層やマネージャー層に対して、理解を得やすい料金プランだったことでした。無料で始められるフリープランや、月額10万円のライトプランは魅力的です。また、月いくらかかるか明確に示されている点も、高評価です。
エンジニア向けには、使いやすさがポイントになりました。SQLは書けるようなビジネスサイドのメンバーにも、将来的に触れてほしいと考えていましたので、使いやすさは重要なポイントでした。説明書やマニュアルのようなドキュメントがあってもなかなか読まれないため、直感的に操作できるサービスを求めていました。トライアルを実施し、最終的に稟議も無事に通ったため、TROCCO®の導入を決定しています。

導入までのスケジュール・過程

まずはフリープランから契約。属人化を解決する「チーム機能」を目的に有料プランへ

上本：TROCCO®を導入して最初の1ヶ月はフリープランを使用していました。まずは直感的に初期設定できることや、どのくらいの処理速度か、そしてエラー表示は分かりやすいかを確認しています。
馬田：私はフリープランの段階で、事業部が作成していたCSVとExcelをちゃんと転送できるか試してみました。独自開発だと工数がかかるのですが、ちょっと触るだけでデータを無事転送ができたのは、驚きでしたね。

上本：属人化を防ぐためのオプション「チーム機能」を追加するため、フリープランからライトプランへ変更しました。「チーム機能」では、メンバーが作成した転送設定や接続情報などを他のメンバーに共有、グループで管理できます。この機能があれば、お互いの設定をチェックし、修正することができるだけでなく、後任の育成にも活用できるため、属人化を防ぐことができます。

その他には、転送時間の無料枠が10時間から、250時間に伸びたことが嬉しいポイントですね。Salesforceのデータをすべて転送すると、1回だけで10時間を超えてしまったため、フリープランの頃は、必要な分のデータしか転送していませんでした。ライトプランに変更してからは、ストレスなくデータ転送ができるようになっています。

主に利用しているコネクタ	入っている情報
Google Drive	広告のログデータ、基幹データ、予算関連のデータなど
Salesforce	顧客データ
Google BigQuery	各データソースから転送した情報を一元化

上本：私がとても助かったのは、ワークフローというデータパイプライン機能です。設定管理に手間がかかってしまう状態を避けたかったため、できれば転送用の設定はひとつだけに留めたかったのですが、ファイル数が30〜40個もある場合、実行が途中で失敗してしまうケースがありました。
そこで担当の方に相談したところ、ワークフローを用いて転送用の設定を増やすことなく、ファイル名のようなパラメータを変えながら繰り返し実行することで正常にデータ転送を実行できました。ワークフロー機能自体は理解できていたつもりでしたが、自分では思いつかなかった使い方を教えていただき、感謝しています。

導入後の効果

40〜50週間かかる作業が4週間でできるように！データ転送業務の脱・属人化も実現

上本：まず、データパイプラインの開発工数を削減できたことが大きな成果です。フォーマットがバラバラの40～50個のファイルを転送するためには、1個のファイルでも転送、テスト、レビューしなければならず、プロフェッショナルのエンジニアが取り組んだとして1週間はかかる作業量になります。つまり、40～50個のファイルを転送するために、かなり甘く見積もっても40〜50週間はかかってしまうのです。
しかし「TROCCO®︎」を導入すれば、細かいエラーハンドリングや通知設定などを見越しても、エンジニア1人が1ヶ月ほど稼働して設定を完了できます。

馬田：以前のままであれば、データ転送のリトライをするにも独自開発で設定を追加しないといけません。しかし、「TROCCO®︎」ではボタンをクリックするだけで簡単に実行できます。

また、エラーの原因調査がしやすいことも高評価ですね。ワークフローでたくさんのジョブが動いている最中にエラーが起きると、エラー対象のジョブが赤く示されるため、そこからログを確認しにいけば、簡単にエラー原因を特定することができます。

その他にも、自由にスケジュール設定ができることや、各種ジョブをループで複数回実行することが出来るループ機能も、よく活用しています。

上本：これまで属人的で、ブラックボックス化されていたデータ転送をホワイトボックス化できたことで、どのような流れでデータを転送しているかビジネスサイドやマネージャー層、そしてシステム企画開発部の中で説明ができるようになりました。
また、経営層にとっては、Tableauを使い続けられていることが大きな成果だと思います。社長も出席するような経営会議では、インターネット広告事業の局長がTableauのダッシュボードを使って数字を説明しているので、経営陣はより正確に現状を把握できているはずです。

データ分析基盤の構築・リプレイスやダッシュボード作成についてお悩みの方はこちらよりご相談ください。

今後の展望

社内のビジネスサイドだけでなく、広告主やお客様に貢献できるようなデータ活用を目指して

上本：「TROCCO®︎」の導入でようやく弊社では、社内でスムーズにデータ移行をすることができるようになりました。今後もデータ活用を積極的に進めていき、ビジネスサイドに寄り添ったデータ活用だけでなく、広告主やお客様に貢献できるようなデータ活用までできればと考えています。

経営層でも、引き続きデータを活用して経営判断をしていきたいと考えているようで、たびたび社内会議では「データ利活用」というキーワードが出ています。経営陣の意図も汲み取り、今後もビジネスに役立つデータ分析基盤を整えていきたいですね。

上本：今回の取り組みで、実際に手を動かして試行錯誤してみないとデータ活用では分からないことがあると理解できました。データ移行の細かいことが分からず、足踏みしているデータの担当者の方は、ぜひまず無料のフリープランから触ってみてはいかがでしょうか。実際に触ってみることで分かることもありますし、そこから判断しても遅くはないはずです。

編集後記

株式会社インタースペースは、TROCCO®を導入することでデータパイプラインの開発工数の削減に成功しました。さらに、これまで属人化・ブラックボックス化していたデータ転送の仕様がオープンになったことで、データ転送の仕組みを他の人に説明しやすくなりました。

業務の効率化だけでなく、誰もがデータを簡単に・適切に扱えるようにするということを目的に同社がデータ分析基盤を整える際、その一助としてTROCCO®を選んでいただき幸甚です。

このような環境のもとデータの利活用を進めていくことができるインタースペース社のシステム企画開発部データ基盤グループは、「データを起点にプロダクトをよくしたい」と思っているデータエンジニアにはとてもいいチームだといえるでしょう。

TROCCO®を活用してデータ分析基盤のアップデートに挑戦してみたいと思っている方は、上本様、馬田様と一度お話しされてみてはいかがでしょうか。
https://www.wantedly.com/projects/299045