ビジネス現場のデジタル化が急速に進み、それに伴い社内のデータも増え続けています。
今後は、企業レベルでのデータ活用度の差が、競争力に直結するといっても過言ではありません。
増え続ける社内外のデータを多角的に分析する為には、販売・購買・生産・顧客管理システムや、SaaS・広告サービスといった外部システムなど、複数の異なるシステム・形式のデータを集めて、統合することが不可欠です。
本記事では、2023年6月に開催されたセミナーをもとに、各種ツールのご紹介（TROCCO®、BigQuery、Looker）とそれらを活用したデータ分析基盤のクイックウィン事例をわかりやすくお話します。「データ分析基盤を作るにあたって、具体的なHOWを知りたい方」「現状のBIツールの効果や費用に課題感を感じている方」は必見の内容です。
なお、当日のセミナーはこちらからご覧いただけます。
※本イベントレポートの内容は2023年6月当時のものです。TROCCO®の利用やAWS PrivateLink接続オプション、データカタログオプション等の利用の詳細について知りたい方はprimeNumberまでお問い合わせください。
https://trocco.io/inquiry/new
講演者紹介
今井 寿康氏
グーグル・クラウド・ジャパン合同会社 ISV パートナーデベロップメントマネージャー
AV家電メーカーで10年以上、EC・直営店舗の企画運営と、オムニチャンネルでのCRM/MA活用/カスタマージャーニー戦略を担当。経営企画として社内数千人規模でBI活用を推進した後、BigQuery、Lookerが実現できる世界観に心動かされ、Google CloudにJOINし、アライアンス業務に従事している。
加藤 大輝
株式会社primeNumber カスタマーサクセス本部 アカウントエグゼクティブ
製造業（マルハニチロ株式会社、ネスレ日本株式会社）にて、小売業向けの製品開発・営業・データ分析活動に従事。現在は、広告・IT関連から製造・小売りまで業界を問わず、データ活用基盤の構築を支援。
Lookerで実践する「SSOT」とデータの民主化
データ活用は組織成長の源泉
今井氏：「言わずもがなですが、データ活用が進んでいる企業の方が収益が高いといった調査結果が出ています。」
今井氏：「データを使っていく中で、SSOT（Single Source of Truth）の概念が重要になります。日本語で言うと、『信頼できる唯一の情報源』です。
企業にはよりますが、『あのデータを見るには、このツール』など各種ソースや画面に分けて、頭の中で情報を統合しているケースがあるのではないでしょうか。そのような活用が全社的になると、非常に煩雑で、業務のワークフローとして不便なものになりうると思っています。
そして何より重要なのは、経営層を含めて『どれを見ておけば正しい判断ができるのか』が明確化され、意思決定が促進されることだと考えております。」
データ活用を推進する流れと実現のためのソリューション群
今井氏：「ビジネスにデータを使っていく際に、どのようなステップがあるかをシンプルにしてみました。
データ活用のステップが、ビジネスに生かす際にもっとも重要なステップです。ただその前段として、必要なステップが3つほどあると考えています。
SaaSや基幹系に大量のデータを持っていたり、SalesforceなどのSFAで営業系のデータを管理していたりするケースも非常に多いと思います。そういった企業がデータをビジネスにうまく使っていく手順の中で、まずデータを収集するステップがあると思います。
収集すると、そのデータをどこかに保存する必要があるため、データを蓄積して見れるようにすることがポイントになります。
そしてその蓄積したものを、人間が理解して意思決定できるように、可視化するプロセスも非常に重要だと思います。
この3つの領域におけるデータの扱い方を提案をさせていただいております。」
データのサイロ化によるデータ活用のハードル
今井氏：「組織では、マーケティングや管理・財務や営業系など、さまざまな部門によってデータを運用されているでしょう。この成り立ちが原因となり、部門ごとに異なる情報系システムを持っているケースがまだまだあると思います。
つまり、各部門ごとに馴染んだシステムが秘伝のタレのように蓄積されており、マーケティングが営業のデータを見てマーケティング効果を確認したい際に、システムの壁を超えていく必要があります。また、そもそもデータの定義・ロジックが部門ごとに違うと、紐解き方が異なるといった課題もあります。
各部門でSaaSなどの運用をしているケースもあると思います。一つのマーケティングツールのデータを複数の部門で必要とする際に、どの部門のデータベースに入れておけばよいのかなど、複雑化する可能性もあります。
Google Cloud の Smart Analytics ソリューション
今井氏：「そのような課題への対策として、Google CloudはSmart Analytics ソリューションをご用意しています。複数のソリューションをご提供しており、狙いは必要としている誰もが必要な時に必要な場所でデータを活用していただくことです。
基幹系データなどのSoR（System of Record）データや、マーケティング系のデータなどのSoE（System of Engagement）データは、あらゆる場所に分散していると思います。これをリアルタイムでシームレスにつなげて使いやすくするのが、Smart Analytics ソリューションです。」
今井氏：「このソリューション群の中心にあるのが、BigQueryと呼ばれるデータウェアハウスです。（BigQueryは、）Google Cloudで運営しているフルマネージドのデータウェアハウスで、お客様はサーバーの保守管理などから完全に解放されます。
そして、TB規模から数百PB規模のデータでも高速に扱うことができます。さらに、従量課金での利用が可能で、最初は$300の無償トレードも可能なため、スモールスタートに向いているソリューションです。
機械学習での需要予測などもモデルに組み込まれているため、簡単に需要予測などを出せます。また詳細の説明はしませんが、セキュアなデータ管理であり、堅牢なアーキテクトを持っているため、データが流出したケースは今までございません。
そして何より、データの量に応じてインフラを拡張するため、サーバー状況やデータ処理の重さによってインフラに問題が生じることはありません。」
今井氏：「従来のデータウェアハウスの運用には、ハードウェアのメンテナンスなども含まれるため、分析の手前のステップで多くの時間を費やしていたと言われております。
一方BigQueryでは、お客様は全社から共通で使えるデータを蓄積していただくことで、本来やりたい分析と洞察を得て、マーケティング施策やその他分析業務に集中していただけます。」
今井氏：「写真はあくまでイメージですが、（BigQueryは）Googleの運用するデータセンターで大量のサーバーを立て、専用のハードウェアを使って構築しているサービスです。
このような非常に多くのサーバーを、必要な時に必要なだけリソースを借りて使っていただけます。大量なデータを裁く時に、自社でこのような準備や保管、運営をするのは非常に大変だと思います。」
お客様のニーズごとのデータ分析＆活用ソリューション
今井氏：「データを貯めたあとに重要なのは、やはりデータ分析などの活用していくフェーズだと思います。そのフェーズにGoogleが提供しているのは、LookerとLooker Studioと呼ばれるBIソリューションです。
そしてExcelのような機能を持つ、Googleスプレッドシートを提供しており、使い慣れたスプレッドシートの画面でビッグデータを分析できます。
一方、BIツールをすでに導入されているお客様でも、多数の3rdパーティーのBIツールから直接BigQueryにつないで、データを読み込み分析することも可能です。」
Lookerとは
今井氏：「もし新しいBIツールを探している方がいれば、代表的なものとしてLookerをご紹介させてください。
Lookerはデータガバナンスを司るデータ活用のためのプラットフォームと銘打っています。スライド右側にあるような分析ダッシュボードの画面を作成し、社内で見ていただくことが可能です。
（Lookerは）ビジネスユーザーが必要な時に、必要な場所でデータを取得できます。そして可視化だけではなく、活用のフェーズにおいてデータを他のシステムに渡すことが可能です。たとえば、LookerからGoogleの広告配信を直接行えます。
Lookerの3つの特徴はスライドに記載されている通りです。（この後詳説）」
今井氏：「Lookerの全体像としては、このようになっています。
BigQueryだけでなく、AWSのデータベースやSnowflakeなどをお使いの企業もいらっしゃると思います。Lookerは、それらともマルチクラウド対応としてつなげられます。SaaSで提供されているため、AWSをメインにお使いのお客様も『AWS上のLooker』として使っていただけます。
BIツールによってはBIツール用のデータベースを別途用意する必要があるケースもあります。しかしLookerは、BigQueryに直接データを取りに行くアプローチをします。そのため、『せっかく高速に並列処理をして瞬時に集計結果を返すデータウェアハウスを持っていても、BIツール用にバッチやデータを別に渡さなければならない』ケースを回避できます。
BigQueryに直接Lookerが接続してその時にSQLを自動生成するため、毎度のSQLのライティングが不要になります。そして返ってきたデータをLookerは上記の4つのパターンに適用できます。
左上のウェブUIは、まさにダッシュボードの構築・ビジュアライズです。取ってきたデータを分かりやすいビジュアルに可視化し、社内での意思決定などに利用できます。
また、埋め込みはLookerの特徴です。毎回BIツールにログインするのが面倒な場合は、たとえば営業の方であれば、SFAのツールに埋め込んで表示できます。企業の社内ポータルがあれば、全社の進捗などをiframeで埋め込んで皆が見る場所に表示することも可能です。
埋め込みすら面倒な場合にはスケジュールの機能を利用して、毎日特定の時間にEmailで全員にレポートを飛ばしたり、Webhookで問い合わせベースがあった時にデータを表示する対応も可能です。
また、Slackの画面の中にレポートを埋め込んだり、Microsoftのteamsの中にレポートを表示させたりと、BIツールの画面を意識せずともデータを活用することを社内のワークフローの中に定着させられます。」
今井氏：「先述したとおり、BigQueryなどすでに優れたデータベースを持っている場合、他にBIツール用のデータベースを用意する必要はありません。ほぼリアルタイムでBigQueryなどのデータベースが持っているデータを利用できます。
そして、データを定義する機能がございます。（この機能の存在が）今回のテーマであるSingle Source of Truthを実現するためにLookerが非常に効果的な理由です。
3つ目は、先ほど申し上げた広告配信など今すでにあるワークフローの中にLookerからデータを送り込んで処理が可能である点です。
この中で今回のポイントであるデータ定義の統一について見ていきます。」
データの民主化によくある課題
今井氏：「データの利活用を社内で推進していくうえで、データの民主化は一つの重要なポイントだと思います。ただ、データの民主化を実現していくにあたって、お客様の中で2つほど課題があります。
まず、弊社でデータボトルネックと呼んでいるものです。データベースを運用してデータの蓄積・統合のフローが整備されたとしても、SQLはデータベースを運用するうえでまだ避けられないものだと考えています。
SQLを書ける方が十分にいる企業ばかりではないため、ビジネスユーザーがデータサイエンティストなどの方に依頼するケースがよくあります。そのため、SQLを書ける方に業務が集中してしまい、必要としている人にタイムリーにデータを届けられない問題があると考えています。
データボトルネックに対する解決策としてよくあるのが、皆がSQLを意識しなくとも、デスクトップツールやWebの画面でデータとつながったツールを使えるようにするケースです。これにより、ビジネスユーザーが直接データにアクセスできるようになり、自分でレポート画面を作ったり分析したりできるようになります。
ただここで発生しがちなのが、弊社がデータカオスと呼んでいる状況です。
たとえば、売上達成率やコンバージョンレートの算出において、『分母と分子は何を足し合わせるか』や『何を分母として、何を分子とするか』といったロジックが必要になります。またマーケティングであれば、ライフタイムバリューのような複雑な定義もよくあります。
その際に、営業部とマーケティング部が作ったレポートの数値が異なるケースが発生してしまうのです。これはどうしても人が手動で作っていくうえで、避けがたい課題ではないかと思います。
しかし、最終的な意思決定をするレポート閲覧者からすると、どちらのレポートの数字が正しいのかわからなくなり、最悪の結果、これらのデータを使わなくなってしまうケースもありえます。このようなのひどい状況ではなかったものの、私も全社的なBIツールを導入した際に、営業担当の役員とマーケティング担当の役員で見えている売上達成率が違い、正しい意思決定ができなかった経験があります。」
SSOT実現には、データガバナンスが重要
今井氏：「これらの課題を解決するための一例が、Single Source of Truthの構造です。そして、Single Source of Truthを実現するためのキーワードが、データガバナンスです。データガバナンスはまだまだ大きく広まっていない言葉かと思いますが、今年度、来年度には確実に日本企業の中でも当たり前の概念になると考えています。
一つのデータベースに統合していき、データの蓄積場所を限定するトレンドは変わることはないと思います。この動きを『データの共通資産化』と表現し、どこのデータベースに何が入っているかわからない状況を避けるため、統合データベースがより一層運用されていくと思います。
しかし、その後ビジネスユーザーが好き勝手にデータを使ってしまうと、先ほど説明したデータカオスが発生するリスクがあります。これを『ルールのないデータの民主化』と捉えられますが、ルールに基づくデータ活用を促進させるには、（データベースとビジネスユーザーの）真ん中にデータガバナンスを実現するレイヤーを設けることが重要だと考えています。これは、データエンジニアの方もよくご存知のセマンティックレイヤーと呼ばれるものです。
（データガバナンスを実現するためのレイヤーとして、）Lookerを入れるアプローチをしていただくことで、シングルソースを作れると思います。Lookerはデータの定義とSQLの自動生成が可能です。そのため、売上達成率やライフタイムバリューの計算式をLooker上で定義でき、ビジネスユーザーはデータベースからSQLを書くことなくリアルタイムでデータを得られます。
したがって、ビジネスユーザーが勝手にデータを定義するのではなく、一貫した指標定義をもたらすデータガバナンスをLooker上で実現できるのです。これを『データの共通言語化』と表現しています。日本語や英語、方言などが混ざりあった環境で会話するのではなく、共通言語を持つことが、スムーズにデータ活用するうえで重要なことだと考えます。
このような環境を実現するため、単純なBIツールの導入ではなく、データプラットフォームの構築が重要だと考えています。」
実際のセミナーでは、BigQueryを0から利用するデモを実施していただきました。実際に行われたデモの様子をご覧になりたい方は、セミナ―動画をご視聴ください。
クイックウィンでLookerでのSSOTを実現するTROCCO®・Data Engineering Solutionとは
Google CloudとTROCCO®の親和性
加藤：「弊社としては、Google Cloud様とTROCCO®の親和性に関して、ワンストップでGoogle Cloudを活用したデータ分析基盤の構築をご支援できます。スライドの図で簡単にデータ整備からBI導入、活用までのフローを表していますが、それらをオールインワンでご支援可能です。」
データ分析・活用へのプロセス
加藤：「データ収集は非常にエンジニアリングのリテラシーや工数がかかってくる部分です。このボトルネックとなる部分をTROCCO®が自動化するとご認識いただければと思います。そうすることで、素早くBigQueryにデータを貯めてLookerでガバナンスを徹底しながら、データ分析や可視化を行える環境を構築していきます。」
TROCCO®について
加藤：「基本的な機能は、分散したデータの収集、そして他のサービスへの自動転送や、転送後データウェアハウスの中に入ったデータの統合の自動化です。
ご利用メリットを大きく分けて4つにまとめさせていただいています。まず、データ統合の工程を最大90%削減できた事例がございます。またビジネスユーザーにも触っていただけるような直感的に操作ができる画面がポイントです。後ほど、触るだけではなくしっかり活用できる点も元非ITの私から少しお話ができればと思っております。
非エンジニアの方のご活用実績もございます。そして、現在約130種類のデータソースに対応しており、拡張性があります。BIで可視化する部分を全て自動化するのがTROCCO®の役割です。」
加藤：「TROCCO®はETLツ―ルであるイメージが強いと思いますが、実際はデータのモデリングや統合、加工にも対応しています。さらに、データカタログ機能やメタデータ機能も提供しており、よりフルスタックなツールとして開発が進んでいる状況です。」
データ活用の簡易アーキテクチャとTROCCO®
加藤：「TROCCO®の特徴を3つに絞ってお話ができればと思います。
まず、データパイプラインの構築です。次に、DWHに対して操作を行うデータマート機能や一連の流れを自動化するワークフロー機能をお話しできればと思います。そして最後に、TROCCO®の豊富な機能をお伝えできればと思います。
TROCCO®自体がデータベースを持っているわけではなく、BigQueryなどのデータウェアハウスへのデータ転送と操作、加工をメインに実施しております。
またビッグデータの処理という観点で、ビッグデータの転送も高いパフォーマンスで実施できますし、かつ転送してからDWH上にビッグデータを構築することも可能です。」
加藤：「まずデータパイプラインの構築ですが、こちらは後ほどデモで詳しくお話しするため、割愛してお話しできればと思います。
ステップ1では、まず転送元・転送先のサービスを選んでいただきます。今回は例として、セSalesforceとBigQueryを選択しています。
ステップ2では、SalesforceのオブジェクトとBigQueryのテーブルを、枠の中にドラッグ&ドロップや選択式で選んでいただきます。
ステップ3で、プレビュー画面でデータがきちんと転送できているかを確認していただき、こちらの画面でさらにノコードでの加工をしていただけます。
以上の設定が5〜10分ほどでどなたでも可能です。」
加藤：「たとえば、データのサービスの種類によっては年月日の表記などが異なっているケースがあると思います。そういったケースは、カラム名を指定し、表現パターンと置換させる文字列を選んでいただくことで簡単に表記を統一できます。
また、ハッシュ化やマスキングも1クリック、2クリックで行えます。テーブルとして持ちたいが、データとしては見てほしくないものに関しては、マスキングが便利です。もちろん転送の際、フィルタ機能によって特定のレコードの除外や選択も可能です。」
加藤：「さらに、ELT処理として大量に送ったデータをすべてBigQueryに転送し、その後、統合や加工をTROCCO®の画面上からSQLクエリによって操作可能です。」
加藤：「そして先ほどのデータを転送するパイプラインの部分とデータを加工するDWHの部分をドラッグ&ドロップで並べていただきます。
たとえば、『Salesforceの売上やGoogle広告の広告費用をBigQueryに転送する。その転送が終わったら、BigQuery側では分析のテーブルを作ったり売上データの正規化を図ったりする処理を行う。最終的に、Lookerで参照する画面テーブルが作れたら、このジョブの完了通知を担当者にSlackやメールで送る。』といったワークフローを作成します。このように、ジョブ管理をGUI上でも行えます。
なおかつ、スケジュール設定によって分単位で実行可能であるため、夜間バッチで売上画面の裏側を自動で更新可能です。」
加藤：「現状の国内の広告サービスを主体として、130種類のコネクターを有しております。アプリケーション関連では、MAツールやSFAツール、ECで使われるようなShopifyといった多数のアプリとの連携をしております。
DWHに関しては、BigQueryをはじめとした主要なDWHや、Google Cloudの趣旨のサービスストレージやGoogle Cloud Spanner、スプレッドシートとの連携も可能です。
また、主要なデータベースも抑えており、各部門が使うであろうメインのサービスは連携可能だとご認識ください。」
TROCCO®の導入により、アプリの運用コストを50%削減
加藤：「実際に、TROCCO®とBigQueryとLookerを使っていただいたタクシー会社様が、自社アプリの運用コストを50%削減された事例があります。
状況・課題としては、分析基盤を活用していたが開発工数がかかっており、さらに分析作業したいがリソースが不足していました。
そこでTROCCO®を導入し、データ統合のパフォーマンスを向上させ、エラーも少なく高速で転送・分析が可能になりました。かつ、運用が楽になり、結果的に運用コストを50%削減できました。」
pN-Integrationとは
加藤：「ツールは導入して終わりではなく、それらを繋ぎ、何かしらのリソースをかけて構築・活用を実施できます。ここで、誰が構築・活用を実施するのかが問題になります。
そこに関して弊社では、Data Engineering Solutionとして構築・活用の支援をさせていただいております。
またpN-Integrationでは、データの整備から活用までの流れをワンストップでご支援させていただいております。もちろん、データ統合にはTROCCO®、蓄積はBigQuery、データ分析にはLookerやLooker Studioを活用して、打ち手を考えさせていただくサービスです。」
企業全体のKPI管理ダッシュボードの構築事例
「実際に、サーキュレーション様にKPIの設計からBI構築までをワンストップでご支援させていただいた事例がございます。」
この後セミナー内では、以下のデモを実施しました。実際のデモをご覧になりたい方は、セミナー動画をご視聴ください。
- Salesforceの複数オブジェクトをTROCCO®でBigQueryに転送
- TROCCO®でBigQueryにマートテーブルを作成
- Lookerで可視化
またTROCCO®のブログにて、さまざまなTROCCO®活用事例をご紹介しています。BigQueryやLookerを用いたその他の活用事例を知りたい方は、以下の記事をご参照ください。
TROCCO(トロッコ)活用事例 | TROCCO®(トロッコ)
まとめ
本記事では、TROCCO®やBigQuery、Lookerなどの各種ツールの機能と、それらを活用したデータ分析基盤のクイックウィン事例をご紹介しました。
Single Source of Truthやデータの民主化を実現したい方、またそのためのデータガバナンスを強化したい方は、本記事の内容を参考に、LookerやTROCCO®を活用してみてはいかがでしょうか。
本記事でも紹介したとおり、弊社の提供しているデータ分析基盤総合支援サービス「TROCCO®」は、データのETL機能を中心としたSaaSのサービスです。ETL機能以外にも先述した、メタデータ機能やデータカタログ機能、ワークフロー機能などデータ運用を総合的にサポートする機能を提供しています。
データの連携・整備・運用を効率的に進めていきたいとお考えの方や、プロダクトにご興味のある方はぜひ資料をご覧ください。
