課題・問題

バッチ処理の属人化がビジネスのボトルネックに。データの可視化とデータ基盤の整備が急務

大橋 俊和様（以下、敬称略）：「TROCCO」を導入した2021年頃は、ひとりのエンジニアがプロダクトとデータ基盤の両方を担っており、意思決定もエンジニア主導という状況でした。現在は事業フェーズが変わり、役職を極力なくしたフラットな体制で全員が自律的にプロジェクトに関わり、意思決定を行っています。

煙草森 直也様（以下、敬称略）：以前から自社のECサイトでは、決済サービスや受注サービスなど、さまざまなSaaSを活用していました。

それらのデータとECサイトのデータを一つのデータベースに集約し、集計した上で、何かの意思決定に使えるようにビジュアライズしたいという要望があり、実現に向けて方法を検討していました。

煙草森：「TROCCO」導入以前に抱えていた大きな課題は、データ基盤の「属人化」と「非効率な運用」です。

当時はエンジニアがECサイトに付随するバッチやAWS Lambda、AWS Batch等でバッチを組んで、各種SaaSのAPI経由でデータを集めていました。しかし、そのバッチ処理の作業が完全に属人化してしまい、担当者しか触れないという状態になっていました。

データ処理の実行で失敗すると誰も直せず、エンジニアに依頼して対応をしてもらわなければなりませんでした。このような状態では、データ基盤の運用が不安定になるだけでなく、社内のデータ活用のスピードも、大きく制限されてしまいます。

もうひとつの課題は、データの取得精度の低さと取得漏れでした。APIを使って定期的にデータを取得していたのですが、たとえば3時間ごとに「前回取得した時間から更新されたデータだけを取得する」という設定をしていても、何かのイレギュラーでバッチが失敗してしまうと、更新分のデータが抜け落ちてしまうことが多々ありました。抜けてしまった場合はそのデータのみを同期することが困難だったため、後日に1週間分、あるいは全期間分のデータを1週間から2週間かけて一括で再取得することも多々ありました。

なぜ「TROCCO®︎」を選んだのか

データ基盤の脱属人化とデータアナリスト自らデータを取得できる環境が導入決定の後押しに

煙草森：別の会社でCTOを務めていた友人との会話がきっかけです。データ分析やデータ基盤の構築について話をしていた際に「TROCCO」を教えてもらいました。

それまで私はETLツールがSaaSとして存在しているという認識がなかったので、その会話をきっかけに調べ始めました。そこから国内外でさまざまな企業がETLツールを提供していることを知り、トータルコストも低く運用できそうだという点から、まずは触ってみようと決めました。

煙草森：ETLツールの比較検討で重視していたのは費用や導入、運用のしやすさ、対応しているデータソースの豊富さですね。とくにデータ基盤の属人化を避けることを重要視していたため、「誰が使っても同じように扱えること」が大きな判断材料でした。

自社でEmbulkを活用し、ETLの仕組みを構築することも検討していました。しかし、この方法では汎用化しにくいため、継続して仕組みを運用する担当者が必須です。結局、属人化のリスクは避けられないため、ETLの自作は運用負荷などのコストの面から改善につながらないだろうと判断しました。

大橋：私は以前からデータアナリストの間で「『TROCCO』がいいらしい」とうわさを聞いていました。以前のような変更のたびにエンジニアへ依頼するプロセスは手間もかかり、変更までに時間も要するため大変でした。データアナリストである私たちが自ら作業できるようになり、社内への依頼を減らせることは大きな魅力でした。

また、「TROCCO」の導入を検討していた当時は上場準備中というタイミングだったため、監査ログを出せることやプライベートな接続環境に対応できるかといったセキュリティ要件もポイントでした。この条件を満たそうとすると、他社のETLツールではコストが跳ね上がるものがほとんどだったため、2022年9月からセキュア通信機能が提供されていた「TROCCO」が現実的な選択肢に残りました。

煙草森：トライアルで試し、現場レベルでは使えるだろうという確信を得ていました。費用面については、エンジニアをひとり雇って運用に充てるよりはツールを活用した方が良いだろうという判断から、当時提供されていた最小限のプランを契約しました。

まずは、5つほどのコネクタに絞った状態で活用を始めました。CSVやスプレッドシート、Amazon Redshiftなど最小限の入出力に絞って活用し、運用が定着してから少しずつ対象となるデータソースを拡大していく形を取りました。

最終的に「TROCCO」がないとデータ基盤が回らない状況となったタイミングで社内からの信頼が得られ、「TROCCO」へのさらなる投資につながりました。

活用までのスケジュール・過程

当初想定していたユースケースから変更され、日々更新されるデータの集約で活用することに

煙草森：「TROCCO」を導入した当初は、各種決済サービスやクラウド会計ソフトなどの社内に点在するさまざまなSaaSのデータの集約をバッチ処理から「TROCCO」にリプレイスできないか検討していました。

しかし実際に使ってみると、日々新しいデータへ書き換わるスプレッドシートやCSVデータをRedshiftにつなげて活用する方が良いのではと気づきました。例えば、実際に受け付けた注文データと、社内の基幹システムに登録された受注の数字が完全に一致しているかどうかを突合して確認できるのではないかと気づいたのです。

もともとのきっかけであったバッチ処理からの置き換えは道半ばなのですが、「TROCCO」を活用することで、注文データと注文ごとの納期や商品の種別、配送先といったロジスティクスに関わるデータが正しいか、漏れていないかを突合できる仕組みを構築できました。

煙草森：施策ベースで相談ができて、カスタマーサクセスの方も技術的な理解が深いことです。具体的なエラーでご相談した時は「これをやってみましたか」と具体的に回答いただきました。もしその方法で解決できなければ、追加で確認していただくこともでき、信頼できると感じています。

嶽 雅也様：以前サポートチャンネルでご相談した際、迅速に一次回答をいただき、その時は1、2営業日で解決できて心強かったですね。

導入後の効果

データを見ることが当たり前な文化を醸成され、組織全体で使われている環境を実現

大橋：一番大きな変化は「当たり前にデータが存在し、すべての社員が活用できる」という文化を、社内に根づかせることができた点だと思っています。BIツールやスプレッドシートで、統合されたデータに誰もがアクセスし、当たり前のように活用できる環境が整っています。

どのようなことができるのかが分かると、以前対応したことを参考に、こういうデータは見ることができないかという要望が上がるようになりました。そして、その要望に合わせて、「TROCCO」活用の幅はどんどん広がっていきました。

ECやロジスティクスなどの現場から「問題を解決したい」という要望が出ると「データをTROCCOで取り込んで分析し、一つずつ対応しましょう」という流れになり、すでに3年ほど続いています。

一つ例を挙げると、卸先からPOSデータを受け取り、Excel上で年単位のデータを確認する作業は、従来ならとても手間でした。しかし今は「TROCCO」を活用して、データを成形・統合・可視化ができるようになったため、その便利さに気づいた社内から「海外のECサイトの情報も見れるようにしたい」「新しい卸先が増えたため、Excelデータを加工して取り込みたい」といった積極的な要望が上がるようになりました。

以前は閉じた環境の中で、自分の作業範囲でのみ扱われてきたデータが、今はオープンに共有され、組織全体で使われている環境を実現できたことは、アナリストとして意義のある変化だったと思います。

今後の展望

ビジネス全体をデータで可視化し、すべての社員がデータを活用できる未来へ

大橋：弊社は、国内と海外向けに卸やECサイトを提供する、日本のサブスクリプション業界では唯一無二に近いサービスを運営しています。そのため、これまでも自分たち自身で答えを探しながら、さまざまなことに取り組んできました。

必要なデータはフェーズによって変わります。オンライン、オフライン問わず、さまざまなデータが求められる中で、事業の規模が大きくなると思っています。

食品を扱っている会社だからこそ、安全性の担保も重要ですし、お客様からのお問い合わせのデータ、自社の製造のデータを掛け合わせて、リスクを早めに検知することも大切です。全てを担保するとどうしても人員を増やす傾向が高くなりますが、どれだけ抑えていきながら進めていくことができるかが今後の課題になると思っています。ぜひ今後も「TROCCO」を使いながらデータを活用し、削減できる部分とのバランスを取れたらと考えています。

煙草森：今後は社内でサイロ化している、まだバッチで動かしているデータ群も「TROCCO」で一元化していきたいと思っています。特に、非エンジニアのメンバーにも扱いやすく、活用の幅が広げられるよう、コネクタの種類が増えて欲しいなと思っています。またデータの扱いは難しいところがありますが、できるだけ社内で活用できる人が増えていけば良いですね。

ベースフード社におけるTROCCOを起点としたサプライチェーンやマーケティングでの活用は別の記事でご紹介いたします。是非そちらもご覧ください。