課題・問題

急成長する経営戦略にあわせた、スケーラビリティのあるデータ基盤が求められていた

常住 彰様（以下、敬称略）：「RENOSY」のデータをためておくデータウェアハウスとしての役割は、マーケティングツールとして導入していたCDP/MAツールが担っていました。そのツールとBIツールを連携してデータ基盤を構築していました。元のツールでは、データのインジェストもリバースETLも1つのパッケージ内で完結できるというメリットはありました。しかし、あくまでマーケティングツールであり、データを集約するデータウェアハウス製品ではありません。今後さらに「RENOSY」の事業を拡大していくためには、経営戦略にあわせたスケーラビリティのあるデータ基盤が求められました。

常住：まず「RENOSY」では大きく3つの業務に分かれています。

• 投資用不動産の仕入れ
• 仕入れた不動産の販売業務
• 不動産の管理業務

まずは投資用不動産の仕入れ業務です。ここでは、いつ、どこの物件を、どこの仲介会社から仕入れたのか、坪数や立地といった不動産情報も記録されます。次は仕入れた不動産を販売する業務です。ここではお客さまごとにいつ、どこからお問い合わせいただいたのか、ニーズは何か、担当者はどのような提案をしたのかといったデータを記録します。不動産の管理業務では、どのような不動産を購入していただいたのか、その後の入居者情報や家賃、修繕積立金の利用状況といった、賃貸管理業務に関するデータが蓄積されていきます。

他の業界と比べてトランザクション（取り引き）量やレコード数は大規模なWebサービスと比べて多くはないですが、項目数や情報量はとても多くなっています。

常住：当時は、量的課題と質的課題のそれぞれに課題を抱えていました。

まずは、月間の転送コストです。レコード数自体は大きくないものの、できる限りリアルタイムでデータを管理するためには更新頻度を高めなければならず、利用料金が高くなってしまいます。当時の予想では、今後2〜3倍のコスト増となる可能性もありました。コスト意識は前提として、単に低価格のサービスに乗り換えるのではなく、経営戦略に紐づいたデータ基盤を実現できることとコストの両立を追求しました。

もうひとつの量的課題として、コンピュータリソースの問題もありました。データウェアハウスに蓄積できるデータ自体には余裕があったものの、将来的にデータの種類を増やしていくことを考えるとリソースが限界に達する可能性がありました。もしデータ転送ができなかったり、遅くなったりすれば、事業にも悪影響が出ます。

質的課題では、取り扱えるデータの種類に関する課題と、蓄積したデータの品質の課題がありました。まず取り扱えるデータの課題としては、非構造化データを扱えないという課題がありました。お客さまとのオンライン面談の動画や音声、不動産の図面といった非構造化データを分析したいというニーズが社内から出ていたのですが、なかなか応えられなかったのです。

また、データは集めればいいというものではありません。当時は人によって見ている指標が異なるというデータ品質の課題がありました。それぞれが既存のツール上でSQLを書いてデータを抽出するという状態になっていたので、同じ指標でも担当者によって別々のロジックで集計しているといったケースが多発していました。その結果、レポートによって数値が微妙に異なっていたり、古い定義の数字がそのまま残っていたりと、正確な意思決定を下すために支障が出ていたのです。

なぜ「TROCCO」を選んだのか

データ基盤の刷新で、Snowflakeとの相性の良さ、国内のサポート体制を評価

奥村：導入を検討していた2024年1月当時、データエンジニアリングを担当するチームはまだ存在していませんでした。そのため、少数のデータエンジニアでも巨大なビジネスを支えるデータ基盤を構築することが一番の関心事でした。

そこでETLツールなど、データ基盤を構築するツールを選定する時には、私たちが実現したいデータ基盤の方向性に合致しているかどうかを重視しています。特に優先していたものでいうと、データ活用までのスピード感です。少人数のチームでも導入すればすぐに活用でき、私たちのビジネスに対して最短距離で貢献できることが求められました。

また、使いやすさや安心できるサポート体制も求められました。SaaSにおいては導入後のサポートの充実さ、導入企業同士のコミュニティの存在は重要な要素です。その点でどうしても海外に拠点がある企業ですと、サポートのスピード感に課題があったり、コミュニケーションコストが余計にかかってしまったり、ユーザー同士のコミュニティがなかったりと、私たちのチームが成熟していくまでに不必要なコストを払うことになってしまいます。

常住：量的課題と質的課題、両方を解決するためには、ETLツールの導入だけでなく、そもそものデータ基盤を再構成するためにデータウェアハウスをリプレイスする必要がありました。コストパフォーマンスやデータ処理速度比較から、Snowflakeをデータウェアハウスに採用することを決定しました。

弊社では、国内のCRMツールであるKARTEを活用したり、日本発のメディアへ広告を出稿したりするケースがあります。これらのツールに対応している点とSnowflakeとの親和性の高さから「TROCCO」とSnowflakeの組み合わせが最適であると判断し、導入を決定いたしました。

常住：社内合意の形成で特に重きをおいたのは、将来の展望と課題感の訴求でした。費用対効果については出せる数字は全て提示しました。合わせて中期経営計画書の内容から「将来『RENOSY』や『GA technologies』が目指す世界がどのようなものか」、「今後どのようにサービスを広げていくのか」を擦り合わせました。その上で現状のデータ基盤では何ができていないのか、なぜ経営戦略に貢献できないのかについて説明し、新しいデータ基盤の必要性を訴求しました。

もちろん、データ基盤に無尽蔵のコストを割くことはできません。「投じたコストを何年がかりで回収できるのか」はしっかりと説明しました。逆に戦略の実現のために必要な投資はしっかりと行う点も重要でした。

導入までのスケジュール・過程

データウェアハウスの検証と合わせて4ヶ月のPoC後に本導入。データフロー機能とエラーメッセージ、リバースETLの機能を活用

常住：まずはPoCとしてどのようなデータ基盤の構成が理想的か、4ヶ月ほどかけて検証しました。今回新たに導入した「TROCCO」とSnowflake、そしてdbt Cloudによるデータ基盤は、以前のデータ基盤でできていたことを置き換えることができるのか、データ基盤に必要なデータ連携元と連携先をしっかり網羅できているのかを確認しています。その他には、新しいデータウェアハウスの扱いやすさを、実際に触ってみて判断しました。

常住：ワークフロー機能とエラーメッセージ、リバースETLの機能です。指定したデータソースからSnowflakeに定期的にデータを取り込み、そして加工したデータをリバースETLの機能でSnowflakeから必要な場所へ転送しており、転送でトラブルがあってもSlackにエラーメッセージが表示され、正確にエラーの詳細を把握することができます。以前のデータ基盤では、エラーメッセージはメールにしか届かなかったため、どうしても対応が遅れてしまいました。

常住：Snowflakeからスプレッドシートへデータを出力する際、スプレッドシート側に表示固定された行や列があると、そのシートへの上書きがエラーとなってしまうトラブルがありました。スプレッドシートの運用フローの見直しで解決することも考えましたが、現場の社員からはやはり行や列の固定は必要とのことで、データの転送設定でなんとか解決できないかと考えました。primeNumberの方に相談したところ、1ヶ月後には表示固定された行や列があっても正しくスプレッドシートにデータが上書きされるようにアップデートいただけました。

日々の問い合わせにも、Slackからクイックにご対応いただけることも高評価で、エラーに関して相談するとすぐにログを紐解いていただき、丁寧に原因を指摘していただけます。こうしたトラブルシュートが迅速になったことは、非常にありがたく感じています。

導入後の効果

経営戦略にあわせたスケーラビリティのあるデータ基盤を構築し、データ品質も向上

常住：「TROCCO」とSnowflakeの導入によって「経営戦略にあわせたスケーラビリティのあるデータ基盤を構築する」というミッションは達成できています。以前に抱えていたコストの課題についても、「TROCCO」はデータ処理時間による料金形態のため、毎月の利用料を抑えられています。さらに最近では、データソースやデータウェアハウス側で工夫をすることで、データの転送時間を短く抑えることにも成功し、さらにコストを抑えられています。こうしたコスト削減によってレバレッジが効きやすくなり、量的・質的課題もさらに解決しやすくなっています。

常住：まだまだ道半ばですが、以前のデータ基盤よりデータの品質管理がしやすくなり、データ品質を向上できていることは一番大きな成果だと思っています。

今まではどうしても質の悪いデータが転送されてきても気がつけず、データ加工のロジックが正しいのかも分からず、デリバリーしたデータが本当に使われているのかも分からない状態でした。その一方で社内からは「もっとデータを使いたい」という要望が多数寄せられ、その結果、低い品質のデータがどんどん生み出されるという負のスパイラルに陥っていたのです。低い品質のデータを渡されても現場では充分に活用することができず、データの民主化がなかなか進まない元凶にもなっていました。

しかし今回、「TROCCO」とSnowflakeを導入したことによって、少しずつではありますがこの負のスパイラルから脱却しつつあります。さらに統一されたロジックでデータを集計できるようになり、SSOT（Single Source of Truth）も実現しつつあることも、今回の取り組みによって得られた成果です。

今後の展望

不動産データを整え、活用することで、不動産の流通をなめらかに

奥村：不動産業界はアナログな業界である、といった印象をお持ちの方は少なくないと思います。実際もその通りでして、不動産に関するデータがアナログであることが多く、データもサイロ化しやすいことから他の業界と比べても新しい技術を活用しきれていません。RENOSYはこうした業界が抱える課題を解決し、不動産データを整え、活用することで、不動産の流通をなめらかにしていきます。

不動産市場は日本のGDP10%を占める巨大な産業です。そこへデータやテクノロジーが加わっていくことで、不動産がより身近な存在に変わっていくでしょう。昨今、NISAやiDeCoといった資産形成に注目が集まっていますが、不動産も個人の資産としてもっと注目が集まるように今後も挑戦していきたいと思っています。

常住：データアナリストよりなスキルセットでも、しっかり活用できるツールが「TROCCO」だと思います。私は長い間「データエンジニア」という職種を名乗ってはいますが、SaaSをメインにデータ基盤を構築していたこともあり、インフラの領域まで細かく考えてデータ基盤を構築するのはほぼ初めてでした。

特にデータのインジェストやリバースETLなどを簡単に設定できるのは、ツールのUIが優れているからこそです。データエンジニアとして自信がなくともデータ活用に取り組んでいきたいという方は、まずはフリープランからスタートしてみてはいかがでしょうか。