株式会社primeNumber（本社：東京都目黒区、代表取締役CEO 田邊 雄樹）は、データ統合自動化サービス「trocco®（トロッコ）」の「dbt連携機能」を本日リリースしました。
「dbt連携機能」概要
・dbt実行環境
OSS（オープンソースソフトウェア）版のdbtを使用するために必須の「実行環境」を提供します。
・trocco®ワークフローとの連携
trocco®で行うデータ統合やdbtで行うデータモデリングをどのような流れで行うか、ワークフローで設定・管理できるようにします。データモデリングやデータ統合といった処理は、単発で終わらず、一連の流れで行う必要があります。ワークフローを通じてこの流れが自動で行われるようにすることで、より素早く、より正確にデータ統合やデータモデリングを行うことを可能にします。
・GitHub連携
dbtユーザーがGitHub（※）に保管しているコードやクエリをtrocco®に連携する機能を提供します。また、後述の「dbt開発環境」追加時には、trocco®で書いたdbtのコードやクエリをGitHubに連携できるようにします。
（※）プログラムを「誰が、いつ、どのような目的で」修正したのかという履歴を管理するためのサービス。多くのエンジニアに使用されており、dbtと合わせての使用が推奨されている。
・各種dbtパッケージへの対応
パッケージを通じてさまざまなマクロや拡張機能を実行環境に追加することで、より自由にデータモデリングを行うことを可能にします。
今後のリリース予定
2022年内を目標として、下記を追加リリース予定です。
・dbt開発環境
dbt用のコードやクエリを書くためのエディタや、それらの実行プレビューを見る、テストを実行するといった開発環境をtrocco®より提供します。一連の開発作業をtrocco®内で完結し、他サービスを導入することによる費用や学習コストを削減します。また、後述のtrocco®データカタログ機能との連携によって、効率的なクエリ開発を可能にします。
・データカタログ連携
trocco®は「データカタログ機能」により、データの意味・状態・依存関係といった「メタデータ」を分析者が管理し、集計を効率的に行えるようサポートしてきました。また、dbtにはメタデータを管理するドキュメントを簡単に作成する機能があります。
「データカタログ連携」では３つの仕組みを通じて、分析者がより効率的かつ効果的にメタデータ管理を行えるよう支援します。
１つ目はdbtの説明文を自動で抽出し、trocco®の「データカタログ機能」に連携する仕組みです。メタデータ管理をより効率的に行えるよう支援します。２つ目は、dbt連携で実行されるクエリをtrocco®が解析し、カラムベースのデータリネージ（※）を自動生成する仕組みです。分析で利用予定のカラムが、どのカラムのデータを元に作られたのかといった系譜関係を明らかにすることで、分析者がデータの意味をより正確に理解できるよう支援します。３つ目は、dbtによって変換されたテーブル間でメタデータを引き継ぐ仕組みです。trocco®がクエリを解析することでテーブルやカラムが持つメタデータを自動で引き継ぎ、メタデータ管理を効率化します。
（※）データ同士の依存関係やデータ処理の経路を可視化した図のこと。下図は、「Twitter/Facebook/Googleなどの広告費用を合計してcostのカラムが作成されている」ことを示すリネージ。
「dbt連携機能」追加の背景
企業が活用したいデータは爆発的に増えており、現在どのようなデータを保持しているかを把握することさえ容易ではありません。また、今後はどういったデータをどのような形で持つかの設計図を作成し、それに基づいてデータを整えておかなければ、データの実用性や分析の精度が低下するといった問題が発生します。こうした問題を解決するために必要なのが「データモデリング」です。
「データモデリング」とは、現存するデータや今後取り扱うデータを、どのような形で持つかの設計図「データモデル」を作成し、その設計図に基づいてデータ処理を行うプロセスのことです。そしてdbtは「データモデル」に基づいてデータ処理を行うためのサービスとして、エンジニアに近年注目されています。例えばdbtを用いることで、データモデリングの過程で頻発するクエリの増加・複雑化といった問題に対処することが可能です。また、クエリの処理結果が正しいか否かを確かめるテストコードを書くことも可能になります。
「trocco®」は、ユーザーの持つ膨大かつさまざまな種類のデータを、自動で企業のデータ分析基盤へ統合するクラウド型サービスです。企業はこれらのデータを分析することで、自社のビジネス成長に繋げることができます。
trocco®ユーザーはdbtを合わせて使用することで、従来より簡単・かつ正確にデータ変換を行うことができるようになります。dbtユーザーも、trocco®の「ワークフロー機能」を使用することで、今までは個別に実行されていたデータ統合とデータモデリングを、順序関係を持たせて連動させることが可能です。
こうしたさまざまな利点をtrocco®・dbtユーザーの双方に提供するため、「dbt連携機能」をリリースしました。
データ統合自動化サービス「trocco®」とは
「trocco®」は、ユーザーの持つ膨大かつさまざまな種類のデータを自動で統合し、データ活用を効率化するクラウド型サービスです。
多くの日本企業にとってデータ活用は喫緊の課題です。しかしデータは大容量で形式も様々、かつ複数の場所に散らばっているためそのままでは活用できず、まずは前準備として「統合」する必要があります。一方、多くの企業において、希少なエンジニアが「データ統合」を手作業で行っており、非効率的です。こうした課題を解決するのが「trocco®」です。
「trocco®」は「データ統合」を自動化し、工数の約9割を削減することで、エンジニアがより戦略的な業務に集中することを支援します。また、データ統合のリードタイム削減も実現し、企業は営業やマーケティングといったビジネスの意思決定に、データを素早く活用することができます。
東証プライム上場企業からスタートアップまで幅広い企業にご利用いただいております。顧客数は2020年9月からの半年間で約2倍に増加しました。
URL：https://trocco.io/lp/index.html
株式会社primeNumber 概要
我々は、「あらゆるデータを、ビジネスの力に変える」データテクノロジーカンパニーです。データが爆発的に増えていく時代に、誰もがすばやく、簡単にデータを使える環境を構築し、データ活用までのプロセスを最適化。高度なテクノロジーと独自のアイデアで、世界中のビジネスを支援します。
■ 会社名
株式会社primeNumber（英文名：primeNumber Inc.）
■ 代表
代表取締役CEO 田邊 雄樹
■ 設立
2015年11月
■ オフィス
東京都目黒区下目黒2-20-28 東信目黒ビル7F
■ 企業サイト
https://primenumber.co.jp/
■ 事業内容
・データ統合自動化サービス「trocco®」の開発・運営
・データテクノロジー領域の課題解決を実現するコンサルティング・エンジニアリングサービスの提供
本リリースお問い合わせ先
株式会社primeNumber
コーポレートコミュニケーション室 広報担当 村島夏美
e-mail：[email protected]
trocco®お問い合わせ先
https://trocco.io/inquiry/new
trocco®を既にご利用されており、「dbt連携機能」にご興味をお持ちのお客様は、弊社カスタマーサクセスまでお問い合わせください。