>

データ転送(ETL)

SQLエディタで変換処理を書くだけで、DWH上のログをビジネス活用しやすい状態に整備

パイプライン構築まで最短5分。
日々積み重なる保守業務からも解放

ETLパイプラインの構築、データソースの変更への追従、APIアップデートへの対応…
データ活用するための環境を構築し、維持していくには、多大な工数を要します。そういった泥臭いタスクはTROCCOにおまかせください。

ETL/ELT/CDCをサポート。
ニーズに合わせて選べる転送方式。

ETLではノーコードからプログラミング言語による柔軟な変換処理までカバー。 ELTの場合はdbt連携による精緻なデータモデリングに対応します。
CDC(変更データキャプチャ)形式のデータロードにも対応。
データソース側の変更をフルマネージドに追従します。

世界でも稀有。
DevOpsも踏まえたETLサービス。

エンジニアリングのベストプラクティスを、データ基盤にも。
本格的な運用フェーズにも耐えうる多彩な機能が揃っています。

  • コードベースの設定管理
  • 本番・開発などの​複数環境の​管理機能
  • 変更履歴の管理とロールバック

データソースのあらゆる変更を自動追従。
運用保守を限りなくゼロに。

ETLパイプラインを構築すると、データソース側の列追加・テーブル追加・APIアップデートなどの対応が日々発生します。
ETLに標準搭載されているスキーマ変更検知・追従機能では、列の追加・削除・変更の追従が可能。マネージドデータ転送ではテーブルレベルの追加・削除に対する変更を追従することが可能です。 データソースのAPIアップデートに対する追従も、TROCCO®内部で自動的に行われます。

ベーシックな ETL はノーコードで簡単に。
プログラミング言語による独自実装にも対応

よくあるETL処理はGUIで簡単に設定。 複雑な処理が必要な場合は、プログラミングETLで対応可能です。
ニーズやリテラシーに応じて、データ整備・平準化を負担なく行うことができます。

  • プログラミングETL(Ruby / Python)
  • マスキング
  • レコードフィルタ
  • ハッシュ化(SHA256)
  • 文字列置換(正規表現)
  • データ型変換
  • 文字列変換(NFKC)

直感的かつ洗練されたUI/UX。
データエンジニアリングの最短経路を提供します。

設定・運用時の細かいイライラを最小限に。
エンジニアが自ら使いたくなるように考え抜かれたUIは、データエンジニアリング上の各種タスクに対して「最短経路」を提供します。

  • コード差分確認
  • 設定の下書き保存
  • ラベル管理
  • 一括編集機能
  • 接続確認
  • 3ステップ完了する簡単設定
  • 入力サジェスト

主要機能

BigQueryの分割テーブル・クラスタリングにネイティブ対応

BigQueryの分割テーブルや、クラスタリングテーブルの作成・更新に対応しています。

スキーマの自動推論

転送元がファイル形式の場合*、ファイル圧縮形式・フォーマット・スキーマ(データ型)を自動で推論。マッピングや型入力のコストを削減できます。

* Amazon S3、Google Spreadsheetsなど

JSON型展開

転送元のJSON型データを展開し、転送先のカラムにマッピング可能です。

広告レポートテンプレート

TROCCO®独自に提供するレポートテンプレートにより、広告系コネクタからのデータ抽出を効率化。 広告分析に最適なフィールドをサジェストします。

カスタム変数

ETLパイプラインの設定の各所にカスタム変数を埋め込み可能です。 手動再実行時などのバックフィル用途で利用できるほか、ループ実行などの柔軟な実行方法をサポートします。

機能一覧

データ統合に必要なすべての機能を、統合プラットフォームとして提供します。

データ転送(ETL)/ マネージドデータ転送

プロのデータエンジニア水準の転送パイプラインを、最短5分で本番デプロイ

データ転送(ETL)

データマート生成 (ELT)

SQLエディタで変換処理を書くだけで、DWH上のログをビジネス活用しやすい状態に整備

データマート生成 (ELT)

ワークフロー (ジョブ管理)

複雑なパイプラインもGUIで定義。データエンジニアに必要な接続先が豊富

ワークフロー (ジョブ管理)

CDC (変更データキャプチャ)

大規模なデータの複製、ニアリアルタイムの同期

CDC

カスタムコネクタ

ローコードで独自コネクタを設計・構築

カスタムコネクタ

データ品質管理

DWH上に蓄積されたデータに対し、柔軟なテスト・検証が可能

データチェック

運用支援・API連携

GUIで通知や再実行も、コード管理でCI/CDも、データ基盤の運用に必要な支援機能を、エンジニア目線で開発

運用支援・API連携

Self-Hosted Runner

ユーザーが管理するオンプレミスやプライベートネットワーク環境でTROCCOのジョブが実行可能

Self-Hosted Runner

Web行動ログ収集SDK

専用のSDKでWebサイトのページビュー・イベント・メール開封ログ等を収集し、お好きなDWHに転送

Web行動ログ収集SDK

セキュリティ

大切なデータを扱うため、暗号化やIP制限などの機能を搭載

セキュリティ

サポート

お客様専任の担当がつき、障害対応や運用をサポート

サポート

まずは無料で始めてみませんか?

フリープランなら、クレジットカード登録不要ですぐに始められます。
データ統合の課題を、TROCCOで解決しましょう。

導入に関するご相談も承ります。お気軽にお問い合わせください。