本記事では、データウェアハウス（DWH）、ETLプロセス、BIツールなどのアップデート情報や最新トレンドを毎月わかりやすくお届けします。

主要なニュースをピックアップしているので、サクッと最新情報をキャッチアップしたい方は、ぜひご覧ください。

Data Engineering Newsの公開のメール通知をご希望の方はこちらのフォームよりご登録ください。

今月のData Engineering Newsの共同著者は以下のメンバーです。
今川航、 庵原崚生、海藤公紀、鈴木大介、河野浩明、西山徹、廣瀬智史

Google BigQueryのニュースまとめ

TYPEOF関数が一般提供開始されました

TYPEOF関数を使うと式のデータ型を取得することができます。

詳細は公式ドキュメントを参照ください。

BigQuery MLでAnthropic Claudeモデルに基づくリモートモデル作成が一般提供開始されました

ML.GENERATE_TEXT関数とこれらのリモートモデルを使用して、BigQueryのテーブルに格納されたテキストの自然言語生成タスクが実行できます。

2025年3月現在、以下のモデルが利用可能です。

  • Claude 3.5 Sonnet v2
  • Claude 3.5 Sonnet
  • Claude 3 Opus
  • Claude 3 Haiku
  • Claude 3 Sonnet

リポジトリとワークスペースを使ったバージョン管理がプレビューになりました

リポジトリはGitを使用してファイルのバージョン管理を行い、リポジトリ内のワークスペースを使用して、リポジトリに保存されているコードを編集することが可能です。

GitリポジトリはBigQueryの組み込みのGit機能のほか、GitHubなどのサードパーティのGitリポジトリに接続できます。

詳細は公式ドキュメントを参照ください。

本章の執筆者：今川航（Data Analyst / Analytics Engineer）

Snowflakeのニュースまとめ

Snowflake NotebooksのAWSコンテナランタイムが一般提供開始されました

このリリースでSnowflake Notebooksのランタイムとして利用できるContainer Runtimeで仮想ウェアハウスを利用するのではなく、Snowpark Container Serviceをバックエンドとして、Notebookの処理を行うことができるようになりました。

一般提供にあたり、以下の機能が新機能として利用できるようになっています。

  • 事前構成として、人気のあるML開発向けライブラリが事前にインストールされたイメージの利用
  • pip / Conda Pythonパッケージのアップグレード
  • アクティブボタンのマウスホバーによるリアルタイムのリソース（CPU、GPU、メモリの使用状況の詳細なメトリック）監視
  • セッション稼働時間の最大化による最大7日間の有効化

詳しい内容はリリースノート・公式ドキュメントを参照ください。

Cortex Analystクエリでの複数セマンティックモデル利用サポートが一般提供開始されました

このリリースで、Cortex Analystが事前作成したセマンティックモデル（ymlファイル）を用いてクエリを作成する際、単一のセマンティックモデルではなく、複数のモデルをリストとして含んで適宜最適なモデルを選択できるようになりました。

これにより、クエリ生成時の検索性能の向上と実装の簡潔化ができるため、さらに利用に際しての障壁が低くなります。

詳しい内容はリリースノート・公式ドキュメントを参照ください。

新しいデータに関するアラート発火が利用可能になりました

このリリースで指定されたテーブルまたはビューに新しい行が追加されると、アラートを発火させることができるようになりました。

Dynamic TableやTaskを利用したデータパイプラインを構成している際、更新でエラーがあった際にアラートを通知として送信できるようになります。

またこのキャプチャするイベントは重要度レベルを設定できるため、どのレベルでアラートをキャッチしたいかを設定することができます。

詳しい内容はリリースノート・公式ドキュメントを参照ください。

その他アップデート（一部抜粋）

XML形式の半構造化データのサポートが一般提供開始されました

Snowflakeの半構造化データとして、JSONやParquetがありますが、このリリースでXML形式のサポートが一般提供になりました。

XMLに関連する関数も今回のリリースで一般提供開始となります。

詳しい内容はリリースノート・公式ドキュメントを参照ください。

データベースオブジェクトの新しい最大サイズ制限がリリースされました

今まで一律16MBのデータ量の制限がありましたが、このリリースでは、VARCHAR、VARIANT、ARRAY、OBJECT 型の列の新しい最大許容長は 128 MB になり、BINARY、GEOGRAPHY、GEOMETRY 型の列の新しい最大許容長は 64 MB になります。

現在はプレビュー機能であるため、利用するには記事公開タイミングではバンドル有効化が必要となります。

詳しい内容はリリースノート・公式ドキュメントを参照ください。

本章の執筆者： 庵原崚生（Senior Data Engineer）

AWSのニュースまとめ

Amazon S3 TablesとAmazon SageMaker Lakehouseの統合が一般提供開始されました

Amazon S3 Tables が Amazon SageMaker Lakehouseとシームレスに統合されました
SageMaker Lakehouse は Apache Iceberg を使用して、S3 Tables、S3 バケット、Redshift ウェアハウスのデータに対して直接クエリ・結合が可能になりました
さらに、Amazon Athena 経由で S3 コンソールから直接テーブル作成やクエリ実行が可能になりました

詳細は AWS公式ブログ を参照ください

Amazon Redshift Serverlessでリリーストラックの選択が可能になりました

Amazon Redshift Serverless が Current Track と Trailing Track の2つのリリーストラックをサポートするようになりました
これにより、開発環境では最新の Current Track、本番環境では安定性重視の Trailing Track を選択でき、柔軟な運用が可能になります

詳細は AWS公式ブログ を参照ください

Amazon Data FirehoseがAmazon S3 Tablesへのリアルタイム配信をサポートしました

Amazon Data Firehose が Amazon S3 Tables へのリアルタイムストリーミング配信に対応しました

これにより、Iceberg形式のS3 Tablesに対しても、Firehoseを通じた変換・整形済みのデータをリアルタイムで書き込むことができ、データレイクの即時活用が可能になります


詳細は AWS公式ブログ を参照ください

本章の執筆者： 海藤 公紀（Data Engineer）

Looker Studioのニュースまとめ

新しいグラフが一般提供開始されました

新しいグラフには、新しいグラフスタイル、新しい既定のテーマカラー、新しいグラフ構成オプション、新しい軸カスタマイズオプション、新しいグラフ設定が用意されており、レポート作成者はデータのキュレーション方法とユーザーへの表示方法をより細かく制御できます。

この機能は現在一般提供されており、すべての新しいLooker Studioレポートのデフォルトとなっています。最新のグラフを使用するには、既存のレポートをアップグレードする必要があります。クラシックレポートテーマは、テーマパネルで引き続き利用できます。

詳細は公式ドキュメントを参照ください。

クエリ結果変数が利用可能になりました

クエリ結果変数を使用すると、データをテキスト要素に直接挿入できます。テーブルからセルを「クエリ結果」として選択し、テキスト要素に挿入すると、Looker Studioによって結果が最新の状態に保たれます。詳細は公式ドキュメントを参照ください。

スケジュールされたメールの送信に制限が追加されました

Looker Studioでは、ユーザーが1日に送信できるスケジュールされたメールの受信者数と、1ヶ月に送信できるスケジュールされたメールの受信者数に制限が設けられました。詳細については、スケジュールされたメール配信の割り当てをご覧ください。

また、以下の機能はLooker Studio Proレポートでのみ利用できるようになりました。

  • 今すぐ送信：「今すぐ送信」オプションを使用してレポートをすぐにメールで送信する機能は、Proレポートでのみ使用できます。
  • カスタム件名とメッセージ：メールの件名とメッセージをカスタマイズするオプションは、Proレポートでのみ使用できます。既存のスケジュール内のカスタム メッセージは保持されますが、編集できなくなります。
  • プレビューの画像：レポートのプレビューは、Proレポートの場合のみメールに追加されます。

なお、Looker Studio Proでも個人用フォルダにあるレポートは個人レポートとみなされ、制限の対象となります。

Lookerベースのレポートのイベントログが改善されました

Lookerデータソースを少なくとも1つ使用するLooker Studioレポートからデータをダウンロードまたはエクスポートすると、レポート内のすべてのグラフのコネクタタイプがLooker Studio監査ログに含まれるようになりました。

Lookerコネクタが機能強化されました

Lookerコネクタの次の機能が一般提供されました。

  • Lookerコネクタは、LookerインスタンスIDを使用して、プライベートIP（プライベートサービスアクセス）専用のLooker（Google Cloud コア）インスタンスまたはプライベートIP（プライベートサービス接続）Looker（Google Cloud コア）インスタンスに接続できるようになりました。

また、次の機能がプレビューで利用可能になりました。

  • Lookerコネクタは、一部の計算フィールド関数をサポートするようになりました。

YouTubeコネクタで視聴回数の計算方法が変更になりました

2025年3月31日、YouTubeは視聴回数の計算方法を変更しました。 この変更の詳細については、公式ドキュメントをご覧ください。

新たなパートナーコネクタが追加されました

以下のパートナーコネクタがLooker Studioコネクタギャラリーに追加されました。

  • Google AdSense by Kentaro Shiomi　
  • PostgreSQL by Windsor.ai
  • Redshift by Windsor.ai
  • MongoDB by Windsor.ai
  • Snowflake by Windsor.ai
  • 快客-META串接 by 黑客數位
  • Drip by Jivrus Technologies
  • Really Simple Systems by Jivrus Technologies
  • Survey Sparrow by Windsor.ai
  • TikTok Insights by Porter Metrics
  • Walmart US by Windsor.ai
  • Threads Insights by Supermetrics
  • Active Campaign by Power My Analytics
  • Odoo CRM AppiWorks by Jivrus Technologies
  • Reddit Ads by Dataslayer
  • Odoo Accounting AppiWorks by Jivrus Technologies
  • Spotify Advertising by Power My Analytics
  • Instagram Insights by Data Bloo
  • Niteco Performance Insights by Niteco Group
  • Yahoo! Japan Display by Catchr
  • Line Ads by Catchr Sources
  • Yahoo! Japan Search Ads by Catchr
  • Oracle AppiWorks by Jivrus Technologies
  • Trackingplan by Trackingplan
  • Facebook Ads by Master Metrics
  • YouTube Analytics by everythingData
  • YouTube Analytics by Two Minute Reports
  • X Ads by Two Minute Reports
  • Google Ads by everythingData
  • Hubspot by everythingData
  • IOT Dashzoom by Dashzoom
  • ad:personam Analytics by ad:personam GmbH
  • 快客-Thread 社群洞察 by 黑客數位
  • Datastore AppiWorks by Jivrus Technologies
  • Google PageSpeed by Catchr
  • Yelp Review by Catchr
  • Xero by Windsor.ai
  • Google Trends by Catchr
  • Appstore Review by Catchr
  • Branch by Catchr
  • Airbnb Review by Catchr
  • Booking Review by Catchr
  • Facebook Review by Catchr
  • Glassdoor Review by Catchr
  • Capterra Review by Catchr
  • g2 Review by Catchr
  • Indeed Review by Catchr
  • Tripadvisor Review by Catchr
  • Google Play Review by Catchr
  • Trustpilot Review by Catchr
  • DynamoDB AppiWorks by Jivrus Technologies
  • 快客-Instagram 社群洞察 by 黑客數位
  • Capterra PPC by everythingData
  • ProfitWell by Catchr
  • Zoho CRM by Catchr
  • ChartMogul by Catchr
  • HubSpot by Dataslayer
  • SEMSTORM Reports by SEMSTORM
  • Pango by Pango Solutions AB
  • AppsFlyer by Dataslayer
  • Vista Social by Vista Social
  • Linkedin Pages -Free by Data Bloo
  • WooCommerce – Free by Data Bloo

本章の執筆者：鈴木大介（Product Marketing Manager）

Looker Studio Proのニュースまとめ

Lookerコネクタが機能強化されました

Looker Studio Proユーザーに、Lookerコネクタを使用して構築されたLooker Studioレポートに対して以下のタスクを実行するための権限が付与されました。

  • レポート配信のスケジュール設定
  • アラートの作成
  • グラフとレポートデータのダウンロードとエクスポート

Looker Gemini の権限が強制されるようになりました

Looker Geminiロールでのみ使用可能な ”gemini_in_looker”のLooker権限が、Lookerで適用されるようになりました。この権限は、会話型分析を使用するために必要です。

本章の執筆者：鈴木大介（Product Marketing Manager）

dbtのニュースまとめ

read-only licensesがDeploy情報も閲覧可能になりました

閲覧ユーザーであってもDepoyエリアの情報の閲覧が可能になったことで、透明性の向上やライセンスコストの最適化が向上します。

runやbuildコマンドにおいてsampleフラグの付与が可能になりました

refやsourceを解決する際に、time base filteringを使用したサンプリングを内部的に行います。これによりビルド時間の短縮やDWHコストの抑制をしながらアウトプットデータを検証することができます。

dbt Copilotをdbt Cloud IDEで使用可能になりました

Enterpriseプランにおいてのみ使用可能です。

dbt Cloud release tracksが利用可能になりました

プランに応じて、dbtからのリリースをどの程度素早く各環境に反映するかをLatestやCompatible、Expendedの３種類から選択可能です。

  • Latest: dbt Cloudの最新機能を継続的に提供します
  • Compatible: 最新のdbt Coreに合わせた月次リリースを提供します
  • Extend: 前月の「Compatible」リリースです

dbt Semantic LayerがPowerBIをpartner integrationとしてサポートしました

ベータ版での提供となり、利用するためには担当のアカウントマネージャーに連絡が必要です。

詳しい内容については公式ドキュメントを参照ください。

本章の執筆者：河野浩明（Data Engineer）

Tableauのニュースまとめ

Tableau 2025.1がリリースされました。

Tableau Desktop – Tableau Agentが利用可能になりました

Tableau AgentはTableau+プランで使用可能な、対話型のAIエージェントです。ビジュアル作成やインサイト発見を支援します。

ビジュアル作成に関しては、これまでTableau CloudのWeb作成環境のみ対応でしたが、Desktopでも利用可能になりました。

詳しい内容については公式ドキュメントを参照ください。

Tableau Desktop – カスタムテーマが利用可能になりました

書式設定に関して、JSON形式のテーマとしてインポートおよびエクスポートができるようになりました。

既存のダッシュボードと統一した書式設定を適用したい場合などに使用できそうです。

詳しい内容については公式ドキュメントを参照ください。

Tableau Desktop – シート上でのデータモデル表示が可能になりました

これまで「データソース」タブで確認していたデータモデルが、「シート」上でも遷移せずに表示可能になりました。

作業中のデータ確認がよりスムーズになります。

詳しい内容については公式ドキュメントを参照ください。

Tableau Desktop – データソースの論理テーブルフィルターが追加されました

従来のデータソースフィルタは、指定項目を含むテーブルおよび関連テーブル全体が対象でした。

今回、「範囲」オプションが追加され、1つの物理テーブルにのみ適用できるようになりました。

詳しい内容については公式ドキュメント（データソースフィルタの項目）を参照ください。

Tableau Cloud – プロジェクトツリー表示、およびゴミ箱機能が追加されました

「探索」内でプロジェクトツリー表示が可能になりました。

また、ごみ箱機能が追加され、削除したプロジェクトやワークブック、データソースを1日・7日・30日いずれかの保持期間内で復元可能になりました。

詳しい内容については公式ドキュメントを参照ください。

Tableau Cloud – Tableau Cloud Managerの認証にSAMLとOIDCが追加されました

Tableau Cloud Manager（TCM）はサイト横断でユーザーのアクセス管理が可能な、サイト管理者向け機能です。

新たにSAMLとOIDCの認証プロトコルに対応し、SSOログインが可能になりました。

詳しい内容については公式ドキュメントを参照ください。

VizQL APIの提供が開始されました

Tableau CloudにパブリッシュされたデータソースにアクセスするAPIが公開されました。

これにより、データのフィルタ・集計・変換をスクリプト化でき、結果は複数フォーマットで返却可能です。

Tableauによるビジュアライゼーションだけではなく、AIアプリケーションへの統合やデータ自体の配信、カスタムソリューションへの組み込みなど多様な用途に使用したい場合に選択肢になります。

詳しい内容については公式ブログおよびAPIリファレンスを参照ください。

本章の執筆者：片貝桃子（Data Analyst）

Databricksのニュースまとめ

Hiveメタストアフェデレーションが一般提供開始されました

Hiveメタストアフェデレーションにより、Unity Catalogを使用してHiveメタストアに登録されたデータへのアクセスとガバナンスが可能になりました。これには、外部管理のHiveメタストア、AWS Glue、およびレガシーな内部DatabricksのHiveメタストアが含まれます。

ServiceNowコネクタがパブリックプレビューになりました

Databricks Lakeflow Connectを使用してServiceNowからデータを取り込むことが可能になりました。

Databricks JDBC Driver（OSS）が一般提供開始されました

Databricks JDBC Driver（OSS）が一般提供開始され、まもなくオープンソース化される予定です。

詳しい内容については公式ドキュメントを参照ください

Genie Conversation APIがパブリックプレビューになりました

Genie Conversations APIがパブリックプレビューになりました。Databricks REST APIを使用して、質問の送信、生成されたSQLとクエリ結果の取得、Genieスペースに関連する詳細の取得が可能です。

詳しい内容については公式ドキュメントを参照ください

Mosaic AIエージェントフレームワークおよびAIエージェント評価が一般提供開始されました

Mosaic AIエージェントフレームワークが一般提供開始されました。本フレームワークを使用して、高品質な本番環境グレードのエージェントの構築とデプロイが可能です。エージェント評価は、AIアプリケーションの品質、コスト、レイテンシーを評価するツールを提供し、正確で安全、かつ管理されたアウトプットの開発を支援します。

詳しい内容については公式ドキュメントを参照ください

エージェントフレームワークのモニタリングがベータ版として提供開始されました

Mosaic AIエージェントフレームワークを使用してデプロイされたエージェントのモニタリングが可能になりました。

AI Builder: 情報抽出機能がベータ版として提供開始されました

AI Builderは、ドメイン固有の高品質なAIエージェントシステムを構築・最適化するためのノーコードアプローチを提供します。ベータ版では、大量の非ラベルテキストドキュメントを構造化テーブルに変換する情報抽出機能をサポートしています。

詳しい内容については公式ドキュメントを参照ください

本章の執筆者：西山徹（Senior Product Manager）

TROCCOのニュースまとめ

コネクタ新規リリース: 転送元コネクタが追加されました

以下の転送元コネクタが追加されました。

詳しくは、ヘルプドキュメントをご参照ください。

  • Chatwork
  • Notion
  • Zoho Inventory
  • マネーフォワード クラウド会計Plus
  • freee請求書
  • Zoho Desk
  • LINE WORKS
  • ジョブカン経費精算/ワークフロー
  • バクラク

コネクタ改善: 転送先Amazon S3にてマルチパートアップロードに対応しました

Amazon S3のマルチパートアップロードに対応しました。

これにより、5GB以上のファイルであっても、TROCCOを介してAmazon S3に転送できるようになりました。

詳しくは、転送先 – Amazon S3を参照ください。

dbt連携: dbtバージョン1.9に対応しました

dbt Core v1.9を指定できるようになりました。

ワークフロー定義: ワークフロージョブ詳細画面でステータスによるタスクジョブの絞り込みに対応しました

ワークフロージョブ詳細画面にて、タスクジョブのステータスによって、実行ログ一覧に表示されるタスクを絞り込めるようになりました。

UI・UX: 各種コネクタの転送設定・接続情報で接続確認できるようになりました

以下の転送設定・接続情報で、接続確認できるようになりました。

これにより、設定の作成・編集段階で、サービスに正しく接続できているかを確認できます。

  • 転送設定
    • 転送元 – Salesforce
      • クエリ (SOQL) を記述して転送のときのみ対応
    • 転送元 – Google Spreadsheets
  • 接続情報
    • Salesforce
    • Google Drive

TROCCO API: 転送設定API・接続情報APIの対応コネクターが拡充されました

TROCCO APIの操作対象コネクタとして、以下のコネクタが追加されました。

  • 転送設定API
    • 転送元
      • Google Analytics 4
      • Amazon S3
      • PostgreSQL
  • 接続情報API
    • kintone
    • Google Analytics 4

Terraform Provider for TROCCO: 転送設定・接続情報の対応リソースが拡充されました

Terraform Provider for TROCCOが新たに以下のリソースに対応しました。

  • 転送設定（trocco_job_definition）
    • 転送元
      • Google Analytics 4
      • Amazon S3
      • PostgreSQL
      • Google Spreadsheets
      • Google BigQuery
    • 転送先
      • Google Spreadsheets
  • 接続情報（trocco_connection）
    • kintone
    • Google Analytics 4

コネクタAPIアップデート: 転送元Yahoo!検索広告・転送元Yahoo!ディスプレイ広告（運用型）のAPIバージョンをアップデートしました

転送時に使用するYahoo!広告 APIのバージョンを、v13からv15へアップデートしました。

新バージョンについて、それぞれ以下のドキュメントを参照ください。

本章の執筆者：大内圭（Senior Product Manager）

Data Engineering Newsは毎月更新でお届けいたします。

記事公開の新着メール通知をご希望の方はこちらのフォームよりご登録ください。