本記事では、データウェアハウス（DWH）、ETLプロセス、BIツールなどのアップデート情報や最新トレンドを毎月わかりやすくお届けします。

主要なニュースをピックアップしているので、サクッと最新情報をキャッチアップしたい方は、ぜひご覧ください。

Data Engineering Newsの公開時にメール通知をご希望の方は、こちらのフォームよりご登録ください。

今月のData Engineering Newsの共同著者は以下のメンバーです。
片貝 桃子、伊藤 雄、西山 徹、若松 拓夢、河野 浩明、中山 愛弓、今川 航

Google BigQueryのニュースまとめ

BigQueryリソース利用率グラフが一般提供開始されました

BigQueryのリソース利用状況チャートが利用可能になりました。

INFORMATION_SCHEMA.JOBS/JOBS_TIMELINE/RESERVATION_CHANGESがベースとなっています。
標準ダッシュボードとして提供されることにより、手軽にリソースの消費状況を監視することができるようになります。 

詳細は公式ドキュメントを参照ください。

GoogleSQLで、WITH式による一時変数作成が一般提供開始されました

WITHを使用して一時変数を作成する構文が利用可能になりました。
クエリサンプルは公式ドキュメントを参照ください。

GoogleSQLで、Chained function callsが一般提供開始されました

深くネストされた関数呼び出しを、.でつなぐことで呼び出せる構文が利用可能になりました。
可読性の向上が期待できます。

クエリサンプルは公式ドキュメントを参照ください。

BigQueryコンソールに「リファレンス」パネルが一般提供開始されました

クエリエディタおよびノートブックエディタにおいて使用でき、参照元テーブルのスキーマ情報を確認することが可能です。

その他アップデート

クエリ結果のCloud Storageへの保存が一般提供開始されました

BigQueryのクエリ結果をCloud Storageに保存できるようになりました。

ST_REGIONSTATS地理関数が一般提供開始されました

Earth EngineのラスターデータとBigQueryに保存されているベクターデータを組み合わせるST_REGIONSTATS地理関数が一般提供されました。
これにより、ラスターデータを用いたグローバル温度分析などの高度な地理空間分析が可能になります。

BigQueryデータ準備がSQLX形式とパイプクエリ構文で表現されるようになりました

BigQueryのデータ準備は、コンソール上でデータを確認しながら、GUI操作でデータクレンジングなどのデータ準備を行うことができる機能です。Geminiによる提案とSQL自動生成の支援を受けることができます。

このデータ準備で作成した処理が、SQLX形式とパイプクエリ構文で表現されるようになりました。
コードで表現されることで、Git管理や、コードレビュープロセスへの組み込みが可能になります。

BigQueryデータ準備において、Geminiによるデータ重複排除機能がプレビューになりました

Geminiによる提案に、データの重複排除が追加されました。

BigQueryデータ準備において、Geminiによるデータ集計機能がプレビューになりました

Geminiによる提案に、データの集計が追加されました。

本章の執筆者：片貝 桃子（Data Analyst）

Snowflakeのニュースまとめ

Snowflake Intelligenceがプレビュー開始されました

自然言語でデータと対話できるエージェント型AIレイヤー。構造化・非構造化データを横断クエリし、非技術者でも複雑な分析が可能になりました。
詳しい内容は公式ドキュメントを参照ください。
この機能は前回6月の記事にて間もなくパブリックプレビュー予定として紹介していたものです。

AI_TRANSCRIBEがプレビュー開始されました

SQLで音声ファイルを直接文字起こしできるようになりました。
日本語含む多言語対応、MP3/WAV/FLAC形式サポート。コールセンター分析や議事録自動化に活用できます。
詳しい内容はリリースノートおよび公式ドキュメントを参照ください。
Cortex AISQLのより広範な機能は前回6月の記事にてパブリックプレビューとして導入されました。

Dynamic Tables UNIONサポートが一般提供開始されました

複数データストリームを効率統合し、コスト削減とデータ鮮度向上を実現します。不変性制約とバックフィル機能も追加されました。
詳しい内容はリリースノートを参照ください。

その他のアップデート

ML Jobsが一般提供開始されました

snowflake.ml.jobsライブラリでMLワークロード実行を簡素化。コンテナ管理なしでML開発から本番投入まで加速できます。
詳しい内容は公式ドキュメントを参照ください。
この機能は前回4月の記事にてプレビューとして紹介していました。

Snowpark Container ServicesがGoogle Cloudで一般提供開始されました

AWS、Azure、GCP主要3大クラウド全てで利用可能となり、真のマルチクラウド対応を実現しました。
詳しい内容はリリースノートを参照ください。

セキュリティ機能

  • Workload Identity Federationが一般提供開始されました
    詳しい内容はリリースノートを参照ください。
  • Write Once, Read Many (WORM)スナップショットが追加されました
    詳しい内容はリリースノートを参照ください。
  • ECDSA鍵サポートが追加されました
    詳しい内容はリリースノートを参照ください。

データ・開発者機能

  • AI_EXTRACT関数がプレビューで追加されました
    詳しい内容はリリースノートを参照ください。
  • セマンティックビュー機能が拡充されました
    詳しい内容はリリースノートを参照ください。
    この機能は前回6月の記事にてプレビューとして紹介していました。

本章の執筆者：伊藤 雄（Software Engineer）

AWSのニュースまとめ

Amazon Athena が Amazon S3 Tables で CREATE TABLE AS SELECT のサポートを開始されました

Amazon Athena が、Amazon S3 Tables で CREATE TABLE AS SELECT (CTAS) ステートメントをサポートするようになりました。CTAS ステートメントを使用すると、新しいテーブルを作成し、そのテーブルに SELECT クエリの結果を使用してデータを入力するのが簡単になります。

Amazon QuickSight が計算済みフィールドの上限を拡大しました

Amazon QuickSight では、分析で許可される計算済みフィールド数の上限が 500 から 2000 に、データセットあたり 200 から 500 に引き上げられました。今回の更新により、作成者とデータキュレーターは、データに対してさらに多くの変換を行い、複雑なインサイトをさらに引き出すことができるようになります。これは特に、非常に大規模なデータセットを扱い、複数のエンドユーザーペルソナに対応する作成者やデータキュレーターに役立ちます。

Amazon QuickSight が Google Sheets への接続をサポートしました

ネイティブ Google スプレッドシートコネクタの一般提供開始を発表しました。お客様は Google アカウントでログインし、スプレッドシートを QuickSight SPICE データセットにインポートすることで、Google スプレッドシートに接続し、分析を行うことができます

本章の執筆者：西山 徹（Senior Product Manager）

Looker Studioのニュースまとめ

どのデータラベル配置オプションでも背景色を設定可能になりました

カラムチャートやバーチャートにおいて、ラベルの配置位置（bar-label-position）の設定にかかわらず、データラベルに背景色を設定できるようになりました。詳細は公式ドキュメントをご確認ください。

クエリ結果チップで条件付き書式ができるようになりました

クエリ結果チップに対して条件付き書式を適用し、背景色や文字色を変更できるようになりました。

パートナーコネクションのアップデートがされました

Looker Studio のコネクタギャラリーに、以下の新しいパートナーコネクタが追加されました。

  • 快客-Thread 社群洞察（黑客數位 提供）
  • Beeswax（Supermetrics 提供)
  • PrestaShop（Supermetrics 提供）
  • Moloco DSP（Supermetrics 提供）
  • Google Merchant Center（Power My Analytics 提供）
  • Shopee Commerce（Supermetrics 提供）
  • Ad & Analytics Datastore（ReportDash 提供）
  • WooCommerce AppiWorks（Jivrus Technologies 提供）
  • 快客-Threads 社群洞察（黑客數位 提供）
  • 快客-META 社群串接（黑客數位 提供）
  • 快客-GSC 串接（黑客數位 提供）
  • 快客-LINE Lap 串接（黑客數位 提供）
  • Odoo Expense AppiWorks（Jivrus Technologies 提供）
  • Facebook Ads（AlkhwarizmiMetrics 提供）
  • Salesforce（Power My Analytics 提供）
  • Google マイビジネス（Master Metric 提供）
  • Shopify（Master Metrics 提供）
  • Tienda Nube（Master Metrics 提供）
  • Google Merchant Center（Dataslayer 提供）
  • Google キーワードプランナー（Dataslayer 提供）
  • Mangools SERPWatcher（Mangools.com 提供）
  • Pipedrive（Master Metrics 提供）
  • Facebook Ads（Middly 提供）
  • Google Merchant Center（Windsor.ai 提供）
  • FB Page Data with AI（Picometrics 提供）
  • LinkedIn Ads with AI（Picometrics 提供）
  • 快客-GA4 串接（黑客數位 提供）
  • seoClarity Keyword Tags（seoClarity 提供）
  • GA4 with AI insights（Picometrics 提供）
  • Tracktest Company Results（Tracktest s.r.o. 提供）
  • 快客-GAds 串接（黑客數位 提供）
  • Salesforce（Adzvisers 提供）
  • Azure Table（Windsor.ai 提供）
  • 快客-META 串接（黑客數位 提供）
  • Instagram Business Insights（AlkhwarizmiMetrics 提供）
  • Deputy（smblytics LLC 提供）
  • Onfleet（mblytics LLC 提供）
  • Yoom（Yoom Inc. 提供）
  • Shopify – Cratos.ai（Cratos.ai 提供）
  • Snapchat Ads – Cratos.ai（Cratos.ai 提供）
  • Linkedin Ads – Cratos.ai（Cratos.ai 提供）
  • Google マイビジネス – Free（Data Bloo 提供）
  • STAT Rankings: Site（Moz, Inc. 提供）
  • STAT Ranking Distrib: Site（Moz, Inc. 提供）
  • STAT SoV: Site（Moz, Inc. 提供）
  • STAT Rankings: Tag（Moz, Inc. 提供）
  • STAT Ranking Distrib: Tag（Moz, Inc. 提供）
  • STAT SoV: Tag（Moz, Inc. 提供）
  • Zid Stores（AlkhwarizmiMetrics 提供）
  • TikTok Ads – Cratos.ai（Cratos.ai 提供）
  • Plausible Analytics（Plausible Analytics 提供）
  • Salla Stores（AlkhwarizmiMetrics 提供）
  • LinkedIn Ads（AlkhwarizmiMetrics 提供）
  • TikTok GMV（Catchr 提供）
  • Xandr（Catchr 提供）
  • Google DV360（Catchr 提供）
  • Facebook Page Insights（AlkhwarizmiMetrics 提供）
  • Kommo（Master Metrics 提供）

その他のアップデート

計算フィールド関数でLookerコネクタが一般提供開始されました

選択された計算フィールド関数に対する Looker コネクタのサポートが、一般提供（GA）となりました。

ウォーターフォールチャートのデータラベル改善されました

レポート作成者は、ウォーターフォールチャートのデータラベルにおいて、ラベルの表示位置やテキストコントラストのレベルを指定できるようになりました。詳細は公式ドキュメントをご確認ください。

Search Ads 360 コネクタで、カスタム列およびカスタムディメンションがサポートされました

保存済みの Search Ads 360 のカスタム列やカスタムディメンションを Looker Studio レポートに追加し、テーブルやチャートの他のフィールドと結合して利用できます。

Looker コネクタが LookML の value_format プロパティに対応しました

Looker コネクタを使用する際、LookML の value_format プロパティで指定した値のフォーマットが、Looker Studio のレポート上でも反映されるようになりました。これまで通り、Looker Studio 側で値のフォーマットを確認・編集することも可能です。

テーブルチャートを最大10項目で並べ替え可能になりました

レポート作成者は、テーブルチャートにおいて最大10項目まで並べ替え条件を設定できるようになりました。並べ替え対象には、チャートに選択されていないフィールドも指定できます。詳しくは公式ドキュメントをご覧ください。

本章の執筆者：若松 拓夢（Data Analyst）

dbtのニュースまとめ

dbt build中に発生したsaved Queryのexportできない不具合が解消されました

元々Semantci layerで定義したディメンション・メトリクス・フィルタの組み合わせを再利用できるように配布するためにsaved queryのマテリアライズ(テーブル/ビュー化)が行われていました。

バグが解消したことで、元々のユースケースである「Semantic Layer非対応の下流ツールへの標準化データの提供」が担保できるようになりました。

dbt Semantic Layerの認証方式でPATがサポートされました

以前はdbtプロジェクトに設定したデータ基盤の資格情報に、管理者がマッピングするよう発行した共通のサービスアカウントトークンが使用されており、実質全員が同じ権限でSemantic Layerのクエリを実行していましたが、PATごとに異なるスコープを設定することでよりきめ細かなSemantic Layerへのアクセス制御が可能になります。

詳細は公式ドキュメントを参照ください。

本章の執筆者：河野 浩明（Data Engineer）

Tableauのニュースまとめ

Tableau Cloud – カスタムドメイン機能が利用可能になりました

Tableau CloudサイトのURLを、デフォルトの online.tableau.com から自社独自のドメイン名（例: analytics.yourcompany.com）に変更できる「カスタムドメイン」機能が利用可能になりました。

この機能により、Tableau Cloudサイトが自社のブランドに統一され、利用者にとってより信頼性が高く、覚えやすいURLを提供できます。ユーザーエクスペリエンスの向上と、プロフェッショナルな分析環境の提供に繋がります。

詳細は公式ドキュメントを参照ください。

本章の執筆者：中山 愛弓（Data Analyst）

Databricksのニュースまとめ

Databricks AssistantのEditモードで複数セルにまたがった編集ができるようになりました。

Databricks AssistantにEditモードが追加され、ノートブック内の複数セルにまたがって推論と編集が実行できるようになりました。
Editモードによって、複数ステップの処理を効率的に処理できるようになります。

OpenAI GPT OSSモデルがMosaic AI Model Servingで利用可能になりました

OpenAIのGPT OSS 120BおよびGPT OSS 20Bが、Databricksホスト型基盤モデルとしてMosaic AI Model Servingで利用可能になりました。
これらのモデルはAI関数用に最適化されており、ai_query()のようなAI関数を使ってバッチ推論を実施することも可能です。

Unity Catalogへのアクセスリクエストがパブリックプレビューになりました

セキュリティで保護されたオブジェクトにアクセス要求先を設定することで、Unity Catalogでセルフサービスのアクセス要求を有効にできるようになりました。これによりユーザは発見したUnity Catalogオブジェクトへのアクセスをリクエストできるようになります。

テーブルの置き換え時にカラムマスクが保持されるようになりました

新しいテーブルの列が元のテーブルの列名と一致する場合、マスクが指定されていなくても既存の列マスクが保持されるようになりました。この変更により、テーブルの置換時に列レベルのセキュリティ・ポリシーが誤って削除されることがなくなりました。

Databricks Assistantの応答をカスタマイズできるようになりました

カスタムのユーザ指示を追加することで、Databricks Assistantの応答方法をカスタマイズできるようになりました。
ユーザごとの指示のほかに管理者はワークスペース全体での指示を追加することもでき、これはユーザの指示よりも優先されます。

Lakeflow Declarative Pipelinesの実行ユーザを設定できるようになりました

パイプラインが更新の実行に使用するIDやパイプラインがパブリッシュするテーブルの所有者を変更できるようになりました。この機能によりサービスプリンシパルを実行時のIDに設定できるようになり、自動ワークロードにユーザアカウントを使用するよりも安全で信頼性が高くなります。

Lakeflow Declarative Pipelinesで自動リキッドクラスタリングが可能になりました

Lakeflow Declarative Pipelines で自動リキッドクラスタリングを使用できるようになりました。CLUSTER BY AUTO で自動リキッドクラスタリングを使用すると、Databricks がインテリジェントにクラスタリングキーを選択してクエリパフォーマンスを最適化します。

INSERT REPLACE USING と INSERT REPLACE ONが一般提供開始されました

どちらもテーブルの一部をクエリの結果に置き換えるコマンドで、INSERT REPLACE USINGは、USING列が等しい場合に行を置き換え、INSERT REPLACE ONは、ユーザ定義の条件に一致した行を置き換えます。

外部MCPサーバがベータ版として利用できるようになりました

Databricksを外部のMCPサーバに接続できるようになりました。これにより、Databricksで作成したエージェントがDatabricksの外部のツールにアクセスできるようになります。

本章の執筆者：今川 航（Data Analyst / Analytics Engineer）

TROCCOのニュースまとめ 

CDC: 転送先としてBigQueryが利用可能になりました

CDCデータ転送の転送先として、これまではAmazon S3 Icebergのみ対応していました。
今回、対応する転送先にBigQueryを追加しました。
詳しくは、CDCデータ転送 – 転送先 – Google BigQueryを参照ください。

コネクタ新規リリース: 転送元コネクタが追加されました

以下の転送元コネクタが追加されました。

  • yamory
  • Sendgrid
  • Zoho People
  • チャネルトーク

コネクタ改善: 転送元SAP S/4HANA ODataで差分転送ができるようになりました

転送元SAP S/4HANA ODataで差分転送をサポートし、前回転送時からの増分データのみ転送できるようになりました。

コネクタ改善: 転送元LOGILESSで注文日時や更新日時で受注伝票一覧の取得範囲を指定できるようになりました

転送元LOGILESSで取得対象に「受注伝票一覧」を選択した際に、注文日時や更新日時を指定して取得範囲を絞り込めるようになりました。

コネクタ改善: 転送元Shopifyでmetafieldsをターゲットとした場合のフィルター条件を追加しました

転送元Shopifyでmetafieldsをターゲットとした場合に、以下の条件でフィルターできるようになりました。

  • ネームスペース
  • キー

詳しくは、転送元 – Shopifyを参照ください。

コネクタ改善: 転送元TROCCOがワークフロータスクジョブのデータ転送に対応しました

転送元TROCCOでワークフロータスクジョブのデータを転送できるようになりました。

コネクタ改善: 転送元TROCCOで実行ログを出力できるように

以下の転送対象で、実行ログを出力するオプションを追加しました。

  • 転送設定
  • データマート定義
  • ワークフロータスクジョブ

コネクタ改善: 転送元Backlogで「最近の更新」を取得できるようになりました

転送元Backlogで、取得対象に「最近の更新」を選択できるようになりました。

コネクタ改善: 転送先Snowflakeで転送に対応したデータ型が拡充しました

転送先Snowflakeでは、転送設定STEP2の出力オプションにて、各カラムのデータ型をユーザー自身で指定できます。

今回、以下のデータ型を新たに指定できるようになりました。

  • DATE
  • DATETIME
  • TIME
  • TIMESTAMP
  • TIMESTAMP_LTZ
  • TIMESTAMP_NTZ
  • TIMESTAMP_TZ

コネクタ改善: 転送先Google BigQueryで転送先のプロジェクトを指定できるようになりました

これまで、転送先Google BigQueryの転送先プロジェクトは、接続情報で設定したプロジェクトで固定となっていました。
今回のリリースにより、接続情報で設定したアカウントで扱える任意のプロジェクトを指定できるようになりました。

コネクタ改善: 転送元TikTok Adsでapp_installを取得できるようになりました

転送元TikTok Adsがapp_installメトリクスの取得に対応しました。
詳しくは、Docs | TikTok API for Businessを参照ください。

コネクタ改善: 転送設定の一括削除時に選択した転送設定の件数が表示されるようになりました

一括操作で転送設定を一括削除する際、削除対象の転送設定の件数が表示されるようになりました。

Connector Builder:カスタムコネクタと転送設定の連携を改善しました

カスタムコネクタと転送設定の連携を以下のように改善し、運用しやすくしました。

  • カスタムコネクタの設定を変更すると、カスタムコネクタに紐づく転送設定のリビジョンが新たに作成されるようになりました
  • カスタムコネクタ側でヘッダーやパラメータを追加・編集すると、転送設定にも自動で反映されるようになりました

Connector Builder:エンドポイントのパスにパスパラメータを使用できるようになりました

これまで、カスタムコネクタのエンドポイントのパスは固定値でしたが、パスパラメータを使って動的なパスにも対応しました。
パスに個別のIDを含める必要があるAPIなどでもカスタムコネクタを利用できるようになりました。

Connector Builder:ページネーション設定時の「1リクエストの取得件数」が任意項目になりました

ページベースとオフセットベースのページネーションにおいて、「1リクエストの取得件数」の設定を任意に変更しました。
取得件数が固定されているAPIでも設定が可能になりました。

コネクタAPIアップデート: 転送元Criteo

転送時に使用するCriteo Marketing Solutions APIのバージョンを、2024-10から2025-07へアップデートしました。
新バージョンについては、Criteo Marketing Solutions APIを参照ください。

コネクタAPIアップデート: 転送先Google Ads カスタマーマッチ

転送時に使用するGoogle Ads APIのバージョンを、v18からv20へアップデートしました。
新バージョンについては、Google Ads API v20 Reference – Google for Developersを参照ください。

コネクタAPIアップデート: 転送先Google Ads コンバージョン

転送時に使用するGoogle Ads APIのバージョンを、v18からv20へアップデートしました。
新バージョンについては、Google Ads API v20 Reference – Google for Developersを参照ください。

ワークフロー: 条件分岐タスクが利用可能になりました

タスク結果に応じてワークフローの処理を分岐できる「条件分岐タスク」が利用できるようになりました。
柔軟なワークフローの構築や、ジョブ実行の最適化が可能です。
詳しくは、条件分岐タスクを参照ください。

UI・UX: データマート定義一覧画面で一括操作が可能になりました

データマート定義一覧画面で、ラベルの付与やスケジュール設定、削除を一括操作できるようになりました。

UI・UX: 転送設定とデータマート定義の作成時にラベルの付与が可能になりました

これまで、ラベルは作成済みの転送設定・データマート定義にのみ付与が可能でした。
今回のリリースにより、作成時にラベルが付与できるようになりました。

TROCCO API:転送設定APIの対応コネクターが拡充しました

転送設定APIの操作対象コネクタとして、以下のコネクタが追加されました。

  • 転送先 – Amazon S3

今回追加対象となったAPIエンドポイントは以下のとおりです。

  • 転送設定作成
  • 転送設定詳細取得
  • 転送設定更新
  • 転送設定削除

TROCCO API: ユーザー作成APIでパスワードを自動生成できるようになりました

ユーザー作成時に、パスワードを自動生成するオプションを追加しました。

Terraform Provider for TROCCO: 開発者体験を向上するための改善を実施しました

Terraform provider v0.20がリリースされました。

  • ユーザー作成時にパスワードを自動生成するオプションを追加しました
  • Terraform plan時のバリデーションを強化するなど、開発者体験の向上に資する機能改善を複数実施しています

本章の執筆者：西山 徹（Senior Product Manager）

Data Engineering Newsは毎月更新でお届けいたします。
記事公開の新着メール通知をご希望の方はこちらのフォームよりご登録ください。

primeNumber編集長

primeNumberのブログを担当している編集長