サービス > TROCCO > コネクタ > Amazon S3 Parquet

Amazon S3 Parquet

Amazon S3（Amazon Simple Storage Service）は、Amazon Web Servicesが提供する、業界をリードするスケーラビリティ、データ可用性、およびパフォーマンスを備えたオブジェクトストレージサービスです。あらゆる規模や業種の企業が、データレイク、ウェブサイト、バックアップ、アーカイブなど、幅広いユースケースで任意の量のデータを保存・保護できます。Parquetはカラムナ形式の高速で圧縮効率に優れたデータフォーマットです。S3にParquetファイルを保存することで、大規模データの効率的な保存と分析が可能となり、ビッグデータ処理やクエリの高速化に適しています。

Amazon S3 Parquetコネクタを利用することで、各種データソースから取得したデータをAmazon S3上へApache Parquet（.parquet）形式で効率的に出力できます。TROCCOでは、指定したパスプレフィックス配下に複数ファイルとして自動出力でき、圧縮形式に加えてブロックサイズやページサイズ、最大パディングサイズも設定可能です。これにより、データレイクや外部テーブル連携を前提とした分析基盤への受け渡しを効率化し、後続のAthena・Spark・各種DWHでの活用をスムーズに進められます。