AWS、DuckDBをAurora PostgreSQLに統合。ETL不要で直接データレイクを読み取り可能にしたと発表

Amazon Web Services（AWS）は、Amazon Aurora PostgreSQLにDuckDBを統合し、Apache Icebergなどで構築したデータレイクのデータを直接読み取って処理できるようになったことを発表しました。

これまでPostgreSQLにデータレイクのデータを読み込ませるにはETLによる変換処理などが必要でしたが、DuckDBとの統合によりETLが不要となりました。

この発表について、AWSの前CEOで現在Amazon.com CEOであるAndy Jassy氏が長文のコメントをX/Twitterに投稿しており、彼自身が非常にエキサイトしていることが伝わってきます。

A painful part of working with your data has always been that your live data and historical data are stuck in separate systems: the order a customer just placed lives in your database, while their last five years of orders sit in a data lake in S3. And answering a real question usually needs both at once (is this a normal purchase for them, or should we flag it?), and to do that you had to move the data together first, copying history out of the data lake into your database (or the other way around), because the database couldn’t read it where it lived. That meant guessing ahead of time which data you’d want, keeping a second copy of it all, building pipelines to move it, and constantly syncing so the two didn’t drift apart. A lot of plumbing, and slow going, all before you could answer one question. And even then, the answers were only as fresh as your last sync. That now changes with Aurora PostgreSQL, which can call your live data and historical data in S3 together, in a single query. No copying, no pipelines to keep in sync. And it’s fast, because we’ve built in DuckDB, a popular open source engine that’s really good at reading and analyzing data right where it’s stored. DuckDB reads the open formats like Parquet and Iceberg already sitting in your data lake, so there’s nothing to convert or move. As folks build AI agents into their apps, the data their agent needs will depend on the task in front of it. Being able to query that specific data live, instead of copying it over just in case, is gonna be a big help for builders. https://t.co/R8h2Hcp1K7

— Andy Jassy (@ajassy) October 1, 2026

DuckDBは小型で高速なOLAPエンジン

Amazon Aurora PostgreSQLに統合されたDuckDBは、SQLiteのようにアプリケーションに組み込んで利用することができる小型で高速なOLAP処理を実現するデータベースソフトウェアです。

並列実行が可能なカラム型エンジンを搭載しており、独自のデータベースファイルに加えて、CSV、Parquet、JSON形式のデータの読み書きも可能です。

特にParquet形式のデータは大規模データを扱うデータレイクでよく使われています。Amazon S3のようなスケーラブルなデータストア上にParquet形式で大規模データを保存することがデータレイクの代表的な実装例の1つです。

今回、Amazon Aurora PostgreSQLでこのデータレイク形式のデータを直接読み込んで分析などの処理が行えるようになることで、これまでETLで生じていたデータのコピーや変換、それにかかる手間や時間などが不要となります。

これによりAWS上でのデータレイクの構築とデータ分析が一層便利になると言えるでしょう。

DuckDBはAWS傘下になったばかり

DuckDBの開発元であるDuckLabsは、今年9月にAWSの子会社となっています。

参考：DuckDBの開発元であるDuckLabsがAWS子会社になると発表。DuckDBはオープンソースのMITライセンスを維持

今回のAmazon Aurora PostgreSQLの新機能は、この子会社化の効果が早速発揮されたことになります。