はじめに S3を使っていると、parquet形式のファイルをしばしば使います(Aurora Snapshotとか)。このデータをTiDBに入れたり、逆にTiDBのデータをS3にエクスポートしたいというニーズはまぁある(個人の感想です)のですが、そのためにETLジョブ組むのも面倒ですよね? DuckDBはまさにそういう作業にうってつけです。DuckDBはparquetファイルの扱いにとても優れており、更にs3を簡単に、個人的にはglueやAthenaより遥かに容易に扱えます。 更に、MySQLにも接続でき、それらの間のデータ移動もできます。 本記事ではDuckDBを使ってS3、TiDBそれぞれに接続してみて、更にTiDBからS3、S3からTiDB間のデータの受け渡しを行います。環境はMacOSです。 DuckDBのインストール いくつか方法はあると思いますが、Homebrewでインストールし