エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに 前回の記事内でDuckDBを使ったデータ変換処理をサンプルコードとして提示しました。 この記事... はじめに 前回の記事内でDuckDBを使ったデータ変換処理をサンプルコードとして提示しました。 この記事に対してXでコメントをいただきました。 parquetへの変換は COPY table_name TO 's3://s3_bucket/filename.parquet'; で対応可能 もともとのコードと上記のCOPY〜形式に変えた場合のparquet file sizeや実行速度、parquet v2 format指定での影響も気になる というわけで今回の記事では上記の点について検証してみたいと思います。 サンプルコード(CSVをメモリ上に展開して変換する場合) こちらはCSVをメモリ上に展開して変換する場合のコードです。 メモリに一度格納することで、例えば、データの前処理(フィルタリングや変換)のような柔軟なデータ処理が可能となります。 import duckdb import bo