エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
TL;DR CodeCatalystのblueprintの中から"AWS Glue ETL"をやってみた CSVファイルとParquetファイルの両... TL;DR CodeCatalystのblueprintの中から"AWS Glue ETL"をやってみた CSVファイルとParquetファイルの両方でAthenaのクエリを実行してみた Parquetは列指向だから特定の列の扱い(集計など)に強い 逆に、全情報を取ってくるならCSVの方が早い CodeCatalystのblueprint "AWS Glue ETL" CodeCatalystにはblueprintという便利なサンプルプロジェクトをいくつか提供してくれます Project blueprint reference その中で今回は"AWS Glue ETL"というテーマを体験しました アーキテクチャと使い方の流れは以下の通りです 1. S3バケットにCSVファイルをアップロード 2. Lambdaがキックされ、その中でGlue Jobを実行する 3. Glue JobはCSVフ