エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに はじめまして、4月からatama plusにデータエンジニアとしてジョインしたTackungです。 弊社で... はじめに はじめまして、4月からatama plusにデータエンジニアとしてジョインしたTackungです。 弊社ではデータ基盤にBigQueryを採用しており、プロダクト側で日々発生するデータをTROCCOやGoogle Cloud Dataform、Composerを使った日次転送でデータを蓄積しています。 今回、コスト削減を目的として一部のデータの転送方式をTROCCOからGoogle Cloud Dataform+Composerを使った方式に移行するプロジェクトに取り組みました。この移行によって、不要インスタンスの削除によるコスト削減ができました。 この取り組みの中で、BigQueryのデータセットのリージョンが異なることが原因で予想外の苦労をすることになりました。本記事では、その時ぶつかった壁と我々が取ったアプローチについてご紹介します。 あまり遭遇することのない状況かもしれま