エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Airflow2.3で「Dynamic Task Mapping」なる面白い機能が追加されたので、その紹介です。 tl;dr Task数が... Airflow2.3で「Dynamic Task Mapping」なる面白い機能が追加されたので、その紹介です。 tl;dr Task数が実行時に決まる、動的なDAGが欲しい時もあるよ Airflow2.3でDynamic Task Mappingという機能がリリースされたよ。動的に変わるDAGを定義できるよ expand・XComArgの組み合わせで簡単に実装できるよ 背景 DAGを動的に定義したい Task数が実行時に決まる、同じような処理(Task)を複数行いたい場合があります。例えば、以下のようなケースです マルチテナントの基盤で、各クライアント事に処理を行いたい 大まかな流れが同じデータの連携が複数種類ある 広告のAPIからクリック・コンバージョンの情報をそれぞれ取りたいとか 違うハイパーパラメータ・モデルで機械学習の学習・評価したい (このような、ある瞬間と別の時間で構成するT