エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
仕事でCloud DataFlowを使った際に、ざっくり調べた入門的なまとめ。 データ処理畑の有識者ではないので... 仕事でCloud DataFlowを使った際に、ざっくり調べた入門的なまとめ。 データ処理畑の有識者ではないので、なにか記載に誤りなど あれば学びになるので教えていただけたら :) Cloud DataFlowって? GoogleCloudPlatformが提供するストリーム/バッチ方式でのデータ処理エンジン(Apache Beam)のフルマネージドサービスです。 と書くとなんのこっちゃ?って感じなので 大雑把に要素分解をすると ストリームデータ処理対応(ストリームデータについては後述) 任意のinput(pubsubやmysql,gcs)から得たデータの変換、GCS,BigQueryへのデータ流し込みをコードで書いてdeployするだけで実現できます。 Cloud/PubSubとの連携が容易。(beamSDKの呼び出しを1〜3行書くだけ) Java,PythonのSDKが提供されています