[フレーム]
1 - 40 件 / 47件
本記事はANGEL Dojo 2024参加者によるアドベントカレンダー「ANGEL Calendar」の最終日の記事になっております。 他のみなさんが書かれた記事はこちらからご覧ください! ※(注記)...ANGEL Dojo 2024に関しましてはAWS JAPAN APNブログをご覧ください。 こんにちは、ひるたんぬです。 今日で2024年度上半期が終わりますね。これを書いてふと思ったのですが、なぜ「YYYY年度」は4月始まりなのでしょうか? 1月から始めてくれていれば色々スッキリするのに...と思い、なぜ4月からになったのか調べてみました。 (前略)当初から4月始まりだったわけでなく、明治政府により会計年度が初めて制度化された明治2年(1869)は、10月始まり。続いて、西暦を採用した明治6年からは、1月始まりになりました。つまり、暦年と年度の始まりが同じ時代があったのです。明治8年からは、地租の納
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました!&今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤(@ketancho)です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか?もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
はじめに AWS Step Functionsを利用し、音声ファイルがS3バケットに保存されるたびにAmazon Transcribeで文字起こしを行い、文字起こし内容をメール送信する方法を紹介します。 今回構築する構成は以下の通りです。 処理の流れは以下の通りです。 音声ファイル(WAV)をS3バケットにアップロードする アップロードをトリガーにEventBridgeからStep Functionsステートマシンを起動する 音声ファイルからAmazon Transcribeで文字起こしし、文字起こした内容をAmazon SNSでメール送信する この構成を構築するきっかけは、以前執筆した「Amazon Connectでエージェントの介在がない場合でも電話中の発話を録音する」記事の構成に、録音ファイルに対して文字起こしとメール通知機能を追加する必要が生じたためです。 執筆した記事の構成図は以
ジョブ管理システムをAWS Step Functionsに移行する際に考えるべきこと注意することをまとめてみました。
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Ste...
はじめに ※(注記)本記事は、KNOWLEDGE WORK Blog Sprint 第 18 日目の記事です。 ナレッジワークのソフトウェアエンジニア yamaryoxxxx です。今回は AWS Step Functions のワークフローについて、数年にわたる本番運用で培った実践的なノウハウを共有します。 本記事の対象読者 Step Functions の基本概念を理解している方 CDK または Terraform での IaC 経験がある方 Lambda 関数、ECS タスクの開発経験がある方 中級〜上級レベルの AWS サービス利用経験をお持ちの方 Step Functions の実践運用をしている方 用語の整理 本記事では Step Functions の公式用語に準拠し、以下の用語を使い分けます: ワークフロー: 業務プロセス全体の流れ(汎用的な意味) ステートマシン (StateMa
ソリューションアーキテクト(SA)の金澤 (@ketancho) です。6 月になりましたが、皆さまいかがお過ごしでしょうか ? 私は通勤や退勤のときに 1 駅分歩いて気分をリフレッシュするようにしているのですが、この時期から雨と暑さでしばらくそれができなくなってしまうのが辛い今日この頃です。そして、6 月は祝日がないというハードモード.. はやく夏休みが来てほしいものです。皆さまも健康に気をつけてお過ごしください。 選択 第 1 回 おはよう Bot 編 第 2 回 昔書いた記事の宣伝 Bot 編 第 3 回 リファクタリング & 曜日ごとのツイート 編 第 4 回 新章突入 ! 気になるワード検索 & 通知 Bot 編 第 5 回 皆さまの代わりに英語でツイートしておくよ Bot 編 第 6 回 AWS Step Functions を使って Well-being Bot を作ろう !
こんにちは!LayerXエンジニアの高際 @shun_tak です! この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので(大歓迎です!)、Amazon SQSとGoの machinery を活用して非同期処理しているよ! AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ! では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
AWS News Blog Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation Today AWS Step Functions expands the number of supported AWS services from 17 to over 200 and AWS API Actions from 46 to over 9,000 with its new capability AWS SDK Service Integrations. When developers build distributed architectures, one of the patterns they use is the workflow-based orchestratio
AWS Step Functions でタスクがエラーになったときに統一的なエラーハンドリング(エラー処理・リカバリ処理・通知処理など)が必要になることがある💡エラーハンドリングを実現する構成例をいくつか考えてみた👍 もちろん最終的には要件次第ではあって絶対にコレ❗️という答えはないと思う \( 'ω')/ 案1: タスクごとに Catch する まず最初に思い付くのはタスクごとに Catch する案だと思う.例えば以下のように AWS Lambda 関数(特に意味はなく Yay! という名前にした✌)を順番に3回呼び出す場合にタスクごとに Catch を実装して,エラーハンドリング用の処理 CustomErrorHandler を実行するイメージ👌 案1: ワークフロー例 実行すると期待通りになる❗️タスクごとに異なるエラーハンドリングを実装できて自由度は高いけど,統一的なエラーハ
概要 AWS の Step Functions といえば簡易に順序だった複数タスクを実行するワークフローを実装できるサービスです。 Amazon States Language という JSON ベースの言語によるワークフローの定義と出来上がるワークフローの抽象化された見た目により実装自体は簡単ですが、起動方法やタスク間でのデータ管理、フロー設計等悩むポイントも度々発生するというのが所感です。 特に最初につまずくポイントとしてワークフローを組む際に起動をどのように行うかということがあります。 定期的にワークフローを実行するにはどの様にワークフローを起動するのか、大規模なジョブシステムを組む際にはどの様に複数ワークフローを連携して起動させていくのか、AWS 外のサービスからワークフローを起動するにはどのように起動するのか等、起動方法について考える点はいくつか挙げられます。 そこで、今回は一般
並行処理で実装するのが難しいならStep FunctionsのMapステートを使えばいいじゃない – Amazon SESを使った大量メール送信の実装パターン比較 – 並行処理は難しい AWS SESなどを使用して大量のメールを送信する場合、1通ずつ送信していると時間がかかってしまいます。そういった時に、例えば以下のような並行処理で実装することが考えられます。 import boto3 from concurrent.futures import ThreadPoolExecutor def send_email(email_data): ses_client = boto3.client('ses') try: response = ses_client.send_email( Source=email_data['from'], Destination={ 'ToAddresses':
AWS Step Functionsステートマシン実行中、再試行で回避できない予期しない障害が発生したときは、再試行せず、失敗系フローに遷移する必要があります。 ステートマシンをまたいで障害を管理できるよう、Amazon DynamoDBで障害を管理し、ステートマシンの安定性と回復性を向上する方法を紹介します。 サーキットブレーカーパターンをStep Functionsのステートマシンに組み込んだソリューションとも言えます。 基本的な考え方は次のAWSブログを参考にし、C#の実装をPythonに変更し、DynamoDBのTTLも使わずに実装をシンプルにしています。 Using the circuit breaker pattern with AWS Step Functions and Amazon DynamoDB | AWS Compute Blog 想定するユースケース ステートマシ
AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi
こんにちは。AWS事業本部のKyoです。 Step Functions便利そう。でもなんかちょっとハードル高いな。特にAmazon States Language (ASL)というやつが...。 感じているハードル 感じているハードルをもう少し具体的にしてみましょう。 ASL = 長いJSON を人力で書くのがうーむ... Step Functions以外では使わないASLについて調べて書くのがうーむ... デバッグやりにくそうなのがうーむ... これらはVisual Studio Code (VSCode)とAWS ToolKitを使うと解決できそうです。 上記のエントリでVSCodeとAWS ToolKitを使えば、VSCodeから以下が可能になることが述べられています。 ステートマシン定義 ステートマシン可視化(プレビュー) ステートマシン実行 VSCodeから定義、可視化、実行が可
速報です! 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました! これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました!! 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
本記事はAWS LambdaとServerless Advent Calendar 2021、9日目の記事です。 感想 かつてLambdaに初めて触れたときの感動を、ワークフローでも感じた Step Functionsはいいぞ 背景〜今年あった大きな進化 ・ワークフロースタジオ爆誕 ・AWS SDK統合で200を超えるサービスサポート ワークフロースタジオによって、ベースのJSONがGUIベースで生み出されるようになりました。これによりAmazon States Languageを理解していなくても、ステートマシンを動かすところまで先に行けることになり、ハードルが大幅に低くなっています。 また、何か処理をするときにひたすらLambda、、、ではなく連携サービスが増えたので、DynamoDBの更新などもワークフローベースで行うことができます。単に夢が広がりますし、考えただけでもわくわくします
Step FunctionsからLambda関数を実行したい場合、ASL(Amazon State Languageの略。ステートマシンの実装をこの形式で書く)の書き方が2つあります。この違いを調べました。 方法1: Resourceに関数のARNを直接書く { "StartAt":"CallLambda", "States":{ "CallLambda":{ "Type":"Task", "Resource":"arn:aws:lambda:ap-northeast-1:123456789012:function:MyFunction", "End":true } } } 方法2: Parameters.FunctionNameに関数名を書く。Resourceは arn:aws:states:::lambda:invoke 固定 { "StartAt":"CallLambda", "St
勉強前イメージ 全然イメージつかん・・ そういうサービスがあるってことだけは知ってる 調査 AWS Step Functions とは 分散アプリケーションやマイクロサービスをステートマシンと呼ばれる仕組みで設定や管理の自動化ができます。 AWSコンソール上では各サービスをコンポーネントとしてワークフローという形式で可視化することが出来ます。 また、各種実行履歴などもログから追うことも出来ます。 Step Functionsを使用することで、タスクで構成される複雑なワークフローを簡単に定義できます ステートマシンのイメージ 例えば自販機だと3つのプロセスに分割できます。 入金待ち ユーザが購入に十分な金額を投入するまで待機。 入金され次第、次のプロセスに進む ジュースの選択 ユーザがジュースの選択を行うまで待機。 選択され次第、次のプロセスに進む。 おつり・ジュースの出力 このフローをSt
🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い
クラスメソッドのCDK事情大公開スペシャル#2で『複雑なStep FunctionsをAWS CDKでコード管理するときに気にしたところ』というタイトルで登壇しました #cm_cdk_special https://dev.classmethod.jp/articles/aws-cdk-tips-ma...
こんにちは、muroです。AWS事業本部 サービス開発室でopswitchの開発・運用を担当しています。opswitchは今年の1月にApache Airflowベースのアーキテクチャから、AWS Step Functionsに移行しました。 今回 re:Invent で Amazon MWAA と AWS Step Functions のそれぞれの長所短所を学ぶセッションがあったので、自身の理解度を確認するために受講してきました。 セッションの概要 タイトル Comparing Amazon MWAA and AWS Step Functions 概要 Organizations looking to orchestrate ETL data pipelines on AWS are looking for tools that best meet their requirements.
サービス比較各サービス別に、Good/Challenge に分けて記載しています。 GoodMWAA Pythonで実現できることは基本すべて実装可能で、実装の制約が少ない UI が充実しており、実行履歴、ログ、実行時間等の様々な情報を参照することが可能 UI 上でワークフローの任意の位置からリトライ可能 各種クラウドSDK/OSS API を呼び出しを簡易化するための provider がサードパーティ提供されている Providers packages reference — apache-airflow-providers Documentation provider を pip でインストール後、各 provider に実装されている operator 関数を呼び出すことで実現可能 Step Functions AWS サービスの呼び出しをローコード(パラメータ指定程度)で実現可能
AWS CDKでAWS Step FunctionsのCI/CD環境を作ってみました。向き不向きは置いといて、本気を出せばAWS CDKで大体のことは出来ます。 AWS CDKで何でも作ってみたい こんにちは、のんピ(@non____97)です。 皆さんは何でもAWS CDKでゴリ押しますか? 私は何でもゴリ押します。 今回、AWS Step FunctionsのCI/CD環境を作る機会があったので、AWS CDKの底力を知るべくAWS CDKでチャレンジしてみました。 作成したAWS CDKのリポジトリは以下になります。 こちらの記事は、今までの私のAWS Step FunctionsやCodeCommit関連の記事の総集編のような意味合いが強いです。自身で試したり、中身を知りたい方は以下記事も参照しながらご覧ください。 構成図 上述のリポジトリでAWS CDKを使ってデプロイされるリソ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 皆さんStep Functions使ってますか? 今回はStep Functionsがいかに簡単で可能性があるのか、を伝えるために入門記事を書いてみようと思います。 Step Functionsは基礎部分を理解すればある程度使いこなすことができるので、皆さんぜひ使ってみてください。 作るステートマシンの全体像 今回はサンプルとして複数のバケットを空にするようなステートマシンを作成します。 画面からバケットを空にするのはボタンを押すだけなので簡単ですが、自動化しようと思うとコードを書かないといけないので面倒です。 GUIを使って
AWS Amplify Advent Calendar 2020 10日目の記事です! Amplify CLIを使うとAPI GatewayのREST APIをサクッと作成できます。 ただ、API GatewayのREST APIは、Lambda統合のタイムアウトが最大29秒なので、データのダウンロードとか時間のかかる処理を行うとタイムアウトしてしまうことがあります。そこで、Step Functionsを使ってタイムアウトの問題を解決してみます。 ※(注記)つまり、以下で説明されているようなことを、Amplify CLIでやろうという感じです。とてもわかりやすくまとまっているので、まず読んでもらってから続きを見てもらえると良いかと思います。 【API Gatewayタイムアウト対策】Step Functionsを組み合わせて非同期処理にしてみる 概要 Amplify CLIでAPI Gateway
ECS Taskを使ってバッチ処理するケースがあると思う。 構成のパターンは様々ありそうだが、必要となるAWSリソースであったり、監視・リトライの実現方法あたりを、整理しておこうと思う。 (Lambdaを使えばリトライ設定とかあるので簡単だが、処理時間が長いなどLambdaが使えないケースを想定している) 時間指定で、ECS Taskを起動したい EventBridgeでTargetに、ECS taskまたは、Step Functions state machineを指定すれば良い。 Targetの呼び出し自体に失敗したときのリトライはRuleに対して設定できるが、起動後の失敗に関してはStep Functionsで対応する必要がある。 なので、最初からStep Functions state machineを指定する形にしておくと良さそうな感じがする。 ECS Taskが失敗したら、リト
休日に自由に外出することもままならない昨今、おうち時間はたくさんあるけど何をすればいいのかわからない。 そんなときは、AWS のサービスの挙動を調べてみるのはいかがでしょうか。 新しい時代の新しい時間の使い方を提案するこのブログ、今回は AWS Step Functions の Map ステートの挙動を調べてみました。 AWS Step Functions の Map ステートとは ドキュメント には Map ステートについて、次のように書いてあります。 Map 状態 ("Type": "Map") を使用して、入力配列の要素ごとに一連のステップを実行できます。Parallel 状態は同じ入力を使用して複数のステップのブランチを実行しますが、 Map 状態は状態入力の配列の複数のエントリに対して同じステップを実行します。 どうやら Map さんに配列を渡すと、配列の要素それぞれに対して同じ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く