[フレーム]
はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできます コメント表示の設定

ブックマークしました

ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

218users がブックマーク コメント 9

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

218 users qiita.com/ShotaOki

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

はてなブックマーク

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページ

記事へのコメント9

  • 注目コメント
  • 新着コメント
takashi_kun
たしかにLLMが流行ってから、以前より並列処理のニーズは上がっている気がする。時流にもあっているのかもしれない

その他
peketamin
"S3からの10ファイルの取得であれば、実行時間を90%削減できます"

その他
knok
s3からの取得だとネットワークの方がボトルネックになりそうだけど、小さいファイルをたくさんとかならもっと恩恵ありそう

その他
ledsun
"3.12から、本格的にサブインタープリターが使えるようになったことで、この事情が変わりました。 サブインタープリターには以下の特徴があります。 スレッド上で実行することが可能 GILの制限を受けない "

その他
misshiki
"LLMではSQL文やJSONの作成で意図に沿わない形式の結果を返すことがあるのですが、並列で同時に複数回のリクエストを送って、使える結果を選ぶようにすれば、リトライのもたつきを感じることなく実装できます。"

その他
nilab
Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる #Python - Qiita

その他
peketamin
peketamin "S3からの10ファイルの取得であれば、実行時間を90%削減できます"

2024年05月02日 リンク

その他
ototoi
ThreadPoolExecutor,ProcessPoolExecutorとの比較も見たかった。あ、自分でやればいいのか。

その他
eggplantte
GILのせいでスレッドが並列処理じゃなくてプロセス作った方が速かったのがサブインタープリターが使えるようになって、スレッドがようやくまともに機能するようになったと

その他
ledsun
ledsun "3.12から、本格的にサブインタープリターが使えるようになったことで、この事情が変わりました。 サブインタープリターには以下の特徴があります。 スレッド上で実行することが可能 GILの制限を受けない "

2024年05月02日 リンク

その他
knok
knok s3からの取得だとネットワークの方がボトルネックになりそうだけど、小さいファイルをたくさんとかならもっと恩恵ありそう

2024年05月02日 リンク

その他
takashi_kun
takashi_kun たしかにLLMが流行ってから、以前より並列処理のニーズは上がっている気がする。時流にもあっているのかもしれない

2024年05月02日 リンク

その他
sasasin_net
あれのことを「ウォーターフォールチャート」と呼ぶことを初めて知った。コンピュータの気持ちになるとき頭に描いてるヤツだ

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー
アプリのスクリーンショット
いまの話題をアプリでチェック!
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

usersに達しました!

さんが1番目にブックマークした記事「Python 3.12で増え...」が注目されています。

気持ちをシェアしよう

ツイートする

Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較... この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

ブックマークしたユーザー

  • anieca11012024年07月20日 anieca1101
  • techtech05212024年06月30日 techtech0521
  • heatman2024年06月01日 heatman
  • mhag2024年05月15日 mhag
  • ikajigoku2024年05月13日 ikajigoku
  • wonder-wall2024年05月12日 wonder-wall
  • lugecy2024年05月12日 lugecy
  • nikutaiha2024年05月11日 nikutaiha
  • flatbird2024年05月09日 flatbird
  • kamm2024年05月09日 kamm
  • dai17412024年05月09日 dai1741
  • masayoshinym2024年05月08日 masayoshinym
  • akiyoko2024年05月08日 akiyoko
  • rinrinbell2024年05月07日 rinrinbell
  • tiamointer2024年05月07日 tiamointer
  • rmatsuoka2024年05月06日 rmatsuoka
  • snake-rotation2024年05月06日 snake-rotation
  • kentaojapi2024年05月04日 kentaojapi
すべてのユーザーの
詳細を表示します

ブックマークしたすべてのユーザー

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む

はてなブックマーク

公式Twitter

はてなのサービス

Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しましたx

AltStyle によって変換されたページ (->オリジナル) /