[フレーム]
はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます

新型コロナウイルスに関する情報は、厚生労働省の情報発信サイトを参考にしてください。情報を見る

適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできます コメント表示の設定

ブックマークしました

ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

229users がブックマーク コメント 13

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

並列処理がとても苦手なPythonはプロセスを分けよう コードを書く時に意識したい2つのTipsと2つの落とし穴 | ログミーBusiness

229 users logmi.jp

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

はてなブックマーク

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページ

記事へのコメント13

  • 注目コメント
  • 新着コメント
ledsun
"BigQueryにデータを全部入れて、SQLでやると勝手に並列化していてむちゃくちゃ速いので(笑)。言語を変えるんだったら西川が最初に考えるのはそれかなと思います。"

その他
totoronoki
最後の方に書いてあるけど、bigqueryにSQLでやってもらえばそっちのほうが早いのか。

その他
bluegold
macOS も fork() システムコールを使っていて、CoW も使われると思うんだけど、どういう意味なんだろう。macOS 用の Python なり Jupyter が Linux と macOS で fork() と spawn() を使い分ける実装だって言うこと?

その他
kkobayashi
並列処理にPythonは向いてない、プロセス分けるとデータの共有がクソ面倒になるし。逆に並列処理に向いてるLLと言われても分かんないけど・・・

その他
misshiki
"Pythonは並列処理がとても苦手"

その他
delphinus35
まるで、macOSがUNIX系ではなかったりPOSIXにも準拠していないかのような書き方が気になる。

その他
progrhyme
LL系に対してはそういう印象持ってる

その他
knok
そうそう、multiproccesing.Poolも内部的にpickleしてるのでpickleできないデータを扱えないんだよね

その他
iliorz419
joblibはここで書かれてるようなことをやってくれる。Pythonではjoblibで扱える範囲でしか並列化しないようにしてる。

その他
deejayroka
"言語を変えちゃうんであれば、それはなんでもありかなと思います。ただ、ちょっとしたデータ分析の中で西川がおすすめするのはGoogle Cloud PlatformのBigQueryにデータを全部入れて、SQLでやると勝手に並列化し"

その他
jintrick
"Python 3.13ぐらいで、GILなし版を作るような話がちょっと出ていました。ニュースになっていましたね。なので、課題は持っているんだけれど、まだ直っていないという感じです"

その他
da-yoshi
Pythonは並行処理で済ませて、IOの先に重たい並列処理をさせるのが楽でいい気がしている

その他
kkobayashi
kkobayashi 並列処理にPythonは向いてない、プロセス分けるとデータの共有がクソ面倒になるし。逆に並列処理に向いてるLLと言われても分かんないけど・・・

2023年10月14日 リンク

その他
ledsun
ledsun "BigQueryにデータを全部入れて、SQLでやると勝手に並列化していてむちゃくちゃ速いので(笑)。言語を変えるんだったら西川が最初に考えるのはそれかなと思います。"

2023年10月14日 リンク

その他
bluegold
bluegold macOS も fork() システムコールを使っていて、CoW も使われると思うんだけど、どういう意味なんだろう。macOS 用の Python なり Jupyter が Linux と macOS で fork() と spawn() を使い分ける実装だって言うこと?

2023年10月14日 リンク

その他
n_vermillion
連携のオーバーヘッドを考慮しても実績ある言語で並列処理部分を組んだ方が良さそうな気がするなこれ。並列化部分でバグ作り込んだら後からのメンテナンスがすげー大変そう...。

その他
totoronoki
totoronoki 最後の方に書いてあるけど、bigqueryにSQLでやってもらえばそっちのほうが早いのか。

2023年10月14日 リンク

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー
アプリのスクリーンショット
いまの話題をアプリでチェック!
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

usersに達しました!

さんが1番目にブックマークした記事「並列処理がとても...」が注目されています。

気持ちをシェアしよう

ツイートする

並列処理がとても苦手なPythonはプロセスを分けよう コードを書く時に意識したい2つのTipsと2つの落とし穴 | ログミーBusiness

GoPythonKotlinRustTypeScript の5つの言語について「並列処理、並行処理の手法」というテーマ... GoPythonKotlinRustTypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説!思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介西川大亮氏(以下、西川):ここからはPython編の「ちょっとしたデータ分析の並列化」というタイトルで、西川から話します。 GOに勤める西川です。今やっているのは、タクシーやハイヤーの営業支援。「お客さんを乗っけていない時間、どこを走ったらいいの?」とか「どういうところで待っていたら注文来やすいの?」というところのナビをする、「お客様探索ナビ」というサービスのいろいろなことをしています。小さなサービスなのでいろいろやっている感じですね。 Py

ブックマークしたユーザー

  • funghi_seven2025年06月03日 funghi_seven
  • Marukosu2025年02月17日 Marukosu
  • techtech05212024年06月18日 techtech0521
  • styrian2024年02月01日 styrian
  • tsintermax2023年11月02日 tsintermax
  • maghrib2023年11月01日 maghrib
  • idk2023年11月01日 idk
  • currypurin2023年11月01日 currypurin
  • yag_ays2023年11月01日 yag_ays
  • zero-buffer2023年10月29日 zero-buffer
  • thaturn2023年10月24日 thaturn
  • tuki09182023年10月20日 tuki0918
  • logtenas2023年10月18日 logtenas
  • little_dove11022023年10月16日 little_dove1102
  • misshiki2023年10月16日 misshiki
  • tasukuchan2023年10月16日 tasukuchan
  • delphinus352023年10月15日 delphinus35
  • se7en12023年10月15日 se7en1
すべてのユーザーの
詳細を表示します

ブックマークしたすべてのユーザー

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む

はてなブックマーク

公式Twitter

はてなのサービス

Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しましたx

AltStyle によって変換されたページ (->オリジナル) /