[python-multiprocessing] タグが付いた質問

multiprocessingはPythonで複数のプロセスを扱うためのライブラリです。

絞り込み
並べ替え
タグ付けされた
0
1 回答
140 閲覧数

Google colabを使って並列化計算の状況について

現在Google colab (Pro)上でPythonコードを使っています。 手元のサーバーではPythonを使ってmultiprocessingやmultithreadingによる並列計算もできます。 Google colabを使用して、並列計算をしたいと考えています。 Google colabは頻繁に使用規約が変更されるため、自分なりに調べてはしましたが、いまいち把握できていません。 ...
nescafe's user avatar
  • 908
0
0 回答
121 閲覧数

マルチプロセスで起動したタスクに名前を付ける方法

概要 マルチプロセスで動作させているプロセスタスクをタスクマネージャーで監視すると、全てPythonという名前になってしまいます。 これを任意に名前に変更する方法はあるのでしょうか? multiprocessing.Processメソッドの引数nameを代入しても変化ありません。
Takahiro  Funahashi's user avatar
0
1 回答
151 閲覧数

ThreadingTCPServerへSocketHandlerを使ってログを送信するとプログラムが終了しなくなります。(Python logging 関連)

問題 deadlockのようなものが発生し、プログラムが終了しません。 公式サイトを参考にして作った、multiprocessingを用いた並列処理中のログをサーバースレッドを立てて一括管理するプログラムで起こりました。 Ctrl+Cによるエラーメッセージ Exception ignored in: <module 'threading' from '/Users/username/...
GesonAnko's user avatar
0
0 回答
976 閲覧数

FastAPI+Uvicorn マルチプロセス実行環境でメインプロセスと通信する方法

FastApiとUvicornを使用したAPIサーバープロセスとアプリケーションのMainプロセスとの通信について悩んでおります。 アプリケーション内の構成イメージ 動作説明 Uvicornを起動するServerProcess(の中のUvicorn動作Thred)とMain Process間のみでPOSTメソッド要求時に逐次利用するComServerを通じてやり取りを行おうと思いつきました。 ...
Takahiro  Funahashi's user avatar
1
0 回答
114 閲覧数

Discord.pyでmultiprocessingを使った時、正常に動作しない。

Discord.pyでコマンドが実行された場合にmultiprocessingを利用し、ブロッキングされないようにしてタイマーを実行したいと思っています。 しかし実際に動作させようとすると正しく動作しません。(メッセージがコンソールに表示されず、反応もしない。) 解決法を知っている方がおりましたらご教授いただければと思います。 ファイルは以下の通りです。 main.py import ...
creeper's user avatar
  • 11
1
0 回答
308 閲覧数

macOS環境での Pythonのmultiprocessingについて

以下のコードをGoogle Colabでやるとすぐ終わるのですが、Macのローカル環境でJupyter Notebookを使うと相当長い時間かかります(というか数時間経っても終わりません)。 原因を教えていただければ幸いです。 なお、Pythonのバージョンは3.8、Macのバージョンは11.2.3でM1ではありません。 from multiprocessing import Pool def ...
Koupen's user avatar
  • 11
1
1 回答
844 閲覧数

実行スレッドによって、同じSQLite書き込み処理時間が大きく異なるのはなぜでしょうか?

プログラム内容 マルチスレッドおよびマルチプロセスを組み合わせたプログラムとなっており、下図ような構成で動作しています。 現在、リファクタリング中で、ProcessA-Cの処理は以前はThreadでしたが、高速化のために並行処理させるため、MultiProcess化しています。 追記情報 Thread M1をMultiProcessでプロセス化しました。 これにより、...
Takahiro  Funahashi's user avatar
0
0 回答
1,463 閲覧数

Python マルチプロセスで同じログファイルにログを書き出すときの注意点はありますか

同一のアプリケーション内で複数のマルチプロセスを立ち上げ、並列性のある動作をさせる必要があります。 しかし、外部から見ると、ひとつのアプリケーションなので、ログはひとつにまとめ時系列に記述さえたいと思います。 プロセスごとに異なるメモリ空間となるため、それぞれの子プロセス内で、setLoggerを同じ設定で行う必要があります。 以下にサンプルコードを記述します。 ...
Takahiro  Funahashi's user avatar
0
1 回答
297 閲覧数

データ通信、データベース書き込みを伴うサーバーでのマルチスレッド、マルチプロセス設計について

前書き: 知識不足な点が多く、見当違いなことや的外れなことを書いていたら申し訳ございません。 分からない事: サーバーアプリケーションでのマルチスレッド(マルチプロセス)を使用した最適な設計 作成したいプログラム: スマートフォンから受信したデータを保存するサーバー スマートフォンとの通信 :gRPC スマホから受信したデータの管理: MySQL 考えている動作の流れ スマホからgRPCの送信 ...
Sou T's user avatar
  • 149
0
1 回答
90 閲覧数

multiprocessingモジュールによる、各プロセスの動かし方について

『入門 Python3』を読みながら、JupyterLabを使ってPythonを学んでいます。 OSはwindows10です。 『10.3.2 multiprocessingによるプロセスの作成』より。 まず、以下のコードが書かれたmp.pyというファイルを作ります。 これは、Process()関数により、do_this()関数を4回実行させるものです。 import ...
emanon's user avatar
  • 31
0
2 回答
369 閲覧数

multiprocessingモジュールのJoinableQueueを使った複数のプロセスの実行について

Pythonについて。 只今、『入門 Python3』を読みながら、 JupyterLabを使ってPythonを学んでいます。 OSはwindows10です。 『11.1.2 プロセス』より。 以下のコードは、皿洗いプロセスと乾燥プロセスで仕事を分担し、JoinableQueueを使って、その間で通信をしながらタスクを処理するというプログラムです。 ...
emanon's user avatar
  • 31
0
1 回答
3,534 閲覧数

multiprocessingモジュールのterminate()による、プロセスの強制終了について

Pythonについて。 只今、『入門 Python3』を読みながら、 JupyterLabを使ってPythonを学んでいます。 OSはwindows10です。 『10.3.3 terminate()によるプロセスの強制終了』より。 以下のプログラムは、 1から100万まで数えるものです。 ただし、1ステップごとに1秒眠ります。 そして、5秒経つとterminate()...
emanon's user avatar
  • 31
0
1 回答
530 閲覧数

Python の multiprocessing モジュールを使うと出力の順番が変わるのは何故ですか?

『入門 Python3』を読みながら、JupyterLabを使ってPythonを学んでいます。 OSはwindows10です。 『10.3.2 multiprocessingによるプロセスの作成』より。 まず、以下のコードが書かれたmp.pyというファイルを作ります。 これは、Process()関数により、do_this()関数を4回実行させるものです。 見にくくて申し訳ありませんが、...
emanon's user avatar
  • 31
0
1 回答
2,396 閲覧数

subprocess.Popenのstdoutとstderrをリアルタイムに取得する

pythonの subprocess.Popen で子プロセスのstdoutとstderrの内容を加工した上で、親のstdout、stderrにそれぞれリアルタイムに、且つ順番通りに出力したいです。 例えば、以下の hoge.sh を 実行例 のように実行したいです。 hoge.sh echo yes1 echo no1 >&2 echo yes21 echo yes22 ...
user28998's user avatar
  • 411
1
0 回答
1,112 閲覧数

Pythonのmultiprocessing.poolが実行されない

並列処理をさせたくて公式ドキュメントを参考しようとしたところ、multiprocessingの序盤の例文で実行されず、行き詰まっています。 実行環境 OS:Windows10 CPU:corei-5-3337U コア:2 プロセッサ:4 Python:3.7 from multiprocessing import Pool,freeze_support def f(x): ...
boonx4's user avatar
  • 78
1
2 回答
3,557 閲覧数

multiprocess python 処理がスタートしていないように見える。それはなぜでしょうか。

マルチプロセスをやってみようと思い、あるサイトから引っ張って来たマルチプロセスのコードです。それを私がいくつかprint文を増加させたり、global宣言化して、いろいろ挙動を調査して改編してみたものです。 実行してみると、すんなりと実行できたのですが、関数の中にprint文を入れて確かめてみると、どうやら関数が全く実行されていない・・・。 文法としてはこれで間違っていないように思うのですが、...
帰ってきたHaru's user avatar