[python-multiprocessing] タグが付いた質問
16
質問
0
票
1
回答
140
閲覧数
Google colabを使って並列化計算の状況について
現在Google colab (Pro)上でPythonコードを使っています。
手元のサーバーではPythonを使ってmultiprocessingやmultithreadingによる並列計算もできます。
Google colabを使用して、並列計算をしたいと考えています。
Google colabは頻繁に使用規約が変更されるため、自分なりに調べてはしましたが、いまいち把握できていません。
...
0
票
0
回答
121
閲覧数
マルチプロセスで起動したタスクに名前を付ける方法
概要
マルチプロセスで動作させているプロセスタスクをタスクマネージャーで監視すると、全てPythonという名前になってしまいます。
これを任意に名前に変更する方法はあるのでしょうか?
multiprocessing.Processメソッドの引数nameを代入しても変化ありません。
0
票
1
回答
151
閲覧数
ThreadingTCPServerへSocketHandlerを使ってログを送信するとプログラムが終了しなくなります。(Python logging 関連)
問題
deadlockのようなものが発生し、プログラムが終了しません。
公式サイトを参考にして作った、multiprocessingを用いた並列処理中のログをサーバースレッドを立てて一括管理するプログラムで起こりました。
Ctrl+Cによるエラーメッセージ
Exception ignored in: <module 'threading' from '/Users/username/...
0
票
0
回答
976
閲覧数
FastAPI+Uvicorn マルチプロセス実行環境でメインプロセスと通信する方法
FastApiとUvicornを使用したAPIサーバープロセスとアプリケーションのMainプロセスとの通信について悩んでおります。
アプリケーション内の構成イメージ
動作説明
Uvicornを起動するServerProcess(の中のUvicorn動作Thred)とMain Process間のみでPOSTメソッド要求時に逐次利用するComServerを通じてやり取りを行おうと思いつきました。
...
1
票
0
回答
114
閲覧数
Discord.pyでmultiprocessingを使った時、正常に動作しない。
Discord.pyでコマンドが実行された場合にmultiprocessingを利用し、ブロッキングされないようにしてタイマーを実行したいと思っています。
しかし実際に動作させようとすると正しく動作しません。(メッセージがコンソールに表示されず、反応もしない。)
解決法を知っている方がおりましたらご教授いただければと思います。
ファイルは以下の通りです。
main.py
import ...
1
票
0
回答
308
閲覧数
macOS環境での Pythonのmultiprocessingについて
以下のコードをGoogle Colabでやるとすぐ終わるのですが、Macのローカル環境でJupyter Notebookを使うと相当長い時間かかります(というか数時間経っても終わりません)。
原因を教えていただければ幸いです。
なお、Pythonのバージョンは3.8、Macのバージョンは11.2.3でM1ではありません。
from multiprocessing import Pool
def ...
1
票
1
回答
844
閲覧数
実行スレッドによって、同じSQLite書き込み処理時間が大きく異なるのはなぜでしょうか?
プログラム内容
マルチスレッドおよびマルチプロセスを組み合わせたプログラムとなっており、下図ような構成で動作しています。
現在、リファクタリング中で、ProcessA-Cの処理は以前はThreadでしたが、高速化のために並行処理させるため、MultiProcess化しています。
追記情報
Thread M1をMultiProcessでプロセス化しました。
これにより、...
0
票
0
回答
1,463
閲覧数
Python マルチプロセスで同じログファイルにログを書き出すときの注意点はありますか
同一のアプリケーション内で複数のマルチプロセスを立ち上げ、並列性のある動作をさせる必要があります。
しかし、外部から見ると、ひとつのアプリケーションなので、ログはひとつにまとめ時系列に記述さえたいと思います。
プロセスごとに異なるメモリ空間となるため、それぞれの子プロセス内で、setLoggerを同じ設定で行う必要があります。
以下にサンプルコードを記述します。
...
0
票
1
回答
297
閲覧数
データ通信、データベース書き込みを伴うサーバーでのマルチスレッド、マルチプロセス設計について
前書き: 知識不足な点が多く、見当違いなことや的外れなことを書いていたら申し訳ございません。
分からない事: サーバーアプリケーションでのマルチスレッド(マルチプロセス)を使用した最適な設計
作成したいプログラム: スマートフォンから受信したデータを保存するサーバー
スマートフォンとの通信 :gRPC
スマホから受信したデータの管理: MySQL
考えている動作の流れ
スマホからgRPCの送信
...
0
票
1
回答
90
閲覧数
multiprocessingモジュールによる、各プロセスの動かし方について
『入門 Python3』を読みながら、JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『10.3.2 multiprocessingによるプロセスの作成』より。
まず、以下のコードが書かれたmp.pyというファイルを作ります。
これは、Process()関数により、do_this()関数を4回実行させるものです。
import ...
0
票
2
回答
369
閲覧数
multiprocessingモジュールのJoinableQueueを使った複数のプロセスの実行について
Pythonについて。
只今、『入門 Python3』を読みながら、
JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『11.1.2 プロセス』より。
以下のコードは、皿洗いプロセスと乾燥プロセスで仕事を分担し、JoinableQueueを使って、その間で通信をしながらタスクを処理するというプログラムです。
...
0
票
1
回答
3,534
閲覧数
multiprocessingモジュールのterminate()による、プロセスの強制終了について
Pythonについて。
只今、『入門 Python3』を読みながら、
JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『10.3.3 terminate()によるプロセスの強制終了』より。
以下のプログラムは、
1から100万まで数えるものです。
ただし、1ステップごとに1秒眠ります。
そして、5秒経つとterminate()...
0
票
1
回答
530
閲覧数
Python の multiprocessing モジュールを使うと出力の順番が変わるのは何故ですか?
『入門 Python3』を読みながら、JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『10.3.2 multiprocessingによるプロセスの作成』より。
まず、以下のコードが書かれたmp.pyというファイルを作ります。
これは、Process()関数により、do_this()関数を4回実行させるものです。
見にくくて申し訳ありませんが、...
0
票
1
回答
2,396
閲覧数
subprocess.Popenのstdoutとstderrをリアルタイムに取得する
pythonの subprocess.Popen で子プロセスのstdoutとstderrの内容を加工した上で、親のstdout、stderrにそれぞれリアルタイムに、且つ順番通りに出力したいです。
例えば、以下の hoge.sh を 実行例 のように実行したいです。
hoge.sh
echo yes1
echo no1 >&2
echo yes21
echo yes22
...
1
票
0
回答
1,112
閲覧数
Pythonのmultiprocessing.poolが実行されない
並列処理をさせたくて公式ドキュメントを参考しようとしたところ、multiprocessingの序盤の例文で実行されず、行き詰まっています。
実行環境
OS:Windows10
CPU:corei-5-3337U
コア:2
プロセッサ:4
Python:3.7
from multiprocessing import Pool,freeze_support
def f(x):
...
1
票
2
回答
3,557
閲覧数
multiprocess python 処理がスタートしていないように見える。それはなぜでしょうか。
マルチプロセスをやってみようと思い、あるサイトから引っ張って来たマルチプロセスのコードです。それを私がいくつかprint文を増加させたり、global宣言化して、いろいろ挙動を調査して改編してみたものです。
実行してみると、すんなりと実行できたのですが、関数の中にprint文を入れて確かめてみると、どうやら関数が全く実行されていない・・・。
文法としてはこれで間違っていないように思うのですが、...