プログラム内容
マルチスレッドおよびマルチプロセスを組み合わせたプログラムとなっており、下図ような構成で動作しています。
現在、リファクタリング中で、ProcessA-Cの処理は以前はThreadでしたが、高速化のために並行処理させるため、MultiProcess化しています。
追記情報
Thread M1をMultiProcessでプロセス化しました。
これにより、M1での書き出しが高速化しました。
処理内容の概要(追記情報)
1.Process A
外部イベントを受信して、イベントに応じて外部から情報を取得後、M1に情報を引き渡します。
2.Process B
M1からの指令により、外部に対して何らかの制御コマンドを発行、返信を処理します。
3.Process C
GUIプロセスです。ユーザーアクションを通知し、状態変化を受信して描画します。
4.M1
必要な情報を整理し、各プロセスの監視、終了、中断・再開などを処理します。
必要な情報をDBへ読み書きする処理も担います。
5.Main
アプリケーション起動ファイルの読み込み、外部プログラムを起動するサブプロセス、Loggingプロセス、M1を起動・終了を行います。
DBのレコード情報
詳細は記載しきれませんが、参考として記載いたします。
1回の書き込みにより更新されるテーブル数は44(厳密には種別により書き込むテーブルが異なります。
各テーブルのカラム数は最大のもの1つで100、そのほかは10以下がほとんどです。
今回の環境ではレコードは95。(計測した処理時間は、レコード数が8のときも変化ありませんでした。)
情報更新された対象のみデータを取得し、更新します。
環境
Python3.7
Windows10
VScode
問題点
Thread M1において、Process Aから取得したデータをSQLiteを介してDBファイルに書き込む処理を実行します。
この書き込み処理は実績があり、1回のデータ書き込み処理におおよそ0.15~0.2秒ほどかかります。
しかし、Thread M1では、1回の書き込み処理に6秒もかかってしまいます。インメモリDBで処理させると、8.0-9.4秒にさらに遅くなってしまいます。
試したこと
DBファイルとインメモリDB動作
ThreadM1では、1回の書き込み処理の時間が以下の通りとなりました。
DBファイル:6秒強
インメモリ:8.0秒超
インメモリにしたほうが遅くなります。MainProcessでの書き込み
ThreadM1から親スレッドにデータを転送し、書き込みした結果、以下の通りとなりました。
DBファイル:0.2秒弱
インメモリ:0.02秒程度
インメモリにしたほうが格段に速くなりました。パフォーマンスモニタでのメモリ観察
上記1のときには、メモリがなだらかに上昇しました。
上記2のときには、すぐにメモリを確保して一段ジャンプアップしたようになりました。M1のマルチプロセス化
M1をマルチプロセス化し、実行しました。メインプロセスで実行する場合と同じ速度になりました。パフォーマンスモニタでもメモリの確保を確認しました。
DBファイル:0.2秒弱
インメモリ:0.02秒程度
5.一部機能停止時【追加情報】
Process B/Cの起動せずに計測しました。
DBファイル:5-6秒(若干低下した印象です。
インメモリ:5-6秒程度→しばらくしたら2.5-3.0秒に短縮
6.処理ループのインターバル時間変更
上記5において、ProcessAやThreadM1の処理ループインターバル時間を10倍長くしても、処理時間は変わりませんでした。
解決したい課題
ThreadM1において、明らかにメモリ不足が原因で書き込み処理が停滞してしまっています。
なぜ、ThreadM1は機動的にメモリ確保する動作にならないのか、また、これを解決するためにはどうしたらよいでしょうか?
[訂正]明らかにメモリ不足と判断したのは誤りがあるかもしれません。処理が遅すぎてメモリ確保するタイミングがずれただけかもしれません。パフォーマンスモニタで再確認したところ、メモリが徐々に確保されて行っている様子がうかがえました。
M1をマルチプロセス化することで解決いたしました。
しかしながら、先に記載したスレッド時の動作原因がわかりません。引き続き、後学のため原因がご存知の方はご教示願えないでしょうか。