2

mmapを使用して名前付きの共有メモリ(RAM)上でデータのやり取りをしたいと考えています。
下記のプログラムを実行して読み出すと全て0になっており、期待値としては、書き込んだ(128, 256)でした。
動作の確認環境(開発環境)はwindows10, python3.9.5です。

mmapを選択した経緯としては、multiprocessingモジュールのSharedMemoryが、
unixでは動作しないという情報がネットにあり、今回のプログラムをunix上でも動作させる可能性があるため、
mmapを選択しました。

read_memory()の動作を単体で確認するため、
共有メモリへ書き込みをするプログラム(c++)を作成し、同一PC内で動作させて正常に読み込みは確認できました。
そのため、write_memory()の問題かと考えているのですが、
mmapの使い方の作法の問題なのか、同一プロセス内で共有メモリのW->Rは不可なのか、原因がわからずにいます。
どなたか教えて頂けないでしょうか。

実装コード

import mmap
import struct

def read_memory():
  handle = mmap.mmap(0, 8, 'sample', mmap.ACCESS_READ)
  byte_data = handle.read()
  print('read byte:' + (str(byte_data)))
  shared_memory_info = struct.unpack('<II', byte_data)
  print('read data:' + (str(shared_memory_info)))
  handle.close()

def write_memory():
  handle = mmap.mmap(0, 8, 'sample', mmap.ACCESS_WRITE)
  byte_data = struct.pack('<II', 128, 256)
  print('write byte:' + (str(byte_data)))
  handle.write(byte_data)
  handle.close()

def main():
  write_memory()
  read_memory()

if __name__ == '__main__':
  main()

実行結果

write byte:b'\x80\x00\x00\x00\x00\x01\x00\x00'
read byte:b'\x00\x00\x00\x00\x00\x00\x00\x00'
read data:(0, 0)
7
  • 1
    「multiprocessingモジュールのSharedMemoryが、unixでは動作しない」という情報源を教えて下さい。
    – mjy
    Commented 2023年7月26日 22:45
  • 1
    反応が遅くなり申し訳ございません、以下の記事を参考にしておりました。 zenn.dev/quag_cactus/articles/6d09787323d1b1#fn-d2fa-2 atchicken.com/shared_memory
    – hhh
    Commented 2023年7月28日 7:17
  • 前者の記事は根拠が記されていないように見え, 後者ではプログラム構造に問題があるように見えます。① 別のプロセスの起動方法はどの様な予定ですか? (multiprocessing 介しての起動でも構わないか, コマンドラインなどからの起動か)。② 共有データはビジーループで書き出すようなものですか?
    – oriri
    Commented 2023年7月31日 9:15
  • @oriri 反応遅くなり申し訳ございません。 回答致します。 >① unix環境下での使用は可能性としてありますが、現状どういった形式かは未定です。 windows環境下ではexe形式で2つのアプリを起動予定です。 1つは記載しておりますような共有メモリにR/Wするpythonアプリ(Aアプリ)です。 もう1つは言語未定(Bアプリ)です。 やりたい事としては、2つのexe間で名前付きの共有メモリを2つ持ち、 片方はAアプリが書き込み専用、もう片方はBアプリが書き込み専用として定義して、情報のやり取りをしたいです。 データのやり取りができれば、mmapでもmultiprocessingモジュールのSharedMemoryでも問題ないです。 >② はい、共有メモリからビジーループでR/Wする予定です。
    – hhh
    Commented 2023年8月1日 7:37
  • 答えがどちらも予想外でした。変化があったときのみ更新する などで 1秒に 1回程度の書き込みなら Linux版共有メモリーも動くかもしれません (保証はできないが)。また closeのエラーはこれかもしれませんSharedMemory.close() destroys memory これだとするなら (Windowsも含め) それぞれの環境によって何かしらの問題抱えているようです (「unixでは動作しない」ではなく)。(Windows版でも) issuesに記されてる使い方と同様なら同じ問題が出るかもしれない
    – oriri
    Commented 2023年8月1日 17:05

2 件の回答 2

2

Linux で動作確認した修正例です。

  • 無名メモリにマップするために mmap.mmap には fileno として(0 では無く) -1 を渡す
  • tagname の指定は Unix でサポートされていないので、使用しない
  • 同じ mmap オブジェクトを使う(よって、少なくとも読む前には seek しておく必要が有る)
import mmap
import struct


def read_memory(handle: mmap.mmap):
    handle.seek(0)
    byte_data = handle.read()
    print("read byte:" + (str(byte_data)))
    shared_memory_info = struct.unpack("<II", byte_data)
    print("read data:" + (str(shared_memory_info)))


def write_memory(handle: mmap.mmap):
    handle.seek(0)
    byte_data = struct.pack("<II", 128, 256)
    print("write byte:" + (str(byte_data)))
    handle.write(byte_data)


def main():
    # ファイルを使用する場合
    #with open("tmp.map", "r+") as mapfile, mmap.mmap(
    #    mapfile.fileno(), 8, access=mmap.ACCESS_WRITE
    #) as handle:

    with mmap.mmap(-1, 8, access=mmap.ACCESS_WRITE) as handle:
        write_memory(handle)
        read_memory(handle)


if __name__ == "__main__":
    main()
1
  • ご回答ありがとうございます。 mmapのhandleを破棄すると、共有メモリも破棄されるのですね。 プログラム全体が終了するまで、共有メモリは保持され続けるのかと勘違いしておりました。 記載頂いたコードを元にwindows側でも修正して確認致しました。
    – hhh
    Commented 2023年7月27日 1:30
2

(別解に コメントでファイル割り当ても記されてるが,
ファイルの扱い含めたコードとして)

mmapでファイルを割り当て, 毎回オープン・クローズする方法

  • ファイルが存在したら利用し, 無かったら作成
  • ファイルサイズが少し大きい程度ならそのままで構わないが, 足りない場合 mm.resize() などで合わせる必要がある

(Linuxで動作確認)

import mmap
import struct

def read_memory(mm):
    # こういったアクセスも可能(念の為)。この場合 mm.seek(0) の指定は必要ない
    shared_memory_info = struct.unpack('<II', mm[0:8])
    print('read data:' + (str(shared_memory_info)))

def write_memory(mm):
    fmt = '<II'
    mm[0:0 +struct.calcsize(fmt)] = struct.pack(fmt, 1234, 567)

def main():
    from pathlib import Path
    fname = Path('file1.bin')

    if not fname.exists():
        with fname.open('wb') as fp:
            fp.truncate(8)

    with fname.open('r+b') as fp, mmap.mmap(fp.fileno(), 0) as mm:
        write_memory(mm)
    with fname.open('r+b') as fp, mmap.mmap(fp.fileno(), 0) as mm:
        read_memory(mm)

if __name__ == '__main__':
    main()
1
  • ありがとうございます。回答頂きました実装を参考にさせて頂き、ファイルを使用した実装に変更致しました。
    – hhh
    Commented 2023年8月3日 11:58

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。