環境
- Python 3.12.4
やりたいこと
以下のlib.py
には、外部に公開しているsay_after
関数と、それを呼び出しているdo_say_after
関数が定義されています。
lib.py
import time
def say_after(delay, what):
"""外部に公開している関数"""
time.sleep(delay)
print(what)
def do_say_after():
"""外部に公開している関数"""
print(f"started at {time.strftime('%X')}")
say_after(1, "hello")
say_after(2, "world")
print(f"finished at {time.strftime('%X')}")
if __name__ == "__main__":
do_say_after()
$ python lib.py
started at 15:12:13
hello
world
finished at 15:12:16
do_say_after
の処理は同期的なので、実行時間は約3秒(=1秒+2秒)です。
今回、do_say_after
の処理をasyncio
を使って非同期的な処理に変更したいです。
say_after
関数とdo_say_after
関数はすでに外部に公開しているので、async
を付けてコルーチンには変更できません。
もしコルーチンに変更してよいならば、以下のようなコードにしたいです。
import time
import asyncio
async def say_after(delay, what):
"""外部に公開している関数"""
await asyncio.sleep(delay)
print(what)
async def do_say_after():
async with asyncio.TaskGroup() as tg:
task1 = tg.create_task(say_after(1, "hello"))
task2 = tg.create_task(say_after(2, "world"))
print(f"started at {time.strftime('%X')}")
print(f"finished at {time.strftime('%X')}")
if __name__ == "__main__":
asyncio.run(do_say_after())
質問
say_after
関数とdo_say_after
関数のインターフェイスを変えずに、do_say_after
関数内でsay_after
関数を並行で呼び出すには、どのような処理にすればよいでしょうか?
試したこと
asyncio.get_event_loop()
でイベントループを取得してrun_in_executor
で実行する
以下の記事を参考にして、loop.run_in_executor
を利用してみました。
https://qiita.com/nilwurtz/items/85b81febefd3f3f2899a
new_lib1.py
import time
import asyncio
def say_after(delay, what):
"""外部に公開している関数"""
time.sleep(delay)
print(what)
def do_say_after():
"""外部に公開している関数"""
loop = asyncio.get_event_loop()
# asyncio.gatherを使って並行実行
task1 = loop.run_in_executor(None, say_after, 1, "hello")
task2 = loop.run_in_executor(None, say_after, 2, "world")
print(f"started at {time.strftime('%X')}")
gather = asyncio.gather(task1, task2)
result = loop.run_until_complete(gather)
print(f"finished at {time.strftime('%X')}")
if __name__ == "__main__":
do_say_after()
$ python new_lib1.py
/home/yuji/tmp/20240809/new_lib1.py:12: DeprecationWarning: There is no current event loop
loop = asyncio.get_event_loop()
started at 15:22:54
hello
world
finished at 15:22:56
実行時間は約2秒なので、say_after
関数を並行で実行できました。
ただし、asyncio.get_event_loop()
で、There is no current event loop
という警告が発生しました。
asyncio.get_running_loop()
でイベントループを取得してrun_in_executor
で実行する
公式ドキュメントによると、get_event_loop()
よりもget_running_loop()
が好ましいようなので、get_running_loop()
に置き換えて実行しました。
この関数の振る舞いは (特にイベントループポリシーをカスタマイズした場合) 複雑なため、コルーチンやコールバックでは get_event_loop() よりも get_running_loop() を使うほうが好ましいと考えられます。
https://docs.python.org/ja/3.12/library/asyncio-eventloop.html#asyncio.get_event_loop
new_lib2.py
import time
import asyncio
def say_after(delay, what):
"""外部に公開している関数"""
time.sleep(delay)
print(what)
def do_say_after():
"""外部に公開している関数"""
loop = asyncio.get_running_loop()
# asyncio.gatherを使って並行実行
task1 = loop.run_in_executor(None, say_after, 1, "hello")
task2 = loop.run_in_executor(None, say_after, 2, "world")
print(f"started at {time.strftime('%X')}")
gather = asyncio.gather(task1, task2)
result = loop.run_until_complete(gather)
print(f"finished at {time.strftime('%X')}")
if __name__ == "__main__":
do_say_after()
$ python new_lib2.py
Traceback (most recent call last):
File "/home/yuji/tmp/20240809/new_lib2.py", line 25, in <module>
do_say_after()
File "/home/yuji/tmp/20240809/new_lib2.py", line 12, in do_say_after
loop = asyncio.get_running_loop()
^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: no running event loop
no running event loop
というRuntimeError
が発生しました。
asyncio.new_event_loop()
でイベントループを取得してrun_in_executor
で実行する
ChatGPTに質問して、asyncio.new_event_loop
を使う方法を試しました。
new_lib3.py
import time
import asyncio
def say_after(delay, what):
"""外部に公開している関数"""
time.sleep(delay)
print(what)
def do_say_after():
"""外部に公開している関数"""
loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
# asyncio.gatherを使って並行実行
task1 = loop.run_in_executor(None, say_after, 1, "hello")
task2 = loop.run_in_executor(None, say_after, 2, "world")
print(f"started at {time.strftime('%X')}")
gather = asyncio.gather(task1, task2)
result = loop.run_until_complete(gather)
print(f"finished at {time.strftime('%X')}")
loop.close()
if __name__ == "__main__":
do_say_after()
$ python new_lib3.py
started at 21:28:31
hello
world
finished at 21:28:33
実行時間は約2秒なので、say_after
関数を並行で実行できました。
分かっていないこと
new_lib1.py
でasyncio.get_event_loop
を呼び出すと、There is no current event loop
という警告が発生する理由。また、new_lib2.py
でasyncio.get_running_loop
を呼び出すと、no running event loop
というエラーが発生する理由。- ソースコードを見ると、
get_event_loop
もget_running_loop
は内部で_get_running_loopを呼び出していた。
- ソースコードを見ると、
new_lib3.py
のasyncio.new_event_loop
を使うことによる問題はあるかどうか。- 公式サイトには、以下のように記載さていたので、イベントループを参照するコードは何か間違っている気がする。
アプリケーション開発者は通常 asyncio.run() のような高水準の ayncio 関数だけを利用し、ループオブジェクトを参照したり、ループオブジェクトのメソッドを呼び出したりすることはほとんどありません。
- 外部に公開する関数内で、イベントループを扱ってよいかどうか。たとえば、
do_say_after
をコルーチンで呼び出したら、Cannot run the event loop while another loop is running
が発生した(以下のnew_lib4.py
参照)
new_lib4.py
import time
import asyncio
def say_after(delay, what):
"""外部に公開している関数"""
time.sleep(delay)
print(what)
def do_say_after():
"""外部に公開している関数"""
loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
# asyncio.gatherを使って並行実行
task1 = loop.run_in_executor(None, say_after, 1, "hello")
task2 = loop.run_in_executor(None, say_after, 2, "world")
print(f"started at {time.strftime('%X')}")
gather = asyncio.gather(task1, task2)
result = loop.run_until_complete(gather)
print(f"finished at {time.strftime('%X')}")
loop.close()
async def main():
do_say_after()
if __name__ == "__main__":
asyncio.run(main())
$ python new_lib4.py
started at 22:20:36
Traceback (most recent call last):
File "/home/yuji/tmp/20240809/new_lib4.py", line 31, in <module>
asyncio.run(main())
File "/home/yuji/.pyenv/versions/3.12.4/lib/python3.12/asyncio/runners.py", line 194, in run
return runner.run(main)
^^^^^^^^^^^^^^^^
File "/home/yuji/.pyenv/versions/3.12.4/lib/python3.12/asyncio/runners.py", line 118, in run
return self._loop.run_until_complete(task)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/yuji/.pyenv/versions/3.12.4/lib/python3.12/asyncio/base_events.py", line 687, in run_until_complete
return future.result()
^^^^^^^^^^^^^^^
File "/home/yuji/tmp/20240809/new_lib4.py", line 28, in main
do_say_after()
File "/home/yuji/tmp/20240809/new_lib4.py", line 23, in do_say_after
result = loop.run_until_complete(gather)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/yuji/.pyenv/versions/3.12.4/lib/python3.12/asyncio/base_events.py", line 663, in run_until_complete
self._check_running()
File "/home/yuji/.pyenv/versions/3.12.4/lib/python3.12/asyncio/base_events.py", line 624, in _check_running
raise RuntimeError(
RuntimeError: Cannot run the event loop while another loop is running
hello
world
改めて質問
say_after
関数とdo_say_after
関数のインターフェイスを変えずに、do_say_after
関数内でsay_after
関数を並行で呼び出すには、new_lib3.py
のようなコードでよいでしょうか?
イベントループの取得にはasyncio.new_event_loop
を使っていますが、この方法で正しいのかが分かっていません。
追記
new_lib11.py
oriri さんの回答で教えていただいたコードからawait asyncio.sleep
を削除して、実行しました。
import time
import asyncio
def say_after(delay, what):
"""外部に公開している関数"""
time.sleep(delay)
print(what)
def do_say_after():
"""外部に公開している関数"""
async def f1():
say_after(1, "hello")
async def f2():
say_after(2, "world")
async def main():
async with asyncio.TaskGroup() as tg:
task1 = tg.create_task(
f1())
task2 = tg.create_task(
f2())
print(f"started at {time.strftime('%X')}")
# The await is implicit when the context manager exits.
print(f"finished at {time.strftime('%X')}")
asyncio.run(main())
if __name__ == "__main__":
do_say_after()
実行時間は約3秒でした。
$ python new_lib11.py
started at 14:59:36
hello
world
finished at 14:59:39
async def
キーワードを使います。 /say_after()
の立ち位置がよく見えませんが タスク① ある範囲のキーの集合を作り出す。その後共通の処理(say_after
)の呼び出し。 タスク② 別の範囲のキーの集合を作り出す。その後共通の処理(say_after
)の呼び出し。 などの想定であるならば, ありえるかなと そのうえでそれをどう呼び出すか, ということなら回答可能かも