python の async await の使い方:'await' outside function
こちらで async await について質問したんですが内容が多くなってしまったので
トピックを絞って再度質問したいと思います
import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url) as response:
print(await response.text())
async def main():
async with aiohttp.ClientSession() as session:
await asyncio.gather(
fetch(session, 'https://www.rakuten.co.jp/'),
fetch(session, 'https://www.amazon.co.jp/'),
)
asyncio.run(main())
という http request のサンプルコードを教えていただいたのですが、
並列リクエストを送るときは必ず session を使わないといけないのでしょうか?
ただの request ではなぜダメなんでしょうか
fork join でかく並列化しかさわったことがなくて
async await の仕組みや書き方が全く理解できないので
使わなくても済むならもっと単純なコードに落としたいです
あとコード量は少ないのかもしれないですが
with やメソッドがネストしててかえってわかりにくいので
フラットな手続き型のコードで async, await を理解できるようなサンプルはないでしょうか
親プロセスと子プロセスがコードをどの順でどう実行されるかが全く分からないです
追記
import aiohttp
import asyncio
import time
import requests
async def fetch(session, url):
async with session.get(url) as response:
print((await response.text())[0:10])
async def main():
async with aiohttp.ClientSession() as session:
await asyncio.gather(
fetch(session, 'https://www.rakuten.co.jp/'),
fetch(session, 'https://www.rakuten.co.jp/'),
)
start = time.time()
response = requests.get('https://www.rakuten.co.jp/')
print(response.text[0:10])
response = requests.get('https://www.rakuten.co.jp/')
print(response.text[0:10])
end = time.time()
print(end - start)
start = time.time()
asyncio.run(main())
end = time.time()
print(end - start)
並列化できてるか確認するのに上のようなコードをかいたのですが
<!DOCTYPE
<!DOCTYPE
10.279092073440552
<!DOCTYPE
<!DOCTYPE
44.95866298675537
こんな感じで2回分実行してるとはいえ9倍近く遅くなってます
(ステータスコードの取得方法がわからないので
ネットワークでイレギュラーなことが起こってないか
確認のためレスポンスの10文字だけ表示してます)
これって本当に正しく並列化されてるんでしょうか
環境:
Windows10 上の VirtualBox 上の ubuntu + Python 3.7.5 です
今日1日ドキュメントを読んでようやくわかってきたんですが、
async, await はアプリケーションレベルで疑似的なマルチスレッドを実現してるだけで
OSレベルのマルチスレッド化を行ってるわけじゃないんですね…
async await とかくことでOSのシステムコールレベルで
どういうコードが生成されてるのか疑問だったのですが…
ここからはまだ理解がおぼつかないのですが
async 宣言することで戻り値を遅延評価するしくみが自動で追加されて
それを await で呼ぶことで値が入ってたらその値を取得して
まだはいってなかったら別の処理を実行させるみたいな感じで
await = join と yield をまぜたような感じになるんでしょうか
なので async を使うためには中に await がかかれてある専用のライブラリじゃないと
そもそも処理を手放さないので非同期に実行できなくて
asyncio.sleep とか aiohttp とかが必要になる
で aiohttp のメソッドに session が必要なものしか用意されてなくて
非同期処理とは関係ないけど session を使わないと
python ではシングルスレッド非同期が実現できず
thread レベルで並列化する run_in_execute っていうのを使うとただの requests が使える
という理解で大丈夫でしょうか?
session
を使って2回実行して比較した方が原因が見えてくるかもしれません。