7

背景

「エキスパートPythonプログラミング 改訂2版」の11.3.1章「CPU使用量のプロファイル」を読んでいます。

質問

文字列連結よりstr.join()の方が速いはずなのに、以下の測定では文字列連結の方が速いように見えています。
これはなぜでしょうか?

$ python3 -m timeit -s 'a=map(str, range(1000))' '"".join(a)'
1000000 loops, best of 3: 0.124 usec per loop

$ python3 -m timeit -s 'a=map(str, range(1000)); s=""' 'for i in a: s+=i'
10000000 loops, best of 3: 0.0295 usec per loop

本書には「読書への課題」となっていましたが分からなかったので、ここで質問しました。
本書には、以下の通り記載されていました。

落とし穴はsetup引数の使い方と、Python3におけるmapの振る舞いにあります。

環境

  • Python 3.6.6

1 件の回答 1

11

まずは中で何が起こっているのか把握するために、print文で覗いてみましょう。

そのまま実行すると1万や10万回print文が実行されるので、number引数(-n, --number)で回数を制限します。
ついでにrepeat引数(-r, --repeat)で試行回数(best of rrに該当する回数)も減らしておきます。

PS C:\Users\payaneco> python -m timeit -r 1 -n 3 -s "a=map(str, range(1000))" "s=''" "for i in a: s+=i;" "print(len(s))" 
2890
0
0
3 loops, best of 1: 211 usec per loop
PS C:\Users\payaneco> python -m timeit -r 1 -n 3 -s "a=map(str, range(1000))" "s=''.join(a)" "print(len(s))" 
2890
0
0
3 loops, best of 1: 168 usec per loop

len(s)で文字列の長さを計ったところ、2回目、3回目は0になってしまいました!

ここで本のヒントを読み解きます。

落とし穴はsetup引数の使い方と、Python3におけるmapの振る舞いにあります。

試しにsetup引数(-s --setup)を消してみましょう。

PS C:\Users\payaneco> python -m timeit -r 1 -n 3 "a=map(str, range(1000))" "s=''" "for i in a: s+=i;" "print(len(s))" 
2890
2890
2890
3 loops, best of 1: 378 usec per loop
PS C:\Users\payaneco> python -m timeit -r 1 -n 3 "a=map(str, range(1000))" "s=''.join(a)" "print(len(s))" 
2890
2890
2890
3 loops, best of 1: 257 usec per loop

欲しい結果が得られました。
len(s)は常に正しい値を返し、速度もfor文よりjoinの方が速くなりました。
ただしsetup引数がある時よりも速度は遅いです。

setup引数は最初のステートメントに適用され、map関数は初めの1回のみ初期化されて、2,3回目には初期化されません。
逆にsetup引数が無ければ毎回a=map(str, range(1000))が実行されるので、その分遅くなります。

ようやくpython3におけるmapとは何かという話が関係してきます。
mapとは配列に関数を適用してイテレータを返す高階関数です。
ここで言う「配列」とはrange(1000)で作成した0..999の数値です。
ここで言う「関数」とはstrです。n=0..999の数値をstr(n)で文字列化しています。

さてpythonのイテレータは、for文やnext()関数で次の値を取得できますが、いわゆるseekprevのように特定の場所へアクセスしたり、前の値を取得したりすることはできません。
つまり一度forjoinでアクセスすると、また先頭から読み取ることができないのです。

pythonで下記のコードを実行すると、1回目は2890が取得できますが、2回目は0になってしまいます。
これがmapというかイテレータの振る舞いです。

a=map(str, range(1000))
s=''.join(a)
print(len(s))
# 2890
s=''.join(a)
print(len(s))
# 0

ちなみにmaplist化すればイテレータではなくリストになるので、正しい値を取得することができます。

PS C:\Users\payaneco> python -m timeit -s "a=list(map(str, range(1000)))" "s=''.join(a)" 
100000 loops, best of 3: 10.3 usec per loop
PS C:\Users\payaneco> python -m timeit -s "a=list(map(str, range(1000)))" "s=''" "for i in a: s+=i;" 
10000 loops, best of 3: 176 usec per loop

速度もjoinの方が圧倒的に速くなりました!

おそらくですが、使い終わったイテレータにforを実行してもループ冒頭の1回目で中断しますが、0件のイテレータにjoinを掛けるとオーバーヘッドが発生してjoinの方が遅くなると推測されます。

以上のことから、以下の「読者への課題」を理解しないと正しい結果が得られません。

  • 毎回setupしないとイテレータを再利用できない
  • mapはイテレータを作るだけなので、リストや配列にしないと罠にハマることがある
2
  • 最初の文で、"2890, 0, 0"のパターンが3回表示されているのは、timeitモジュールのリピート数(--repeat)のデフォルトが3だからですね。
    – yuji38kwmt
    2019年3月27日 2:36
  • ご指摘の通りです。読みにくかったので回答に-rも追加しました。
    – payaneco
    2019年3月27日 3:21

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。