コメントにある通り、1段階で処理をすると早く終わります。ただ、ディレクトリを再帰的にたどる記述の分、glob
に比べるとコードが増えます。os.walk()
を使うと、やや簡潔になるかと思います。
下のコードは、glob
を使用した質問のコードと異なり、ディレクトリへのシンボリックリンクをたどりません。また os.path.isfile
はシンボリックリンクをたどってチェックしますが、下ではそのような処理は有りませんので、リンク先が存在しないシンボリックファイルなども結果に含まれます。
import os
root = os.getcwd()
files = []
for parent, _, child_files in os.walk(root):
for f in child_files:
files.append(os.path.join(parent, f))
追記:
高速になる理由
上で処理が早く終わる理由は、使用している構文とは関係ありません。今回の処理内容ですと、内包表記に適したAPIは無さそうなので使用していませんが、内包表記で書けるのなら、それでも速度に大きな影響は無いはずです。
今回の処理で時間がかかる部分はIO(ファイルへのアクセス)ですので、これを最小限にすることが大事です。ディレクトリ内のファイルのリストを得るとともに、それらのファイルがディレクトリなのか否かの情報も取得できれば、再度 os.path.isfile
などでアクセスするより効率的です。これを冒頭では「1段階」と表現しました。
よって、上のようなことが可能なAPIを選択します。例えば os.scandir()
です。os.walk()
も内部で os.scandir()
を使用しています。
listdir()
の代わりに scandir()
を使用すると、ファイルタイプや属性情報も必要とするコードのパフォーマンスが大幅に向上します。これは、オペレーティングシステムがディレクトリのスキャン中にこの情報を提供した場合、os.DirEntry
オブジェクトがその情報を公開するからです。すべての os.DirEntry
メソッドはシステムコールを実行する場合がありますが、is_dir()
と is_file()
は、通常はシンボリックリンクにしかシステムコールを必要としません。
os —— os.scandir()
glob.glob
を使わずにos.scandir
だけを使って1段階で処理をするのが早いらしいですよ。あと類似の話題・方法を扱った日本語の記事がこちら。Pythonのディレクトリ内のすべてのサブディレクトリを一覧表示します 内容的にはファイルではなくディレクトリを検出していますが、逆に判定すればファイルだけに出来るでしょう。