外部ライブラリーを利用する方法
ライブラリーによって, Zipファイル形式含めすべて置き換えるものと, パスワード復号だけ提供するものとあるようです
(その辺りはコメントや別解にもある通り)
JIT等による高速化
パスワード復号のコード量はそれほどではないので, 直接 何らかの方法で高速化する方法
参考: zipfile --- ZIP アーカイブの処理より
C 言語ではなく、Python で実装されているため、復号は非常に遅くなっています。
CPythonの当該ソースコード, パスワード復号部分 (zipfile)
_crctable = None
def _gen_crc(crc):
for j in range(8):
if crc & 1:
crc = (crc >> 1) ^ 0xEDB88320
else:
crc >>= 1
return crc
def _ZipDecrypter(pwd):
key0 = 305419896
key1 = 591751049
key2 = 878082192
global _crctable
if _crctable is None:
_crctable = list(map(_gen_crc, range(256)))
crctable = _crctable
def crc32(ch, crc):
"""Compute the CRC32 primitive on one byte."""
return (crc >> 8) ^ crctable[(crc ^ ch) & 0xFF]
def update_keys(c):
nonlocal key0, key1, key2
key0 = crc32(c, key0)
key1 = (key1 + (key0 & 0xFF)) & 0xFFFFFFFF
key1 = (key1 * 134775813 + 1) & 0xFFFFFFFF
key2 = crc32(key1 >> 24, key2)
for p in pwd:
update_keys(p)
def decrypter(data):
"""Decrypt a bytes object."""
result = bytearray()
append = result.append
for c in data:
k = key2 | 2
c ^= ((k * (k^1)) >> 8) & 0xFF
update_keys(c)
append(c)
return bytes(result)
return decrypter
処理速度について
上記処理を JIT等で高速化する場合の見込みとして, 適当に用意した Zipファイルで展開してみると
- パスワード付きで展開処理は 69〜75秒あたり
- なしであれば 0.3〜0.6秒で展開可能
処理遅延の殆どがパスワード復号処理と思われ, (1分から) 1秒あたりへどれだけ近づけるか, ということになるようです
# py3.11
time 69.39155938899785
time 65.66279735100034
# py3.12
time 74.2518399849996
time 74.7327606229992
パスワード暗号化されてなければ
time 0.3254575500000101
time 0.6752525940000851
JITの候補
JITで高速化の候補はいくつか考えられ, 例えば
- Numba:
numba.jit(nopython=True)
としてデコレーターを付けると高速化できる
- ただしそれには Numbaが理解できるコードに変更の必要がある。参考 (A ~5 minute guide to Numba)
jit(nopython=True)
もしくは njit
指定で通れば高速化が期待できるが, そうでなければかえって遅くなる傾向がある
- Julia: Pythonにも似てると言われることもある言語
- JITによる高速化が見込める(はず)
- (PyJuliaにて) Pythonから呼び出すことが可能
- PyPy: JITのある Python環境
- (どちらかといえば) CPythonの代替環境として
- ただしバージョンは(この回答現在) CPython 3.9 もしくは 3.10 相当のよう
上記パスワード復号処理ソースをそのまま利用するには難しく, 利用の方法に合わせ変更する必要がありそうです
移植の際の Python言語との違い (主観的には)
C言語 > Cython > Julia > Numba > PyPy
- Zip管理ツール(バイナリ)の 元ソースが C言語であるなら, Pythonソース側が移植後とも言える
- Numbaでは, パイソニック(Pythonic)なコードから外れる方向でないと, 高速化は見込めないかもしれない
- その場合 Julia-langへの移植と比べると「オリジナルとの違い」は逆転するかもしれない
- PyPy では, CPythonでのソースを改変することなく実行可能
- というより PyPy 内 zipfileパッケージのコードは, ほぼ CPython版と同様 (普通に Pythonで実装されている)
いくつか試した結果
PyPyと Juliaで試した 処理速度
# PyPy
time 5.561014728002192
time 5.529734395997366
# Julia
time 76.98560022699894
time 76.68419108099988
(参考) Julia版の Python部分
# Julia
from julia.api import Julia
jl = Julia(compiled_modules=False)
from julia import Main
Main.include('decryp.jl')
def myZipDecrypter(pwd):
julia_func = Main._ZipDecrypter(pwd)
return lambda data: bytes(julia_func(data))
if __name__ == '__main__':
import zipfile
zipfile._ZipDecrypter = myZipDecrypter
import time
t0 = time.perf_counter()
with zipfile.ZipFile(zipfname) as zf:
for info in zf.infolist():
v = zf.read(info, pwd=b'password')
print(info.filename, len(v))
print('time', time.perf_counter() -t0)
PyPy での結果は, 悪くないように思えます
可能であれば, 処理内容によって Python環境を切り替えてみるのもひとつの手ではないでしょうか
- Python 3.12 として最新機能を利用したい処理
- パスワード復号などの JIT で高速化が見込める処理
例えば condaなら (事前に環境作っておけば)以下のように切り換えることが可能
$ conda activate pypy
$ python 何らかのアプリ
...
$ conda activate py312
$ python 何らかのアプリ
...
※ Juliaでの速度が遅いのは, 作り方が悪かった(?)のかもしれません
mode
は指定しておらず、ZipFile
のデフォルトは読み取り専用のため読み取り専用になっているはずです。念のため、明示的にmode="r"
を指定してみましたが、速度に変化はありませんでした。公式ドキュメントにわざわざ「C 言語ではなく、Python で実装されているため、復号は非常に遅くなっています」と書いてある以上、ユーザサイドの使い方でカバーできるものではないと思っております。dezip
はRuntimeError: Bad password
となり展開できませんでした。stream-unzip
はzipfile
と同じくPython実装のようでやはり速度が出ませんでした。fast-unzip
はパスワードを受け取るオプションが見当たらないのでそもそも暗号化Zipに対応していないように見えます。