3

Pythonで暗号化Zipファイルを扱うプログラムを作成しているのですが、
標準ライブラリのzipfileは公式ドキュメントに記載されている通り
暗号化Zipの復号処理が非常に遅く実用的な速度が出ません。
(7zコマンドだと12秒ほどで完了するファイルの展開に10分ほどかかります)

そこで、暗号化Zipの展開が高速な代替Zipファイルライブラリを
探しております。
なにかいいライブラリをご存じの方がいらっしゃいましたらお教えください。

※あくまでもライブラリ探しが目的なのでsubprocessで7zを実行する
といった代替案の提示は不要です。

■環境
Windows 11
Python 3.12.1 x64

6
  • この記事 How to speed up zip file extraction in Python だと読み取り専用でopenすると速いと書いてあるように思われます。試してみてはどうでしょう? こちらの解説記事 Python Unzip | ZipFile Module Usage Guide も速さに関しては書いていないようですが、全て読み取り専用でopenしているようです。あと Python 2.6用に C で書いたczipfile 1.0.0というのがあるようですね。Python 3用のgithub リポジトリもあるようですが公開はされていないらしいです。Fast zip decryption in python この記事には unzip 処理を抜き出して Cython でパッケージ化するアイデアも回答されています。
    – kunif
    Commented 1月20日 12:54
  • 引用元記事は暗号化Zipではないように見えます。また作成しているプログラムに更新要件はないためmodeは指定しておらず、ZipFileのデフォルトは読み取り専用のため読み取り専用になっているはずです。念のため、明示的にmode="r"を指定してみましたが、速度に変化はありませんでした。公式ドキュメントにわざわざ「C 言語ではなく、Python で実装されているため、復号は非常に遅くなっています」と書いてある以上、ユーザサイドの使い方でカバーできるものではないと思っております。
    – jackson
    Commented 1月20日 13:25
  • 1
    そうだとすると、後半に紹介した記事のようにPython自身の処理を抜き出してCythonでモジュール化するとか、あるいは自分で探すか作るかしたCのライブラリ/ルーチンをPythonのモジュール化するとかを考えてみてはどうでしょう? それからこんなモジュール stream-unzip 0.0.89 とかモジュールではなくコマンドラインツールらしいですが fast-unzip 1.3.2 とかあるようです。その中身を参考に自分で作ってみるとかもありうるのでは?
    – kunif
    Commented 1月20日 14:23
  • ご提示いただいたものを試してみました。dezipRuntimeError: Bad passwordとなり展開できませんでした。stream-unzipzipfileと同じくPython実装のようでやはり速度が出ませんでした。fast-unzipはパスワードを受け取るオプションが見当たらないのでそもそも暗号化Zipに対応していないように見えます。
    – jackson
    Commented 1月21日 2:20
  • 1
    探したらczipfileの系統が Python 2.6用 - PyPI, Python 2.7用 fork, Python 3用 replace とあるようなので Python 3用を試してみるとか? 最終更新が5年前なのと 2.7用の最終版の2つ前の物らしいので3.12.1で動くかどうかは不明ですが。
    – kunif
    Commented 1月21日 4:02

2 件の回答 2

3

自分でも一つ見つけたのでコメントでいただいた分と合わせてまとめてみました。

Python3に移植されたczipfile

インストール手順

  1. Githubからソースを取得
git clone https://github.com/ziyuang/czipfile.git
  1. READMEファイルの作成
    setup.pyは`READMEを要求するがソースに含まれているのはREADME.mdのためコピーして作成する
copy czipfile\README.md czipfile\README
  1. インストール
pip install wheel setuptools cython
pip install .\czipfile

使い方

import czipfile

あとはzipfileの代わりにczipfileを使用するだけ

import czipfile as zipfile

とすれば既存のzipfile用コードの修正も不要

メリット

  • zipfileモジュールを内包しているので既存のzipfile用コードをそのまま利用できる

デメリット

  • ビルドの際にCythonが必要
  • 内包しているzipfileモジュールが古いため最新の修正や機能(zipfile.Path)が使えず、今後の修正も反映されない

fastzipfile

インストール手順

  1. Githubからソースを取得
git clone https://github.com/kamilmahmood/fastzipfile.git
  1. _zipdecryptermodule.cの修正
    元のソースはWindows環境を考慮していないため、Windowsでビルドできるように以下を追加
// file: fastzipfile\extension\_zipdecryptermodule.c

#if defined(_MSC_VER)
#include <BaseTsd.h>
typedef SSIZE_T ssize_t;
#endif

3.setup.pyの修正
元のソースはPython3.8までしか対応していないため、3.12でも使えるように以下を修正

# file: fastzipfile\setup.py

python_requires='>=3.5, <3.9',
↓
python_requires='>=3.5, <4.0',
  1. インストール
pip install .\fastzipfile

使い方

import zipfile
import fastzipfile

これだけであとは普通にzipfileモジュールを使用するだけ

メリット

  • 依存モジュールがない
  • zipfileモジュールの復号処理のみ置き換えるため最新のzipfileモジュールがそのまま使える

デメリット

  • とくになし?

結論

czipfileもfastzipfileも標準ライブラリのzipfileモジュールと同じ使い方が出来ますが、
fastzipfileの方が最新のzipfileモジュールをそのまま使えるためこちらを採用しようと思います。
いろいろ候補を挙げてくださったkunif様ありがとうございます。

1

外部ライブラリーを利用する方法

ライブラリーによって, Zipファイル形式含めすべて置き換えるものと, パスワード復号だけ提供するものとあるようです
(その辺りはコメントや別解にもある通り)

JIT等による高速化

パスワード復号のコード量はそれほどではないので, 直接 何らかの方法で高速化する方法

参考: zipfile --- ZIP アーカイブの処理より

C 言語ではなく、Python で実装されているため、復号は非常に遅くなっています。

CPythonの当該ソースコード, パスワード復号部分 (zipfile)

_crctable = None
def _gen_crc(crc):
    for j in range(8):
        if crc & 1:
            crc = (crc >> 1) ^ 0xEDB88320
        else:
            crc >>= 1
    return crc

def _ZipDecrypter(pwd):
    key0 = 305419896
    key1 = 591751049
    key2 = 878082192

    global _crctable
    if _crctable is None:
        _crctable = list(map(_gen_crc, range(256)))
    crctable = _crctable

    def crc32(ch, crc):
        """Compute the CRC32 primitive on one byte."""
        return (crc >> 8) ^ crctable[(crc ^ ch) & 0xFF]

    def update_keys(c):
        nonlocal key0, key1, key2
        key0 = crc32(c, key0)
        key1 = (key1 + (key0 & 0xFF)) & 0xFFFFFFFF
        key1 = (key1 * 134775813 + 1) & 0xFFFFFFFF
        key2 = crc32(key1 >> 24, key2)

    for p in pwd:
        update_keys(p)

    def decrypter(data):
        """Decrypt a bytes object."""
        result = bytearray()
        append = result.append
        for c in data:
            k = key2 | 2
            c ^= ((k * (k^1)) >> 8) & 0xFF
            update_keys(c)
            append(c)
        return bytes(result)

    return decrypter

処理速度について

上記処理を JIT等で高速化する場合の見込みとして, 適当に用意した Zipファイルで展開してみると

  • パスワード付きで展開処理は 69〜75秒あたり
  • なしであれば 0.3〜0.6秒で展開可能

処理遅延の殆どがパスワード復号処理と思われ, (1分から) 1秒あたりへどれだけ近づけるか, ということになるようです

    # py3.11
time 69.39155938899785
time 65.66279735100034
    # py3.12
time 74.2518399849996
time 74.7327606229992

パスワード暗号化されてなければ
time 0.3254575500000101
time 0.6752525940000851

JITの候補

JITで高速化の候補はいくつか考えられ, 例えば

  • Numba: numba.jit(nopython=True)としてデコレーターを付けると高速化できる
    • ただしそれには Numbaが理解できるコードに変更の必要がある。参考 (A ~5 minute guide to Numba)
    • jit(nopython=True) もしくは njit 指定で通れば高速化が期待できるが, そうでなければかえって遅くなる傾向がある
  • Julia: Pythonにも似てると言われることもある言語
    • JITによる高速化が見込める(はず)
    • (PyJuliaにて) Pythonから呼び出すことが可能
  • PyPy: JITのある Python環境
    • (どちらかといえば) CPythonの代替環境として
    • ただしバージョンは(この回答現在) CPython 3.9 もしくは 3.10 相当のよう

上記パスワード復号処理ソースをそのまま利用するには難しく, 利用の方法に合わせ変更する必要がありそうです

移植の際の Python言語との違い (主観的には)

C言語 > Cython > Julia > Numba > PyPy
  • Zip管理ツール(バイナリ)の 元ソースが C言語であるなら, Pythonソース側が移植後とも言える
  • Numbaでは, パイソニック(Pythonic)なコードから外れる方向でないと, 高速化は見込めないかもしれない
    • その場合 Julia-langへの移植と比べると「オリジナルとの違い」は逆転するかもしれない
  • PyPy では, CPythonでのソースを改変することなく実行可能
    • というより PyPy 内 zipfileパッケージのコードは, ほぼ CPython版と同様 (普通に Pythonで実装されている)

いくつか試した結果

PyPyと Juliaで試した 処理速度

    # PyPy
time 5.561014728002192
time 5.529734395997366
    # Julia
time 76.98560022699894
time 76.68419108099988

(参考) Julia版の Python部分

# Julia
from julia.api import Julia
jl = Julia(compiled_modules=False)
from julia import Main

Main.include('decryp.jl')

def myZipDecrypter(pwd):
    julia_func = Main._ZipDecrypter(pwd)
    return lambda data: bytes(julia_func(data))

if __name__ == '__main__':
    import zipfile
    zipfile._ZipDecrypter = myZipDecrypter

    import time
    t0 = time.perf_counter()

    with zipfile.ZipFile(zipfname) as zf:
        for info in zf.infolist():
            v = zf.read(info, pwd=b'password')
            print(info.filename, len(v))

    print('time', time.perf_counter() -t0)

PyPy での結果は, 悪くないように思えます
可能であれば, 処理内容によって Python環境を切り替えてみるのもひとつの手ではないでしょうか

  • Python 3.12 として最新機能を利用したい処理
  • パスワード復号などの JIT で高速化が見込める処理

例えば condaなら (事前に環境作っておけば)以下のように切り換えることが可能

$ conda activate pypy
$ python 何らかのアプリ
...
$ conda activate py312
$ python 何らかのアプリ
...

※ Juliaでの速度が遅いのは, 作り方が悪かった(?)のかもしれません

1
  • いろいろ調査していただきありがとうございます。 pypyを試してみましたが確かにある程度実用的な速度が出ました。 ただ今回私が作成しているプログラムはGUIにPySide6を使っているのですが、 pypy3.10だとインストール不可、pypy3.9だとインストールはできるが古い バージョンになってしまう、という問題がありちょっと採用しづらい感じです。 今後別のプログラムで同様の問題に行き当たった際にはpypyの使用を 検討しようと思います。
    – jackson
    Commented 3月5日 10:19

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。