0

Zip, io.BytesIO の意味や使い方はどういうものでしょうか?
データをWebからロードする方法について教えてくださればありがたいです。

zip_url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/00228/smsspamcollection.zip'
r = requests.get(zip_url)
z = ZipFile(io.BytesIO(r.content))
file = z.read('SMSSpamCollection')

参照:Tensorflow機械学習クックブック

1 件の回答 1

2

実行の流れは次の通りです。

  1. HTTP GETをrequestsで実行
  2. r.contentの結果をio.BytesIOでファイルストリームに変換
  3. ZipFileにファイルストリームを引き渡してZipFileオブジェクトを作成
  4. ZipFileオブジェクトからSMSSpamCollectionファイルを抽出

requestsはHTTPのGET/POSTなどの操作が簡単にできる便利なライブラリです。get()で取得したデータはr.contentデータ全体bytesバッファに格納されています。

>>> type(r.content)
<class 'bytes'>

ZipFileはzipfileモジュールで提供されるクラスで、ZIPで圧縮されたデータの操作が行えます。

>>> help(ZipFile)
Help on class ZipFile in module zipfile:

class ZipFile(builtins.object)
 |  Class with methods to open, read, write, close, list zip files.
 |
 |  z = ZipFile(file, mode="r", compression=ZIP_STORED, allowZip64=True)
 |
 |  file: Either the path to the file, or a file-like object.
 |        If it is a path, the file will be opened and closed by ZipFile.
 |  mode: The mode can be either read 'r', write 'w', exclusive create 'x',
 |        or append 'a'.
 |  compression: ZIP_STORED (no compression), ZIP_DEFLATED (requires zlib),
 |               ZIP_BZIP2 (requires bz2) or ZIP_LZMA (requires lzma).
 |  allowZip64: if True ZipFile will create files with ZIP64 extensions when
 |              needed, otherwise it will raise an exception when this would
 |              be necessary.

ZipFileクラスの引数は上のヘルプでわかるように、ファイルへのパスかファイルオブジェクトです。bytesをそのまま読み込むことはできないようです。そのためbytesをファイルオブジェクトとして扱うためにio.BytesIOを使います。

>>> help(io.BytesIO)
Help on class BytesIO in module io:

class BytesIO(_BufferedIOBase)
 |  Buffered I/O implementation using an in-memory bytes buffer.

ウェブからロードする方法はこのサンプルの通りで良いと思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。