0

python3.4, OSX 10.9.5, numpy 1.11.0 を用いています。

import numpy as np
data = np.genfromtxt("hoge.tsv", delimiter="\t", names=True, dtype=float, converters={1: lambda x: x.decode('utf_8')})

を行ったところ、UnicodeDecodeErrorが出ます。

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe3 in position 1: ordinal not in range(128)

hoge.tsvはutf-8できちんとコーディングできています。
一行目がヘッダー、二行目以下は小数や整数が並んでいます。
一行目のヘッダーのところにのみ日本語が用いられていて、
「日付_2015年」「性別」のようなヘッダーがついています。
ヘッダー行を抜かしたファイルを作成したところ、正しく読み込むことができました。

ここここのように解決しようとしているのですが、解決できません。

python
import sys
sys.getdefaultencoding()

'utf-8'
とpython自体のデフォルトはutf-8であることは確認しています。

dtype=float の指定などがいけないのでしょうか?
どのようにすれば良いのでしょうか。
ご教示いただけますと幸いです。

4
  • teratail.com/questions/44126 マルチポスト
    – htb
    Commented 2016年8月12日 17:12
  • すみません、困っていたので双方に投稿してしまいました。こういったことはやめた方が良いのでしょうか。消した方が良いでしょうか。
    – 初心者
    Commented 2016年8月12日 18:21
  • このサイトでは禁止されていません。ただ、回答者に配慮してリンクを貼ると良いのではないでしょうか。過去のメタ投稿もご参考になさってください。meta.ja.stackoverflow.com/questions/1766 余談ですが、teratailでは規約で禁止されているそうです。
    – htb
    Commented 2016年8月13日 3:15
  • ありがとうございました。勉強になりました。お手数おかけして申し訳ありません。気をつけます。
    – 初心者
    Commented 2016年8月13日 8:30

1 件の回答 1

1

エラーメッセージから、該当するソースコード部分を見てみます。

numpy.genfromtxt() の呼び出しで names=True を指定すると、ヘッダ行に対して _bytes_to_name() が呼ばれることになります。

numpy-1.11/lib/npyio.py

# Check the names and overwrite the dtype.names if needed
if names is True:
    names = validate_names([_bytes_to_name(_.strip())
                            for _ in first_values])
    first_line = asbytes('')
elif _is_string_like(names):
    names = validate_names([_.strip() for _ in names.split(',')])
elif names:
    names = validate_names(names)

_bytes_to_name() ではヘッダ行のバイト列を ASCII コーデックにデコードしようとしてエラーが発生する事になります。

numpy-1.11/lib/_iotools.py

if sys.version_info[0] >= 3:
    def _bytes_to_complex(s):
        return complex(s.decode('ascii'))

    def _bytes_to_name(s):
        return s.decode('ascii')

仕方がないので、ヘッダ(カラム名のリスト)を別途作成することにします。

>>> import numpy as np
>>> with open('hoge.tsv', 'rb') as f:
>>>   header = f.readline().decode('utf-8').strip('\n').split('\t')
>>>   data = np.genfromtxt(f, delimiter='\t', names=header, dtype=float)

numpy.genfromtxt() への入力はバイト列にする必要があるので open('hoge.tsv', 'rb') としています。そのため、ヘッダ行を utf-8 にデコードしています。

3
  • 1
    詳細なコメントありがとうございます。 ヘッダー行の情報を用いるためには、別途作成する、別途読み込ませるしか、ないのですね。。。 勉強になりました。本当にありがとうございます。
    – 初心者
    Commented 2016年8月12日 13:49
  • numpy ではなく、例えば pandas であればヘッダが UTF-8 エンコーディングでも読み込んでくれます。 pandas.read_csv('hoge.tsv', delimiter='\t') ただ、戻り値はデータフレームになりますが…
    – user39889
    Commented 2016年8月12日 14:12
  • なるほど。pandasで読み込んでからnumpyに渡す、というのも一つの手なのですね。
    – 初心者
    Commented 2016年8月12日 14:55

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。