3

PythonでUnicodeに変換するにはu"abc"とする方法と、unicode()を使う方法があると思います。
下記を実行すると、結果が異なるのですが、どのような違いがあるのでしょうか。
上は1, 下は6が返ります。

print len(u"\u2192")
print len(unicode("\u2192"))

外部からUnicodeを読み込んで、文字として表示したいのですがここで躓いてしまいました。
よろしくお願いいたします。

1
  • 2
    PythonはUnicodeの扱いが2系列と3系列では大きく変わったと思うので、どちらのバージョンを前提にしているのか明記した方がいいと思います。
    – hata
    Commented 2015年11月28日 6:40

2 件の回答 2

6

#Python2である事は明らかですね

文字列strとUnicodeとエンコード(UTF-8, UTF-16...)の関係

unicode(str, [encoding, errors])はstrを受け取り、encodingは指定しなければデフォルトのエンコーディングになります。

まずデフォルトのエンコーディングを確認してみます。

>>> import sys
>>> sys.getdefaultencoding()
'ascii'

デフォルトはasciiのようです。のUTF-8は0xe2 0x86 0x92なのですが

>>> print unicode("\xe2\x86\x92")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 0: ordinal not in range(128)

あの忌々しいエラーになります。なぜかというとASCIIデコーダは0x00-0x7Fが有効な範囲で0xe2は範囲外だから。そこで入力された文字列はUTF-8のエンコードである事を教えます。

>>> print unicode("\xe2\x86\x92", "utf-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2192' in position 0: ordinal not in range(128)

またエラーです!しかしエラーメッセージをよく見てみると先ほどはdecodeエラーだったのが、今回はencodeエラーです。U2192のUnicodeオブジェクトはasciiエンコーダでは表現できないわけです。僕の使っている端末はUTF-8なので.encode('utf-8')でUTF-8の文字列に変換します。

>>> print unicode("\xe2\x86\x92", "utf-8").encode('utf-8')
→

めでたく→が表示されました。今度はUTF-16でエンコードされた文字列を与えて、さらにUTF-8に変換して端末に表示してみます。utf-16beのbeはビッグエンディアンのことです。

>>> print unicode("\x21\x92", "utf-16be").encode('utf-8')
→

うまくプリントできました!ちなみにutf-16leでリトルエンディアン指定だと、正しくない文字になります。

>>> print unicode("\x21\x92", "utf-16le").encode('utf-8')
鈡

バイト順を変えれば正しく表示されます。

>>> print unicode("\x92\x21", "utf-16le").encode('utf-8')
→

ただのUTF-16だと、次のような結果になったのでリトルエンディアンと同じ扱いになるみたいです。UTF-16の標準なのか、Pythonの標準なのかCPU依存なのかは調べていないので不明です。

>>> print unicode("\x92\x21", "utf-16").encode('utf-8')
→
>>> print unicode("\x21\x92", "utf-16").encode('utf-8')
鈡

最後に、u""プリフィックスは文字列がそのファイルのエンコードで書かれているか、\uで指定したUTF-16の文字列をUnicodeオブジェクトとして扱うという意味です。ファイルの先頭に coding: utf-8とあれば、""の中のバイト列をUTF-8と解釈して、Unicodeオブジェクトに変換します。u""以外の場所で\uを指定してもUnicodeの意味になりません。

質問の内容の結果の違いについて。

以上文字列とユニコードとエンコーダ、デコーダの関係が分かったところで、質問の内容です。

print len(u"\u2192")
print len(unicode("\u2192"))

1行目は正しくUTF-16のバイトを1文字のUnicodeオブジェクトに変換しています。2行目は\u2192という文字列なのですが、先に書いたようにu""以外の場所で\uを指定してもUnicodeの意味になりません。つまり\とuと2と1と9と2と同じです。なので6文字をUnicodeオブジェクトに変換しても6文字の長さのままになります。

>>> print repr("\u2192")
'\\u2192'  # \がエスケープされて\\になっているが、\u2192というASCII文字列のまま
>>> print repr(unicode("\u2192"))
u'\\u2192' # \ u 2 1 9 2というASCII文字列をUnicodeオブジェクトに変換しただけなので6文字。
>>> print repr(u"\u2192")
u'\u2192'  # UTF16のU2192文字になっている
3

Python3で、Unicodeはデフォルトです。unicode()コンストラクタはありませh。

Python2

入力:

print(unicode("\u2192"))

結果:

\u2192

入力:

print(u"\u2192")

結果:

Unicode HOWTOから、

unicode() コンストラクタは unicode(string[, encoding, errors]) という用法を持っています。

unicode("\u2192") ≠ u"\u2192"

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。