PythonでUnicodeに変換するにはu"abc"とする方法と、unicode()を使う方法があると思います。
下記を実行すると、結果が異なるのですが、どのような違いがあるのでしょうか。
上は1, 下は6が返ります。
print len(u"\u2192")
print len(unicode("\u2192"))
外部からUnicodeを読み込んで、文字として表示したいのですがここで躓いてしまいました。
よろしくお願いいたします。
PythonでUnicodeに変換するにはu"abc"とする方法と、unicode()を使う方法があると思います。
下記を実行すると、結果が異なるのですが、どのような違いがあるのでしょうか。
上は1, 下は6が返ります。
print len(u"\u2192")
print len(unicode("\u2192"))
外部からUnicodeを読み込んで、文字として表示したいのですがここで躓いてしまいました。
よろしくお願いいたします。
#Python2である事は明らかですね
unicode(str, [encoding, errors])
はstrを受け取り、encodingは指定しなければデフォルトのエンコーディングになります。
まずデフォルトのエンコーディングを確認してみます。
>>> import sys
>>> sys.getdefaultencoding()
'ascii'
デフォルトはasciiのようです。→
のUTF-8は0xe2 0x86 0x92なのですが
>>> print unicode("\xe2\x86\x92")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 0: ordinal not in range(128)
あの忌々しいエラーになります。なぜかというとASCIIデコーダは0x00-0x7Fが有効な範囲で0xe2は範囲外だから。そこで入力された文字列はUTF-8のエンコードである事を教えます。
>>> print unicode("\xe2\x86\x92", "utf-8")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2192' in position 0: ordinal not in range(128)
またエラーです!しかしエラーメッセージをよく見てみると先ほどはdecodeエラーだったのが、今回はencodeエラーです。U2192のUnicodeオブジェクトはasciiエンコーダでは表現できないわけです。僕の使っている端末はUTF-8なので.encode('utf-8')
でUTF-8の文字列に変換します。
>>> print unicode("\xe2\x86\x92", "utf-8").encode('utf-8')
→
めでたく→が表示されました。今度はUTF-16でエンコードされた文字列を与えて、さらにUTF-8に変換して端末に表示してみます。utf-16beのbeはビッグエンディアンのことです。
>>> print unicode("\x21\x92", "utf-16be").encode('utf-8')
→
うまくプリントできました!ちなみにutf-16leでリトルエンディアン指定だと、正しくない文字になります。
>>> print unicode("\x21\x92", "utf-16le").encode('utf-8')
鈡
バイト順を変えれば正しく表示されます。
>>> print unicode("\x92\x21", "utf-16le").encode('utf-8')
→
ただのUTF-16だと、次のような結果になったのでリトルエンディアンと同じ扱いになるみたいです。UTF-16の標準なのか、Pythonの標準なのかCPU依存なのかは調べていないので不明です。
>>> print unicode("\x92\x21", "utf-16").encode('utf-8')
→
>>> print unicode("\x21\x92", "utf-16").encode('utf-8')
鈡
最後に、u""プリフィックスは文字列がそのファイルのエンコードで書かれているか、\uで指定したUTF-16の文字列をUnicodeオブジェクトとして扱うという意味です。ファイルの先頭に coding: utf-8とあれば、""の中のバイト列をUTF-8と解釈して、Unicodeオブジェクトに変換します。u""
以外の場所で\u
を指定してもUnicodeの意味になりません。
以上文字列とユニコードとエンコーダ、デコーダの関係が分かったところで、質問の内容です。
print len(u"\u2192")
print len(unicode("\u2192"))
1行目は正しくUTF-16のバイトを1文字のUnicodeオブジェクトに変換しています。2行目は\u2192という文字列なのですが、先に書いたようにu""
以外の場所で\u
を指定してもUnicodeの意味になりません。つまり\とuと2と1と9と2と同じです。なので6文字をUnicodeオブジェクトに変換しても6文字の長さのままになります。
>>> print repr("\u2192")
'\\u2192' # \がエスケープされて\\になっているが、\u2192というASCII文字列のまま
>>> print repr(unicode("\u2192"))
u'\\u2192' # \ u 2 1 9 2というASCII文字列をUnicodeオブジェクトに変換しただけなので6文字。
>>> print repr(u"\u2192")
u'\u2192' # UTF16のU2192文字になっている
Python3で、Unicodeはデフォルトです。unicode()コンストラクタはありませh。
Python2
入力:
print(unicode("\u2192"))
結果:
\u2192
入力:
print(u"\u2192")
結果:
→
unicode() コンストラクタは unicode(string[, encoding, errors]) という用法を持っています。
unicode("\u2192") ≠ u"\u2192"