Skip to main content
3 / 6
locale モジュールにより、システムの文字コードを取得し、decodeにエンコード指定をして実行しました。

Windows 文字コードに関するエラー

現象

subprocessモジュールで、Windowsのsysteminfoを取得し、'shift-jis'デコードすると、環境によって例外が送出される。
PC1では例外発生:過去にはPC2同様問題なかった。
PC2では問題ない

ちなみにソースコード上の以下の部分を変更することで、PC1,PC2とも例外は発生しなくなります。

textout = retout.decode('shift-jis') -> textout = retout.decode()

知りたいこと

  • systeminfoの内容(環境ごとの情報の中に文字コードが異なるものがある可能性)によって発生するのか
  • 環境ごとに発生するとしたら、どのように原因を調べたらよいか?(環境変数にそれらしき違いはありませんでした。)

環境

・Windows 10 Pro
・VScode 1.72.0
・Python 3.9.10

PC1、PC2ともに上記の環境

発生する例外

UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x97 in position 2475: illegal multibyte sequence  

ソースコード

import json
import subprocess

cmd_list = ['systeminfo', '/fo', 'LIST']

cmdreturn = subprocess.run(
    cmd_list, check=True, stdout=subprocess.PIPE)

retcode = cmdreturn.returncode
retout = cmdreturn.stdout
#textout = retout.decode()
try:
    textout = retout.decode('shift-jis')
except Exception as e:
    print(e)
    raise e

text_list = textout.splitlines()


param_dict = dict()
c_key = None

for text_line in text_list:
    if not text_line.startswith(' '):
        if ':' in text_line:
            key_word = text_line.split(':', maxsplit=1)
            if key_word[1].startswith(' '):
                key_word[1] = key_word[1].lstrip()
            param_dict.setdefault(key_word[0], key_word[1])
            c_key = key_word[0]
    else:
        temp = text_line.lstrip()
        if '\t' in temp:
            temp = temp.split('\t')
            temp = ''.join(temp)
        if c_key in param_dict:
            c_data = param_dict[c_key]
            if isinstance(c_data, list):
                set_list = c_data
                set_list.append(temp)
                pass
            else:
                set_list = [c_data, temp]
                param_dict[c_key] = set_list
else:
    ret_dump = json.dumps(param_dict, indent=2, ensure_ascii=False)

print(ret_dump)

追加試験

文字コード指定

localeモジュールにより、システムのエンコードを取得し、これをdecode時に指定しました。結果は同じで、0x97がErrorとなります。

バイナリエディタの該当部分をコピペして、サクラエディタに貼り付けると、「・」という表示になりました。
コマンドプロンプトで、systeminfo /fo LISTを実行した結果の該当行は、以下の表示になります。

接続名:           イーサネット 5

ソースコード改訂

import json
import locale
import subprocess

cmd_list = ['systeminfo', '/fo', 'LIST']

cmdreturn = subprocess.run(
    cmd_list, check=True, stdout=subprocess.PIPE)

local_encode = locale.getdefaultlocale()
if local_encode:
    language_code, encoding = local_encode

    retcode = cmdreturn.returncode
    retout = cmdreturn.stdout

    with open('systeminfo.bin','bw') as f:
        f.write(retout)
    #textout = retout.decode()
    try:
        textout = retout.decode(encoding)
    except Exception as e:
        print(e)
        raise e

    text_list = textout.splitlines()


    param_dict = dict()
    c_key = None

    for text_line in text_list:
        if not text_line.startswith(' '):
            if ':' in text_line:
                key_word = text_line.split(':', maxsplit=1)
                if key_word[1].startswith(' '):
                    key_word[1] = key_word[1].lstrip()
                param_dict.setdefault(key_word[0], key_word[1])
                c_key = key_word[0]
        else:
            temp = text_line.lstrip()
            if '\t' in temp:
                temp = temp.split('\t')
                temp = ''.join(temp)
            if c_key in param_dict:
                c_data = param_dict[c_key]
                if isinstance(c_data, list):
                    set_list = c_data
                    set_list.append(temp)
                    pass
                else:
                    set_list = [c_data, temp]
                    param_dict[c_key] = set_list
    else:
        ret_dump = json.dumps(param_dict, indent=2, ensure_ascii=False)

        print(ret_dump)

発生する例外

UnicodeDecodeError: 'cp932' codec can't decode byte 0x97 in position 2475: illegal multibyte sequence

バイナリエディタ

バイナリを出力してエディタで表示した結果画像を貼り付けます。

バイナリエディタ表示