現象
subprocessモジュールで、Windowsのsysteminfoを取得し、'shift-jis'デコードすると、環境によって例外が送出される。
PC1では例外発生:過去にはPC2同様問題なかった。
PC2では問題ない
ちなみにソースコード上の以下の部分を変更することで、PC1,PC2とも例外は発生しなくなります。
textout = retout.decode('shift-jis') -> textout = retout.decode()
知りたいこと
- systeminfoの内容(環境ごとの情報の中に文字コードが異なるものがある可能性)によって発生するのか
- 環境ごとに発生するとしたら、どのように原因を調べたらよいか?(環境変数にそれらしき違いはありませんでした。)
環境
・Windows 10 Pro
・VScode 1.72.0
・Python 3.9.10
PC1、PC2ともに上記の環境
発生する例外
UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x97 in position 2475: illegal multibyte sequence
ソースコード
import json
import subprocess
cmd_list = ['systeminfo', '/fo', 'LIST']
cmdreturn = subprocess.run(
cmd_list, check=True, stdout=subprocess.PIPE)
retcode = cmdreturn.returncode
retout = cmdreturn.stdout
#textout = retout.decode()
try:
textout = retout.decode('shift-jis')
except Exception as e:
print(e)
raise e
text_list = textout.splitlines()
param_dict = dict()
c_key = None
for text_line in text_list:
if not text_line.startswith(' '):
if ':' in text_line:
key_word = text_line.split(':', maxsplit=1)
if key_word[1].startswith(' '):
key_word[1] = key_word[1].lstrip()
param_dict.setdefault(key_word[0], key_word[1])
c_key = key_word[0]
else:
temp = text_line.lstrip()
if '\t' in temp:
temp = temp.split('\t')
temp = ''.join(temp)
if c_key in param_dict:
c_data = param_dict[c_key]
if isinstance(c_data, list):
set_list = c_data
set_list.append(temp)
pass
else:
set_list = [c_data, temp]
param_dict[c_key] = set_list
else:
ret_dump = json.dumps(param_dict, indent=2, ensure_ascii=False)
print(ret_dump)
追加試験
文字コード指定
localeモジュールにより、システムのエンコードを取得し、これをdecode時に指定しました。結果は同じで、0x97がErrorとなります。
バイナリエディタの該当部分をコピペして、サクラエディタに貼り付けると、「・」という表示になりました。
コマンドプロンプトで、systeminfo /fo LISTを実行した結果の該当行は、以下の表示になります。
接続名: イーサネット 5
ソースコード改訂
import json
import locale
import subprocess
cmd_list = ['systeminfo', '/fo', 'LIST']
cmdreturn = subprocess.run(
cmd_list, check=True, stdout=subprocess.PIPE)
local_encode = locale.getdefaultlocale()
if local_encode:
language_code, encoding = local_encode
retcode = cmdreturn.returncode
retout = cmdreturn.stdout
with open('systeminfo.bin','bw') as f:
f.write(retout)
#textout = retout.decode()
try:
textout = retout.decode(encoding)
except Exception as e:
print(e)
raise e
text_list = textout.splitlines()
param_dict = dict()
c_key = None
for text_line in text_list:
if not text_line.startswith(' '):
if ':' in text_line:
key_word = text_line.split(':', maxsplit=1)
if key_word[1].startswith(' '):
key_word[1] = key_word[1].lstrip()
param_dict.setdefault(key_word[0], key_word[1])
c_key = key_word[0]
else:
temp = text_line.lstrip()
if '\t' in temp:
temp = temp.split('\t')
temp = ''.join(temp)
if c_key in param_dict:
c_data = param_dict[c_key]
if isinstance(c_data, list):
set_list = c_data
set_list.append(temp)
pass
else:
set_list = [c_data, temp]
param_dict[c_key] = set_list
else:
ret_dump = json.dumps(param_dict, indent=2, ensure_ascii=False)
print(ret_dump)
発生する例外
UnicodeDecodeError: 'cp932' codec can't decode byte 0x97 in position 2475: illegal multibyte sequence
バイナリエディタ
バイナリを出力してエディタで表示した結果画像を貼り付けます。