2

VS Codeで2つの空のファイルを作成しました。1つは UTF-8 エンコード (file.utf8.txt)で、もう1つは Shift JIS エンコード (file.shift_jis.txt) です。

od コマンドを使ってこれらの2つの空のファイルの内容を表示すると、ファイルで使用されている文字エンコードをファイル自体に保存しないことがわかります (テキストファイルには、メタデータを格納するためのヘッダーがないので)。これは予想通りになります。

$ touch file.utf8.txt
$ touch file.shift_jis.txt
$ od -t x1 file.utf8.txt
$ od -t x1 file.shift_jis.txt

次に、日本語IMを起動し、同じローマ字のシーケンス「nihon」を入力して、これらの2つのファイルに「日本」という2つの漢字をそれぞれに入力してみます。どのファイルでも、文字化けなく漢字を正常に表示できます。

そして、od コマンドで2つのファイルの内容を再度表示すると、IMは同じ入力「nihon」に対して次のように異なる出力を生成するようです。

$ od -t x1 file.utf8.txt 
0000000    e6  97  a5  e6  9c  ac                                        
0000006

$ od -t x1 file.shift_jis.txt 
0000000    93  fa  96  7b                                                
0000004

IM はプロセス間通信のトリックを使って、エディターが使用しているエンコードを覗いて、同じ入力に対して何らかのエンコード変換を実行するのか、それとも IM は同じ入力に対して常に同じ出力を生成して(たとえば、いつも Unicode エンコードを出力し)、その後OS、または他のコンポーネントがこのUnicodeを UTF-8 または Shift JIS に変更するのですか?

2 件の回答 2

3

短い答: Win32 配下は Input Method は UTF-16 を使います。

長い答:
Input Method は結局のところ Windows API の一部として動作し、キートップに書かれている文字のコードの代わりに当該地方向け言語に固有な文字に変換したコードを返します。 Win32API はその内部では UTF-16 を取り扱いますので Input Method 自体が取り扱う文字コードも UTF-16 です。

各種エディタは「メモリ上の文字コード」と「ファイル上の文字コード」を相互変換しています。まあ今どきのエディタだと「メモリ上の文字コード」は UTF-16 ないしは UTF-32 でしょう。先に書いた通り Win32API 配下では Input Method からもらってくる文字コードは UTF-16 なので、エディタは必要に応じて UTF-16 / UTF-32 の相互変換を内部で行っています。

これに対して「ファイル上の文字コード」は(厳密にはエンコーディングと呼ぶべきか?) CP932 (shift-jis) だったり EUC-jp だったり UTF-8 だったり、その他だったりといろいろです。なのでエディタはやはり、ファイル入出力の際に内部コードと外部コードのエンコーディングの相互変換を行います。

ファイルの中身が実際にどのエンコーディングで保存されているかはメタ情報がないとわかりません。それゆえに既存のファイルを読む際、エンコーディングの自動判定とか手動指定とかを誤ると文字化けが生じたりします。

新規ファイルを作成する際にどのエンコーディングを使うかは(今回の事例ですな)そのエディタの仕様次第です。おそらく VSCode はファイル名にエンコーディング名相当の文字列が含まれているとそれを使うのでしょう(このへんは憶測。裏付けは取っていません)
オイラのメインエディタである Emacs だと ~/.emacs/init.el で指定したデフォルトエンコーディングが使われます。オイラんとこではファイル名によらない固定値を指定しているので、新規ファイルを作成した場合にはファイル名によらず CP932 が使われます。

1

VS Codeで2つの空のファイルを作成しました。1つは UTF-8 エンコード (file.utf8.txt)で、もう1つは Shift JIS エンコード (file.shift_jis.txt) です。

VS Code 上でテキストファイルを作成した際エンコードを設定したのですよね。

であれば、その際 VS Code がそのファイルに質問者さんが設定したエンコードを覚えていて、再度開いて「日本」と入力して保存したとき設定したエンコードでファイルに書き込んだのだと思います。

その後、ファイルを閉じて再度開いた時、内容を変更してファイルを閉じて再度開いた時にも、設定したエンコードで正しく表示されるはずです。

そういうことを書いた公式文書は見つかりませんでしたが、自分の Windows 10 の VS Code v1.91.0 で試すと上に書いた通りの結果が再現できるので、VS Code がエンコードを覚えているというのは間違いなさそうです。下の画像がその例です。赤枠部分を見てください。VS Code はエンコードが Shift_JIS ということを覚えています。

画像の説明をここに入力

一方、メモ帳でテキストファイルを作成し文字コードを Shift_JIS にして保存したファイルを VS Code で開くと文字化けします。VS Code のエンコーディングはデフォルトで UTF-8 となっているので、赤枠で示したように VS Code はエンコードが UTF-8 と思っているからです。

画像の説明をここに入力

という訳で、

IM はプロセス間通信のトリックを使って、エディターが使用しているエンコードを覗いて、同じ入力に対して何らかのエンコード変換を実行するのか、それとも IM は同じ入力に対して常に同じ出力を生成して(たとえば、いつも Unicode エンコードを出力し)、その後OS、または他のコンポーネントがこのUnicodeを UTF-8 または Shift JIS に変更するのですか?

・・・との推測ですが、IM は一切関係なくて、エディタ(VS Code もエディタ)の機能(上に書いたように VS Code が設定したエンコードを覚えている)ということでしょう。

つまり、この質問の話は下の図の * 印の場所のエンコードだけが関係していて、

キーボード => IM => エディタ <=(*)=> テキストファイル

質問者さんが最初に VS Code でテキストファイル file.utf8.txt, file.shift_jis.txtを作ったときに、質問者さんがエンコードを以下のように設定したということでしょう。

VS Code <=(UTF-8)=> file.utf8.txt

VS Code <=(Shift_JIS)=> file.shift_jis.txt

VS Code のエンコーディングは、以下の記事によるといろいろ設定できるそうなので、興味があれば試してみてはいかがでしょう。

VS Codeでエンコーディングを変更、自動判別するには
https://atmarkit.itmedia.co.jp/ait/articles/1806/01/news051.html

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。