VS Codeで2つの空のファイルを作成しました。1つは UTF-8 エンコード (file.utf8.txt)で、もう1つは Shift JIS エンコード (file.shift_jis.txt) です。
VS Code 上でテキストファイルを作成した際エンコードを設定したのですよね。
であれば、その際 VS Code がそのファイルに質問者さんが設定したエンコードを覚えていて、再度開いて「日本」と入力して保存したとき設定したエンコードでファイルに書き込んだのだと思います。
その後、ファイルを閉じて再度開いた時、内容を変更してファイルを閉じて再度開いた時にも、設定したエンコードで正しく表示されるはずです。
そういうことを書いた公式文書は見つかりませんでしたが、自分の Windows 10 の VS Code v1.91.0 で試すと上に書いた通りの結果が再現できるので、VS Code がエンコードを覚えているというのは間違いなさそうです。下の画像がその例です。赤枠部分を見てください。VS Code はエンコードが Shift_JIS ということを覚えています。
一方、メモ帳でテキストファイルを作成し文字コードを Shift_JIS にして保存したファイルを VS Code で開くと文字化けします。VS Code のエンコーディングはデフォルトで UTF-8 となっているので、赤枠で示したように VS Code はエンコードが UTF-8 と思っているからです。
という訳で、
IM はプロセス間通信のトリックを使って、エディターが使用しているエンコードを覗いて、同じ入力に対して何らかのエンコード変換を実行するのか、それとも IM は同じ入力に対して常に同じ出力を生成して(たとえば、いつも Unicode エンコードを出力し)、その後OS、または他のコンポーネントがこのUnicodeを UTF-8 または Shift JIS に変更するのですか?
・・・との推測ですが、IM は一切関係なくて、エディタ(VS Code もエディタ)の機能(上に書いたように VS Code が設定したエンコードを覚えている)ということでしょう。
つまり、この質問の話は下の図の * 印の場所のエンコードだけが関係していて、
キーボード => IM => エディタ <=(*)=> テキストファイル
質問者さんが最初に VS Code でテキストファイル file.utf8.txt, file.shift_jis.txtを作ったときに、質問者さんがエンコードを以下のように設定したということでしょう。
VS Code <=(UTF-8)=> file.utf8.txt
VS Code <=(Shift_JIS)=> file.shift_jis.txt
VS Code のエンコーディングは、以下の記事によるといろいろ設定できるそうなので、興味があれば試してみてはいかがでしょう。
VS Codeでエンコーディングを変更、自動判別するには
https://atmarkit.itmedia.co.jp/ait/articles/1806/01/news051.html