現象として、日本語のファイルを読んだらNull文字でパディングされたように見えているだけで、実際に起きていることは違います。
make-string
make-string
は指定した長さの文字列を作りますが、初期値は処理系によって違います。
SBCLの場合は、Null文字であった、というだけです。
(make-string 10)
;=> "^@^@^@^@^@^@^@^@^@^@"
read-sequence
read-sequence
は、用意されたシーケンス(文字列もシーケンス)に読み込んだものを植え付けます。
この2つが合さって、Null文字でパディングされているように見えた、ということになります。
日本語かどうかと、何でパディングされるか、は無関係ということになります。
(with-open-file (s "/tmp/j.txt" :direction :input)
(let ((buf (make-string (file-length s) :initial-element #\Space))); 初期値に空白を与えた場合
(read-sequence buf s)
buf))
;=> "日本語で書かれた文章 "
日本語のテキストを読み込むには
日本語のテキストを読み書きするのに、オクテットに変換することはまず無く、大抵は、単にエンコーディングを合わせてread-line
するだけです。
(with-open-file (s "test.txt" :direction :input :external-format :utf-8)
(let ((buf (read-line s)))
buf))
;=> "日本語で書かれた文章"
なお、複数行の場合はファイル終端まで繰り返します。
(with-open-file (s "test.txt" :direction :input :external-format :utf-8)
(loop :for line := (read-line s nil) :while line
:collect line))
;=> ("日本語で書かれた文章")