失礼しました、上のコメントは忘れて下さい(しばらくしたら削除します)。
文字列をバイト列に変換して表示してみると、確かに 0x00(NULL) が最後に追加されていますね。
(with-open-file (s "text.txt" :direction :input)
(let ((buf (make-string (file-length s))))
(read-sequence buf s)
(sb-ext:string-to-octets buf)))
=>
#(230 151 165 230 156 172 232 170 158 227 129 167 230 155 184 227 129 139 227
130 140 227 129 159 230 150 135 231 171 160 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0)
とはいうものの、buf
を文字列として扱う場合、0x00
は null terminator(文字列の終端)になりますので、特に問題はないかと思います。
ご要望通りにサイズを合わせたい場合はバイト列を使います。
(with-open-file (s "text.txt" :direction :input :element-type '(unsigned-byte 8))
(let ((buf (make-sequence '(vector (unsigned-byte 8)) (file-length s))))
(read-sequence buf s)
buf))
=>
#(230 151 165 230 156 172 232 170 158 227 129 167 230 155 184 227 129 139 227
130 140 227 129 159 230 150 135 231 171 160)
これを文字列に戻すには sb-ext:octets-to-string
を使います。
(with-open-file (s "text.txt" :direction :input :element-type '(unsigned-byte 8))
(let ((buf (make-sequence '(vector (unsigned-byte 8)) (file-length s))))
(read-sequence buf s)
(sb-ext:octets-to-string buf :external-format :utf-8)))
=>
"日本語で書かれた文章"
read-sequence
に文字列のバッファを渡すと、内部でパディング領域を追加してしまう様です。
追記
少し不思議なのは、read-sequence
の実行後に buf
のサイズが増えていることなのです。
(with-open-file (s "test.txt" :direction :input)
(let ((buf (make-string (file-length s))))
(format t "~D ~a~%" (length (sb-ext:string-to-octets buf)) (sb-ext:string-to-octets buf))
(read-sequence buf s)
(format t "~D ~a~%" (length (sb-ext:string-to-octets buf)) (sb-ext:string-to-octets buf))))
=>
30 #(0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0)
50 #(230 151 165 230 156 172 232 170 158 227 129 167 230 155 184 227 129 139
227 130 140 227 129 159 230 150 135 231 171 160 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0)
30 byte(UTF-8 10文字)から 50 byte に増えていて、0x00
が 20 byte 追加されています。
initial-element
を指定しても同様です。
(with-open-file (s "test.txt" :direction :input)
(let ((buf (make-string (file-length s) :initial-element #\Space)))
(format t "~D ~a~%" (length (sb-ext:string-to-octets buf)) (sb-ext:string-to-octets buf))
(read-sequence buf s)
(format t "~D ~a~%" (length (sb-ext:string-to-octets buf)) (sb-ext:string-to-octets buf))))
=>
30 #(32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
32 32 32 32 32 32)
50 #(230 151 165 230 156 172 232 170 158 227 129 167 230 155 184 227 129 139
227 130 140 227 129 159 230 150 135 231 171 160 32 32 32 32 32 32 32 32 32
32 32 32 32 32 32 32 32 32 32 32)
更に追記
SBCL の read-sequence
の実装を確認してみました。
"日本語で書かれた文章"/UTF-8 => 30 byte
"日本語で書かれた文章"/UTF-8 => 10 文字
byte 単位で見れば 30 byte なのですが、UTF-8 encoding で見れば 10 文字となります。
read-sequence
が何をしているかというと、
make-string 直後の buf => #[0 0 ...] (30 byte)
日 => E6 97 A5 => 230 151 165
まず、日(230 151 165) というシーケンスを buf の最初の要素(buf[0]
)と置き換えています。そして、"本"、"語"、…と続きます。
つまり、最終的に 30 byte - 10 byte(10 文字分) + 30 byte(UTF-8 10文字) = 50 byte
に置き換わることになります。
では、test.txt の内容が ASCII 文字のみの場合はどうなるのでしょうか。
alphabet.txt => "Hello World!"
(with-open-file (s "alphabet.txt" :direction :input)
(let ((buf (make-string (file-length s) :initial-element #\Space)))
(format t "~D ~a~%" (length (sb-ext:string-to-octets buf)) (sb-ext:string-to-octets buf))
(read-sequence buf s)
(format t "~D ~a~%" (length (sb-ext:string-to-octets buf)) (sb-ext:string-to-octets buf))))
=>
12 #(32 32 32 32 32 32 32 32 32 32 32 32)
12 #(72 101 108 108 111 32 87 111 114 108 100 33)
バイト列のサイズは作成時と同じになっています(1 文字 = 1 byte)。
なので、wide char を含む文字列の場合は(結果的に)文字列が拡張されてしまう、という事になりますでしょうか。おそらく Lisp 処理系ごとで挙動が違うのだと思いますが。。。