9
票
承認済み
UTF-8で日本語1文字が3バイトなのはなぜ?
おそらく、ひらがな1文字が2バイトのエンコーディングということで、シフト JIS で符号化されたひらがなを想定しているのかなと思っています。シフト JIS は日本語文字を表現するために作られた文字符号化方式なので、日本語に絞ってエンコードを最適化できるので、日本語文字を2バイトの範囲に収めることができます。
Unicode は、世界のすべての文字をまずコードポイントでもって表して (U+NNNN ...
8
票
承認済み
Pythonのchardetモジュールが、"testあ"という文字列(UTF-8)の文字コードを"Windows-1254"だと判定する
"testあ"のUTF-8表現は、74 65 73 74 e3 81 82 (1バイトデータの表記は全部16進、以下同様, python3風に書くとb'\x74\x65\x73\x74\xe3\x81\x82')で、chardetが判定するのは「文字列」ではなく、このバイト列です。
ちなみにこのバイト列をUTF-8, Shift_JIS, EUC-JP, ISO-8859-1, Code ...
8
票
承認済み
string.charCodeAt(n)で、文章変換は、できない?
質問者様にサロゲートペアの知識がないもの&大文字小文字誤記と判断して回答したします。
やりたいことは「入力された文字列をUTF-16のコードポイントに変換する」として
期待値は
a => 97
A => 65
あ => 12354(0x3042)
𩸽 => 55399,56893(0xD8670xDE3D)
(𩸽がなぜ2文字になるのかは後述)
ただし、...
8
票
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
「ユニコードの1F600」という意味で合っているでしょう。
(それと「2進数に変えて理解深めたい」とのつながりが不明ですが)
ただし気になることがあるなら、以下のように元々の仕様を探ってみましょう。
「unicode specification」というキーワードで検索するとAbout the Unicode® Standardというページとか出てきて、その左上にLatest ...
6
票
utf8mb4は誰がどこで決めた仕様?
全般的におかしいので指摘を残しておきます
Unicode には BMP (Basic Multilingual Plane) という概念があって
https://ja.wikipedia.org/wiki/%E5%9F%BA%E6%9C%AC%E5%A4%9A%E8%A8%80%E8%AA%9E%E9%9D%A2
これは UNICODE 3.0 までで追加された「よく使うであろう」...
5
票
Shift_JISX0213 (Shift_JIS_2004) はどこで使われていますか?
Windows 由来のデータを Shift_JIS X 0213 系の文字コードとして読んでしまうと(中略)文字化けします。
おっしゃる通りです。WindowsではJIS X 0213に対応していますが、それは文字集合としてのJIS X 0213が収録されているUnicode3.1以降に対応しているという意味で、符号化としてのShift_JIS-2004エンコーディングには対応していません。
...
5
票
承認済み
この 𝘾 は何ですか? 普通の C と何が異なるのですか?
この 𝘾 は何ですか?
Unicodeの数学用英数字記号です。
普通の C と何が異なるのですか?
𝘾 と C は別の文字です。C はASCIIに含まれていますが、𝘾 は含まれていません。
𝘾: U+1D63E
C: U+0043
5
票
string.charCodeAt(n)で、文章変換は、できない?
"ABC"→"65,66,67"
"𩸽𩸽𩸽𩸽𩸽"→"55399,56893,55399,56893,55399,56893,55399,56893,55399,56893"
でよければ
str.split('').map(function(c){return c.charCodeAt(0)}).join();
の1行で実現できます。
...
5
票
承認済み
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
U+とはユニコードのという意味なのでしょうか?
そうです。
これは数値の一部では無く、印です。Re: Origin of the U+nnnn notation によれば、元々は「⊎」(U+228E MULTISET UNION)という記号を使いたかったそうです。
そういう訳ですから、数値として扱う場合には U+ の部分は無視してよいです。U+1F600 なら 16進表記の 1F600 ...
4
票
2バイトの10進数を全角文字に変換して出力する方法がわからない。
Base64と言うのは3バイト単位のバイナリデータをASCII文字中の特定の64文字から4文字を使って表すための方法です。元の「バイナリデータ」が何らかの文字列を表していたとしても、文字ごとの区切りが処理の区切りになることはありません。
例えば、元の文字列として"Aあ"なんて2文字からなる文字列を考えてみます。これをSJISのバイナリデータで表すと、
41 82 A0
の3バイトになります。...
4
票
windowsのファイル名の文字コード
Windowsは内部処理がUnicode化されています。その上で、アプリケーションに提供されるAPIはUnicodeバージョンとANSI(日本語版ではShift-JIS)バージョンの2種類が提供されています。ANSIバージョンが呼ばれた場合には必要に応じて文字コード変換されます。
その上で、ファイルシステムAPIにおいても同様です。...
3
票
承認済み
windowsのファイル名の文字コード
ここに記事がありますね。
たどった先まで見ていくと、NTFSはUTF-16、FAT系は各国向けのSBCS,MBCSということになるかと思われます。
Character Sets Used in File Names
NTFS stores file names in Unicode. In contrast, the older FAT12, FAT16, and FAT32 file ...
3
票
承認済み
UTF-8で保存したバッチファイルを実行すると文字列がコマンドとして認識されてしまう
おそらく、コマンドプロンプトはすでにシフトJISとしてバッチファイル全体を読んでおり、バッチファイルの中でコードページを切り替えても手遅れなのでしょう。バッチファイルを起動する前にコードページを切り替えると動くかもしれません。
「↓」を UTF-8 でエンコードすると E2 86 93 です。E2 がシフトJISの第一バイトなので、86は第二バイトとして処理され、93 ...
3
票
.exeファイルの文字化けに関して
WindowsにはWide(常にUTF-16)とANSI(設定により変更可能、日本語ではShift-JISのみ)の2種類の世界が存在します。それぞれについて説明します。他の方の回答はいずれも不完全なので補足します。また実行手段として質問のVSCode上のTerminalの他にコマンドプロンプトについても説明します。
WideでUTF-16を扱う方法
ソースコードはUTF-8を使用します。...
3
票
承認済み
.exeファイルの文字化けに関して
文字化けの原因:
ソースコードprintf("円\n")がUTF-8ですが、Windows(VSCode)ターミナルのデフォルトエンコードはShiftJISです。
対策:
VSCodeでファイルのエンコードをShiftJISに変更します。
UTF-8をクリック
Save with Encodingを選択
Shift JISを選択
再コンパイル
3
票
承認済み
HTMLで使用できる、環境依存文字ではない括弧の一覧について
けっきょくはブラウジング環境にインストールされているフォントに目的の字体が入っているかどうかなので、
ASCII の範囲内の文字なら表示できない環境はほぼないだろうと期待できる
ASCII 範囲外なら、サポートしたいすべての動作環境で表示テストするしかない
ウェブフォントを利用すればウェブフォントをサポートしている環境なら間違いなく表示できる
3
票
承認済み
丸数字、例えば ㉙ が閲覧時に文字化けするのは、どういう条件が揃ったときですか?
今話題にしたい〇に29という文字は U+3259 であるとして。 Web 系に話を限定。
読者側に文字化けの原因がある例
文字セットに当該文字が存在しないとき
世の中には UNICODE を採用していない環境、ないしは UNICODE を扱えても故意に他の文字セットに話を限定する機能があったりします。
JIS X 0208 には〇に数値という文字は採用されていません。つまり純粋に JIS X ...
2
票
承認済み
utf8mb4は誰がどこで決めた仕様?
まずは Unicode 側の仕様
Unicode の世界では世界各地の「文字」を扱いますが、その文字1つ1つに抽象的な「文字コードポイント」を割り振っています。「文字」をファイルにセーブするとき、そのコードポイントをどのような「バイトの列」にするかを決めて取り扱うことになります。この、具体的な変換方法を「エンコーディング」と呼びます。この辺の話はあなた自身の質問
UTF-...
2
票
承認済み
Javascriptで、日本語の「あいうえお」を文字コードを使って取得したい
fromCharCode() に指定するのは UTF-16 のコードユニットです。平仮名の場合は Unicode のコードポイントと同じです。
コードユニットを調べる方法はいろいろありますが、一例として、ブラウザで以下のようなコードを実行してコンソールを見れば良いでしょう。
var input = "あいうえお";
for (let i = 0; i < input.length; ++...
2
票
承認済み
Unicodeではない文字コード環境としては例えば何が挙げられますか?
Unicodeではない文字コード環境を使用する例としては何が挙げられますか?
E-mailで日本語を扱う場合、ISO-2022-JPが一般的です。
Windowsで日本語を扱う場合、Unicodeかそれ以外であればShift-JISを使います。
UTF-8登場前にUNIX系OSで日本語を扱う場合、EUC-JPが使われていました。
...
2
票
Unicodeではない文字コード環境としては例えば何が挙げられますか?
コンピュータは文字を 符号化文字集合 と 文字符号化方式 の組み合わせで表現しています。
Unicodeは符号化文字集合のひとつで、UTF-8はUnicodeを使った文字符号化方式のひとつです。
JIS X 0208も符号化文字集合のひとつで、Shift_JISはJISを使った文字符号化方式のひとつです。
「問題がない」かどうかは、文字をどう扱うかにかかってきます。例えば JavaScript ...
2
票
承認済み
Shift_JIS コードの表記で大文字小文字の違いは?
どの開発言語の話をしているのかは分かりませんが、ただの2バイト数値の16進数表現なので、
大抵の開発言語は、16進数表記の大文字小文字どちらでも認識できるのではないでしょうか。
C系列だと、0x829F のように、先頭に0xを付けて16進数だということを示す必要があります。
ダブルクォーテーションで囲むと文字列と認識されるので、別の意味になります。
2
票
承認済み
受信したメールをDBに保存する際に特定のメールのみ文字化けが発生する
コメントに書いた通りですが、Mail_mimeDecodeはgetSendArray()を呼んでも、quoted-printableやbase64でエンコードされたメール本文をデコードしてくれません。正しくデコードさせてやるにはdecode()メソッドを呼ぶ必要があります。
// PEAR を使った処理以下の行を、次のように書き換えてください。
// PEAR を使った処理
$decoder =...
2
票
承認済み
SJIS形式のJavaScriptファイル上でUTF8形式の中国語文字を化かさず取り込む方法
Adobe Acrobat Proを持っていないため、Adobe Acrobat Reader DCで検証しました。
UTF-8のJavaScriptは使う方法
システムのエンコードをUTF-8に変更すれば、使えます。
UTF-8への変更方法 (副作用があるため自己責任で実施してください)
Win + R キーを押し、「ファイル名を指定して実行」を起動します。
intl.cpl と入力して「...
1
票
laravelのpublicフォルダで静的HTMLファイルを配信するうえでの混在する文字コードの扱い方について
該当の HTML ファイル中で適切なエンコーディングを返すよう META タグで指定することができます。
以下は UTF-8 を指定する例ですが、Shift_JIS の場合は "Shift_JIS" となるようです。
参考:
HTMLで文字エンコーディングを指定する
<!DOCTYPE html>
<html lang="en">
&...
1
票
JavaScriptでUTF-16でCSVファイルをダウンロード対応したい
手元の環境で下記のコードをUTF-8で保存して実行したところ、正常にUTF-16 LE BOMとしてTSVファイルを出力できました。
ご質問のコードはrecord.join('\t')}に}が付いていて実行できないなど、本来のコードと異なるようですので、サンプルコード作成時に書き換えて削った箇所に原因があるかもしれません。
...
1
票
承認済み
ハイフンとダッシュを区別した上でダッシュのみカンマに変える処理がうまくいかない問題について
求める出力を正規表現で得る方法はいかがでしょうか。
import re
samples = [
'A former employee of the accused company - - offered a statement off the record.', #two dashes
'He is afraid of two things — spiders and ...
無効化に投票