11
票
u'-' と u'\u2013' の違いは何でしょうか?
utf-8 にエンコードしてみると別の文字であることが分かります。
>>> u'-'.encode('utf-8')
b'-'
>>> u'\u2013'.encode('utf-8')
b'\xe2\x80\x93'
また、Unicodeとしてどんな文字なのかを知る方法があります。
>>> import unicodedata
>&...
9
票
承認済み
UTF-8で日本語1文字が3バイトなのはなぜ?
おそらく、ひらがな1文字が2バイトのエンコーディングということで、シフト JIS で符号化されたひらがなを想定しているのかなと思っています。シフト JIS は日本語文字を表現するために作られた文字符号化方式なので、日本語に絞ってエンコードを最適化できるので、日本語文字を2バイトの範囲に収めることができます。
Unicode は、世界のすべての文字をまずコードポイントでもって表して (U+NNNN ...
8
票
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
「ユニコードの1F600」という意味で合っているでしょう。
(それと「2進数に変えて理解深めたい」とのつながりが不明ですが)
ただし気になることがあるなら、以下のように元々の仕様を探ってみましょう。
「unicode specification」というキーワードで検索するとAbout the Unicode® Standardというページとか出てきて、その左上にLatest ...
8
票
承認済み
u'-' と u'\u2013' の違いは何でしょうか?
u'-' はコードポイント 0x002D の文字で、普通にキーボードで入力できるハイフン・マイナス記号です。ASCII コードの 0x2D に対応する文字です。
u'\u2013' は、見ての通り、コードポイント 0x2013 の文字で、en ダッシュと呼ばれるものです。具体的な用途はよく知らないのですが、Wikipedia のダッシュ (記号)の項によると
区間や範囲を表す。
たとえば10-...
6
票
Twitterでの「全角扱い文字」と「半角扱い文字」の判定基準
Counting charactersで説明されています。基本的にはいわゆる全角文字として扱い、次の範囲は半角文字という考え方のようです。
the Latin-1 code pages. (U+0000 - U+10FF).
general punctuation up to and including the Zero Width Joiner (used to combine emoji ...
5
票
承認済み
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
U+とはユニコードのという意味なのでしょうか?
そうです。
これは数値の一部では無く、印です。Re: Origin of the U+nnnn notation によれば、元々は「⊎」(U+228E MULTISET UNION)という記号を使いたかったそうです。
そういう訳ですから、数値として扱う場合には U+ の部分は無視してよいです。U+1F600 なら 16進表記の 1F600 ...
4
票
承認済み
Qt6とVisual C++ 2022でsjisファイルの扱いについての質問
Qt6.0でqt_allow_non_utf8_sourcesというCMakeコマンドが導入されたようです。これの意味するところは、QtのソースコードのエンコーディングはUTF-8であるべきで、そうでない場合はこのコマンドで明示するようです。
ただし、これはCMakeを使用した場合であり、質問のQt VS Toolsの場合ではどのように扱われているかはわかりませんでした。...
3
票
承認済み
unicodeエスケープすることなく、文字列をjsonオブジェクトに変換したい
それは全角スペースのままか'\u3000'とエスケープ表記されるかといったprintで表示している見た目上だけの違いです。
たとえばタブ文字がインデントして表示されるかエスケープ表記されるかといった違いと同じです。
文字自体はどちらも同じ全角スペースです。
s = 'テスト メッセージ\tです'
print(s) # テスト メッセージ です
l = [s]
print(l) # ['...
3
票
承認済み
PythonでMeCabを使うと出力が文字化けしてしまいます。
MeCabをSHIFT-JISでインストールした時の現象と酷似しています。
コマンドラインやPowerShellから下記のコマンドを実行して、標準で使う辞書の文字コードを確認してください。
PS D:\root\usr\MeCab> mecab -D
filename: D:\root\usr\MeCab\etc\..\dic\ipadic\sys.dic
version: ...
3
票
文字列をUnicodeに変換できない
このような方法もあるみたいです。
String input = "あ"; //ここは何でも良い
StringBuilder result = new StringBuilder();
for(int i = 0; i < input.length(); i++) {
result.append("\\u").append(String.format("%04x", (...
2
票
承認済み
Unicode正規化した後に、一文字のみ取り出して大文字にするとウムラウトが取れる
NFDは参考情報に挙げられているUnicode正規化で
文字は正準等価性によって分解される
と説明のある通りです。 ё U+0451 は е U+0435 と トレマ U+0308 の2文字に分解されます。
c[0] と指定すれば1文字目の е U+0435 だけが選択されるのは当然の結果です。
2
票
ubuntu 20.04 ターミナルで特定コマンドの出力のみ文字化けする
上記 locale コマンドのエラーメッセージで検索した所、こちらの記事が見つかりました
https://askubuntu.com/questions/599808/cannot-set-lc-ctype-to-default-locale-no-such-file-or-directory
添付画像のように、iterm2 の、ロケール変数の自動設定をオフにして
iterm2を再起動した所、...
2
票
承認済み
nfkc 正規化で半角スペースに変わる文字たちだけを半角スペースに変更したい
Unicode文字にはカテゴリが設定されており、U+0020もU+3000もSeparator, space (Zs)となっています。NFKCよりもこちらを使う方が簡単ですし、対応しやすいと思います。Perlや.NET、ES2018の正規表現では\p{Zs}で表現できます。残念ながらPythonには含まれていなさそうです。
改行などを含んでもよければ、\sがU+3000を含みます。
...
2
票
承認済み
WPFで特殊文字が特定の条件下で文字化けする
現象としてはフォントが適切に選択されていない状態になっているようです。ですのでFontFamilyをアラビア語が表示可能なように日本語のみに範囲を限定して指定するか、
<!-- ルート要素に xmlns:sys="clr-namespace:System;assembly=mscorlib" を記述 -->
<TextBox>
<TextBox....
2
票
Unicode文字セットでもShift_JISで解釈される
おそらくこちらの記事の内容が適用されているものと思われます。
文字列リテラルと文字リテラル (C++)
文字リテラル
文字リテラル は、定数文字で構成されます。 これは単一引用符で囲んだ文字によって表されます。 文字リテラルには次の 4 種類があります:
char型の通常文字リテラル。たとえば'a'
char型の UTF-8 文字リテラル (C++20 ではchar8_t)。たとえばu8'a'
...
2
票
承認済み
Unicode文字セットでもShift_JISで解釈される
ソースコードの文字コードとコンパイル後の実行バイナリ上でのプリフィックスの無い文字列リテラルの文字コードは無関係に決定します。
まず、ソースコードの文字コードは、オプションで指定しない限り、ソースコードの先頭にあるバイト列によって変わります。
/source-charsetオプションが設定されている場合は、指定の文字コードとして解釈されます。
オプションが無く、先頭にUTF-8やUTF-...
1
票
承認済み
Perlのモジュール、File::BOMとencodingの順番について
なぜかコメントに変換されてしまいましたが、これは根源的な回答です。
英語版に重複質問して解決しました。:viaは常に最後だそうです。
https://stackoverflow.com/questions/78534335/perl-the-order-of-filebom-module-and-encoding-and-output-defect/78535768#78535768
:via(...
1
票
Unicode文字セットでもShift_JISで解釈される
MSVCには、ソースコードのエンコーディング(/source-charset)と、
実行時の文字エンコーディング(/execution-charset)があります。
/utf-8オプションも/execution-charsetオプションも付けていなければ、実行時の文字エンコーディングはCP932(≒Shift_JIS)のはずです。
バイト順マークが見つからない場合は、/source-...
1
票
Qt6とVisual C++ 2022でsjisファイルの扱いについての質問
私の環境(VS2022 Qt6)では、プロジェクトのプロパティーのC/C++->コマンドラインの追加のオプションが
-Zc:rvalueCast -Zc:inline -Zc:strictStrings -Zc:throwingNew -permissive- -Zc:__cplusplus -Zc:externConstexpr -utf-8 -w34100 -w34189 -w44996 ...
1
票
絵文字が分かれるときがある
ファイルシステムにAppleのHFS+を利用していませんか?
AppleのHFS+はNFDと呼ばれる、合字を各素片毎に分割して連続記述する仕組みになっています。(たとえば、プと書いても、ファイルシステム上はフ(U+30D5)+゜(U+309a)と2文字に分かたれて記述されています。
NFDの反対はNFCと呼ばれ、プは1文字(U+3D07)で表現されます。
...
1
票
承認済み
文字列を漢字かそれ以外でグルーピングする
問題は、文字クラスの積の書き方の間違いです。&&[ は [ ] の内側に書く必要があります。
"(?U)([\\P{...}&&[\\P{...}]&&[\\P{...}]&&[\\P{...}]&&[\\P{...}]]+..."
この場合は文字クラス積を使わなくてもいいかと思います。否定 ^ で十分です。
...
1
票
Wordで文書内の文字をUnicode NFC正規化する方法
Wordの.docx形式はXMLをZIP圧縮した上で拡張子を変更したファイル形式です。文書内の文字もXML要素として記述されていますので、NFC正規化も特に困難はないと思います。
拡張子を.zipに変更する
ZIP解凍する
XMLファイルをお手持ちのツールでNFC正規化する
ZIP圧縮する
拡張子を.docxに戻す
なお、...
1
票
承認済み
複数個 非ASCII 文字があった場合の Punycode のデコード処理が理解できない
Punycodeのデコード処理は次のような流れをイメージするとよいかと思います。
for (n = 128; ; n++) {
for (i = 0; i <= len(output); i++) {
if(/* このタイミングで挿入を行うか? */) {
output = insert(output, i, n);
i++;
}
}
}
...
無効化に投票