13
票
Accepted
UTF-8でマルチバイト以外の文字列は何? 半角カナは該当する?
文字列を取り扱う場合に、「マルチバイト」と言うのは取り扱うライブラリーやフレームワーク側の用語で、UTF-8自体には「マルチバイト」と言う概念はありません。また「何をもって1文字と考えるのか」がやたら複雑になってきているUnicodeの世界で「マルチバイトの文字列」と言う言い方では一体何を表現したいのかわからなくなるので、ここでは「UTF-...
11
票
Accepted
ターミナル上にバイト文字列で表示されてしまう(python2系の文字化け)
Python 3 に移行しましょう。
もしどうしても Python 3 に移行できない場合は、 list(xml) をやめて print xml でどうでしょう?
解説:
一般的に言われる「文字化け」は、テキストの実際のエンコーディングと違うエンコーディングで
デコードしようとしたときに起こります。(EUC-JPでエンコードされた文字列をcp932でデコードするなど)
しかし、...
10
票
u'-' と u'\u2013' の違いは何でしょうか?
utf-8 にエンコードしてみると別の文字であることが分かります。
>>> u'-'.encode('utf-8')
b'-'
>>> u'\u2013'.encode('utf-8')
b'\xe2\x80\x93'
また、Unicodeとしてどんな文字なのかを知る方法があります。
>>> import unicodedata
>&...
9
票
Accepted
UTF-8で日本語1文字が3バイトなのはなぜ?
おそらく、ひらがな1文字が2バイトのエンコーディングということで、シフト JIS で符号化されたひらがなを想定しているのかなと思っています。シフト JIS は日本語文字を表現するために作られた文字符号化方式なので、日本語に絞ってエンコードを最適化できるので、日本語文字を2バイトの範囲に収めることができます。
Unicode は、世界のすべての文字をまずコードポイントでもって表して (U+NNNN ...
8
票
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
「ユニコードの1F600」という意味で合っているでしょう。
(それと「2進数に変えて理解深めたい」とのつながりが不明ですが)
ただし気になることがあるなら、以下のように元々の仕様を探ってみましょう。
「unicode specification」というキーワードで検索するとAbout the Unicode® Standardというページとか出てきて、その左上にLatest ...
8
票
Accepted
u'-' と u'\u2013' の違いは何でしょうか?
u'-' はコードポイント 0x002D の文字で、普通にキーボードで入力できるハイフン・マイナス記号です。ASCII コードの 0x2D に対応する文字です。
u'\u2013' は、見ての通り、コードポイント 0x2013 の文字で、en ダッシュと呼ばれるものです。具体的な用途はよく知らないのですが、Wikipedia のダッシュ (記号)の項によると
区間や範囲を表す。
たとえば10-...
6
票
Twitterでの「全角扱い文字」と「半角扱い文字」の判定基準
Counting charactersで説明されています。基本的にはいわゆる全角文字として扱い、次の範囲は半角文字という考え方のようです。
the Latin-1 code pages. (U+0000 - U+10FF).
general punctuation up to and including the Zero Width Joiner (used to combine emoji ...
5
票
Accepted
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
U+とはユニコードのという意味なのでしょうか?
そうです。
これは数値の一部では無く、印です。Re: Origin of the U+nnnn notation によれば、元々は「⊎」(U+228E MULTISET UNION)という記号を使いたかったそうです。
そういう訳ですから、数値として扱う場合には U+ の部分は無視してよいです。U+1F600 なら 16進表記の 1F600 ...
4
票
Accepted
Qt6とVisual C++ 2022でsjisファイルの扱いについての質問
Qt6.0でqt_allow_non_utf8_sourcesというCMakeコマンドが導入されたようです。これの意味するところは、QtのソースコードのエンコーディングはUTF-8であるべきで、そうでない場合はこのコマンドで明示するようです。
ただし、これはCMakeを使用した場合であり、質問のQt VS Toolsの場合ではどのように扱われているかはわかりませんでした。...
3
票
Accepted
PythonでMeCabを使うと出力が文字化けしてしまいます。
MeCabをSHIFT-JISでインストールした時の現象と酷似しています。
コマンドラインやPowerShellから下記のコマンドを実行して、標準で使う辞書の文字コードを確認してください。
PS D:\root\usr\MeCab> mecab -D
filename: D:\root\usr\MeCab\etc\..\dic\ipadic\sys.dic
version: ...
3
票
文字列をUnicodeに変換できない
このような方法もあるみたいです。
String input = "あ"; //ここは何でも良い
StringBuilder result = new StringBuilder();
for(int i = 0; i < input.length(); i++) {
result.append("\\u").append(String.format("%04x", (...
3
票
Accepted
文字列をUnicodeに変換できない
UPDATE: コードの一部にバグがあったため修正(7/3)
\u3042のような記法は、Unicodeエスケープ文字などの呼び方がされます。Unicodeとは規格名です。
"あ"という文字から、3042という文字コードを得るのはcharAt()で取得した文字コードを16進数化すればいいので、
public void onClick(View v){
this.unicodeText ...
2
票
Rails Migration内でのexecute >> SQLでUnicodeキャラクターが常にnullを返します
「そもそも論」ですが、Railsのマイグレーションはスキーマの変更(テーブルやカラムの追加、インデックスの変更、etc)を目的としているので、既存データの変更に使うのは本来の用途から少し外れている気がします。(db:rollback でデータを元に戻すのもほとんど無理でしょうし)
参考: Active Record マイグレーション | Rails ガイド
あと、...
2
票
Rails Migration内でのexecute >> SQLでUnicodeキャラクターが常にnullを返します
すみません。勉強不足でPostgresqlでArrayの最初の値がArray[0]Array[1]でないと取得出来ないことや、Array[-1]が無いことを知りませんでした。
以下のコードで動きました。
class ConvertNameIntoFirstAndLastName < ActiveRecord::Migration
def up
execute <<-...
2
票
UTF-8でマルチバイト以外の文字列は何? 半角カナは該当する?
UTF-8の1バイト文字はASCII文字セットと同一になるように設定されています。従って128個の半角英数字および記号と制御文字が含まれ、半角カナは該当しません。
2
票
Accepted
nfkc 正規化で半角スペースに変わる文字たちだけを半角スペースに変更したい
Unicode文字にはカテゴリが設定されており、U+0020もU+3000もSeparator, space (Zs)となっています。NFKCよりもこちらを使う方が簡単ですし、対応しやすいと思います。Perlや.NET、ES2018の正規表現では\p{Zs}で表現できます。残念ながらPythonには含まれていなさそうです。
改行などを含んでもよければ、\sがU+3000を含みます。
...
2
票
Accepted
Unicode正規化した後に、一文字のみ取り出して大文字にするとウムラウトが取れる
NFDは参考情報に挙げられているUnicode正規化で
文字は正準等価性によって分解される
と説明のある通りです。 ё U+0451 は е U+0435 と トレマ U+0308 の2文字に分解されます。
c[0] と指定すれば1文字目の е U+0435 だけが選択されるのは当然の結果です。
2
票
ubuntu 20.04 ターミナルで特定コマンドの出力のみ文字化けする
上記 locale コマンドのエラーメッセージで検索した所、こちらの記事が見つかりました
https://askubuntu.com/questions/599808/cannot-set-lc-ctype-to-default-locale-no-such-file-or-directory
添付画像のように、iterm2 の、ロケール変数の自動設定をオフにして
iterm2を再起動した所、...
2
票
Accepted
WPFで特殊文字が特定の条件下で文字化けする
現象としてはフォントが適切に選択されていない状態になっているようです。ですのでFontFamilyをアラビア語が表示可能なように日本語のみに範囲を限定して指定するか、
<!-- ルート要素に xmlns:sys="clr-namespace:System;assembly=mscorlib" を記述 -->
<TextBox>
<TextBox....
1
票
Qt6とVisual C++ 2022でsjisファイルの扱いについての質問
私の環境(VS2022 Qt6)では、プロジェクトのプロパティーのC/C++->コマンドラインの追加のオプションが
-Zc:rvalueCast -Zc:inline -Zc:strictStrings -Zc:throwingNew -permissive- -Zc:__cplusplus -Zc:externConstexpr -utf-8 -w34100 -w34189 -w44996 ...
1
票
絵文字が分かれるときがある
ファイルシステムにAppleのHFS+を利用していませんか?
AppleのHFS+はNFDと呼ばれる、合字を各素片毎に分割して連続記述する仕組みになっています。(たとえば、プと書いても、ファイルシステム上はフ(U+30D5)+゜(U+309a)と2文字に分かたれて記述されています。
NFDの反対はNFCと呼ばれ、プは1文字(U+3D07)で表現されます。
...
1
票
Accepted
文字列を漢字かそれ以外でグルーピングする
問題は、文字クラスの積の書き方の間違いです。&&[ は [ ] の内側に書く必要があります。
"(?U)([\\P{...}&&[\\P{...}]&&[\\P{...}]&&[\\P{...}]&&[\\P{...}]]+..."
この場合は文字クラス積を使わなくてもいいかと思います。否定 ^ で十分です。
...
1
票
Wordで文書内の文字をUnicode NFC正規化する方法
Wordの.docx形式はXMLをZIP圧縮した上で拡張子を変更したファイル形式です。文書内の文字もXML要素として記述されていますので、NFC正規化も特に困難はないと思います。
拡張子を.zipに変更する
ZIP解凍する
XMLファイルをお手持ちのツールでNFC正規化する
ZIP圧縮する
拡張子を.docxに戻す
なお、...
1
票
Accepted
複数個 非ASCII 文字があった場合の Punycode のデコード処理が理解できない
Punycodeのデコード処理は次のような流れをイメージするとよいかと思います。
for (n = 128; ; n++) {
for (i = 0; i <= len(output); i++) {
if(/* このタイミングで挿入を行うか? */) {
output = insert(output, i, n);
i++;
}
}
}
...
1
票
同じロケールでも日本語入力の可否に差がある理由
https://en.wikipedia.org/wiki/Comparison_of_command_shells
を見ると、Unicodeのサポートは部分的("Partial")となっているので、ash で Unicode を使うのは避けておくのが無難ではないかと思います。
Only top scored, non community-wiki answers of a minimum length are eligible