13
票
Accepted
UTF-8でマルチバイト以外の文字列は何? 半角カナは該当する?
文字列を取り扱う場合に、「マルチバイト」と言うのは取り扱うライブラリーやフレームワーク側の用語で、UTF-8自体には「マルチバイト」と言う概念はありません。また「何をもって1文字と考えるのか」がやたら複雑になってきているUnicodeの世界で「マルチバイトの文字列」と言う言い方では一体何を表現したいのかわからなくなるので、ここでは「UTF-...
- 1.9万
11
票
Accepted
ターミナル上にバイト文字列で表示されてしまう(python2系の文字化け)
Python 3 に移行しましょう。
もしどうしても Python 3 に移行できない場合は、 list(xml) をやめて print xml でどうでしょう?
解説:
一般的に言われる「文字化け」は、テキストの実際のエンコーディングと違うエンコーディングで
デコードしようとしたときに起こります。(EUC-JPでエンコードされた文字列をcp932でデコードするなど)
しかし、...
- 533
10
票
u'-' と u'\u2013' の違いは何でしょうか?
utf-8 にエンコードしてみると別の文字であることが分かります。
>>> u'-'.encode('utf-8')
b'-'
>>> u'\u2013'.encode('utf-8')
b'\xe2\x80\x93'
また、Unicodeとしてどんな文字なのかを知る方法があります。
>>> import unicodedata
>&...
- 5,759
9
票
Accepted
UTF-8で日本語1文字が3バイトなのはなぜ?
おそらく、ひらがな1文字が2バイトのエンコーディングということで、シフト JIS で符号化されたひらがなを想定しているのかなと思っています。シフト JIS は日本語文字を表現するために作られた文字符号化方式なので、日本語に絞ってエンコードを最適化できるので、日本語文字を2バイトの範囲に収めることができます。
Unicode は、世界のすべての文字をまずコードポイントでもって表して (U+NNNN ...
- 1.6万
8
票
Accepted
u'-' と u'\u2013' の違いは何でしょうか?
u'-' はコードポイント 0x002D の文字で、普通にキーボードで入力できるハイフン・マイナス記号です。ASCII コードの 0x2D に対応する文字です。
u'\u2013' は、見ての通り、コードポイント 0x2013 の文字で、en ダッシュと呼ばれるものです。具体的な用途はよく知らないのですが、Wikipedia のダッシュ (記号)の項によると
区間や範囲を表す。
たとえば10-...
- 5,003
8
票
Accepted
エスケープされた日本語文字列をデコードしたい
https://stackoverflow.com/questions/6319421/do-all-mac-os-x-10-6-installations-have-perl-installed-by-default
を読むにOSXでは、perlが使えると思いますので、
https://stackoverflow.com/questions/8795702/how-to-convert-...
- 772
8
票
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
「ユニコードの1F600」という意味で合っているでしょう。
(それと「2進数に変えて理解深めたい」とのつながりが不明ですが)
ただし気になることがあるなら、以下のように元々の仕様を探ってみましょう。
「unicode specification」というキーワードで検索するとAbout the Unicode® Standardというページとか出てきて、その左上にLatest ...
- 1.7万
6
票
エスケープされた日本語文字列をデコードしたい
Pythonならhexとらなくてもdecode("unicode-escape")があります。
$ echo '\u30e6\u30cb\u30b3\u30fc\u30c9' | python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")'
ユニコード
追記:
...
- 3,422
6
票
Accepted
「オープンデータ」のような半濁点を含むカタカナがうまく検索できない
質問にあるテキストをコピーして、ファイルに保存し od -x foo.txt してみてください。
半濁音部分が合成文字になっていると思います。おそらく Mac OS X で作成されたテキストかと思います。
合成文字の無い utf-8 で保存すると正しく検索できると思います。
- 4,456
6
票
Twitterでの「全角扱い文字」と「半角扱い文字」の判定基準
Counting charactersで説明されています。基本的にはいわゆる全角文字として扱い、次の範囲は半角文字という考え方のようです。
the Latin-1 code pages. (U+0000 - U+10FF).
general punctuation up to and including the Zero Width Joiner (used to combine emoji ...
- 4.1万
5
票
C言語でのUTF-8文字列の正確な長さを取得する
苗字や地名の異体字や国旗、色違いの絵文字など、複数のコードポイントで構成される書記素クラスターを考慮する必要がある場合、ICU の BreakIterator を使います。書記素クラスターに対応していない文字列関数を使うと、知らないうちに書記素クラスターを壊してしまうおそれがあります。
Twitter のようにコードポイント単位で短い文字数制限をかける場合、ヒンドゥー語やチベット語など、...
- 543
5
票
Accepted
絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?
U+とはユニコードのという意味なのでしょうか?
そうです。
これは数値の一部では無く、印です。Re: Origin of the U+nnnn notation によれば、元々は「⊎」(U+228E MULTISET UNION)という記号を使いたかったそうです。
そういう訳ですから、数値として扱う場合には U+ の部分は無視してよいです。U+1F600 なら 16進表記の 1F600 ...
- 1.1万
4
票
C言語でのUTF-8文字列の正確な長さを取得する
mrubyのソースコードを参考にした実装例です。
#include <stdio.h>
static const char utf8len_codepage[256] =
{
1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,...
- 4,083
4
票
Accepted
Qt6とVisual C++ 2022でsjisファイルの扱いについての質問
Qt6.0でqt_allow_non_utf8_sourcesというCMakeコマンドが導入されたようです。これの意味するところは、QtのソースコードのエンコーディングはUTF-8であるべきで、そうでない場合はこのコマンドで明示するようです。
ただし、これはCMakeを使用した場合であり、質問のQt VS Toolsの場合ではどのように扱われているかはわかりませんでした。...
- 4.1万
3
票
文字列をUnicodeに変換できない
このような方法もあるみたいです。
String input = "あ"; //ここは何でも良い
StringBuilder result = new StringBuilder();
for(int i = 0; i < input.length(); i++) {
result.append("\\u").append(String.format("%04x", (...
- 1,120
3
票
Accepted
文字列をUnicodeに変換できない
UPDATE: コードの一部にバグがあったため修正(7/3)
\u3042のような記法は、Unicodeエスケープ文字などの呼び方がされます。Unicodeとは規格名です。
"あ"という文字から、3042という文字コードを得るのはcharAt()で取得した文字コードを16進数化すればいいので、
public void onClick(View v){
this.unicodeText ...
- 5,554
3
票
Accepted
PythonでMeCabを使うと出力が文字化けしてしまいます。
MeCabをSHIFT-JISでインストールした時の現象と酷似しています。
コマンドラインやPowerShellから下記のコマンドを実行して、標準で使う辞書の文字コードを確認してください。
PS D:\root\usr\MeCab> mecab -D
filename: D:\root\usr\MeCab\etc\..\dic\ipadic\sys.dic
version: ...
- 1.1万
3
票
エスケープされた日本語文字列をデコードしたい
perl、python が回答として既に出ているので別解の意味を込めて。
vim が入っているならばバッファにエスケープされた文字列をペーストして
:%s/\\u\([0-9a-f]\{4}\)/\=nr2char(eval("0x".submatch(1)),1)/g
とすれば
\u30e6\u30cb\u30b3\u30fc\u30c9
これが
ユニコード
に変換されます。...
- 4,456
3
票
C言語でのUTF-8文字列の正確な長さを取得する
(今日びのことなので、 Unicode を使用する環境だけを対象とします。)
Unicode では、日本語の文字もそれぞれ Unicode 文字として扱われます。各文字で、「最初の2ビットが 11 で始まり、最初の 2ビットが 10 であるバイトが続く限りそれは 文字の一部である」というルールがあり、1文字は可変長となります。各バイトの上位2ビットを見ながら数えていかなければなりません。
...
- 6,309
2
票
エスケープされた日本語文字列をデコードしたい
Python を使ったワンライナーです。OS X はデフォルトで Python 2.7.x が入ってると思うのでそのまま使えると思います。
\uHHHH形式を出力するコマンド | python -c "import re; print re.sub(r'\\u[0-9(a-f|A-F)]{4}', lambda x: chr(int(u'0x' + x.group(0)[2:], 16)), ...
- 342
2
票
エスケープされた日本語文字列をデコードしたい
こちらもYosemiteでprintfやechoではデコードできませんでした。
私はいつも以下の方法でデコードしています。
\uHHHH形式を出力するコマンド | sed -e 's/\\u\(....\)/\&#x\1;/g' | nkf --numchar-input
まず"&#xHHHH"の形式に変換してからnkfコマンドで日本語に直しています。
残念ながらnkfはOS ...
- 21
2
票
Rails Migration内でのexecute >> SQLでUnicodeキャラクターが常にnullを返します
「そもそも論」ですが、Railsのマイグレーションはスキーマの変更(テーブルやカラムの追加、インデックスの変更、etc)を目的としているので、既存データの変更に使うのは本来の用途から少し外れている気がします。(db:rollback でデータを元に戻すのもほとんど無理でしょうし)
参考: Active Record マイグレーション | Rails ガイド
あと、...
- 6,611
2
票
Rails Migration内でのexecute >> SQLでUnicodeキャラクターが常にnullを返します
すみません。勉強不足でPostgresqlでArrayの最初の値がArray[0]Array[1]でないと取得出来ないことや、Array[-1]が無いことを知りませんでした。
以下のコードで動きました。
class ConvertNameIntoFirstAndLastName < ActiveRecord::Migration
def up
execute <<-...
- 131
2
票
「オープンデータ」のような半濁点を含むカタカナがうまく検索できない
質問にある文字列をWindows上のテキストエディタで見ると一目瞭然ですね。mattnさんの回答が正しそうです。
"プ"と"デ"が2文字合成ですね。
Sublime Textだとこんな感じになりました。
- 218
2
票
Accepted
C言語でのUTF-8文字列の正確な長さを取得する
https://stackoverflow.com/questions/5117393/utf-8-strings-length-in-linux-c より、
mbstowcs() が使えるそうです。
ロケールは正しく設定する必要があるようですが。
その他にもリンク先には自分で実装する場合の例もありますので、参考にされてはいかがでしょう。
- 5,122
2
票
UTF-8でマルチバイト以外の文字列は何? 半角カナは該当する?
UTF-8の1バイト文字はASCII文字セットと同一になるように設定されています。従って128個の半角英数字および記号と制御文字が含まれ、半角カナは該当しません。
2
票
Accepted
nfkc 正規化で半角スペースに変わる文字たちだけを半角スペースに変更したい
Unicode文字にはカテゴリが設定されており、U+0020もU+3000もSeparator, space (Zs)となっています。NFKCよりもこちらを使う方が簡単ですし、対応しやすいと思います。Perlや.NET、ES2018の正規表現では\p{Zs}で表現できます。残念ながらPythonには含まれていなさそうです。
改行などを含んでもよければ、\sがU+3000を含みます。
...
- 4.1万
2
票
Accepted
WPFで特殊文字が特定の条件下で文字化けする
現象としてはフォントが適切に選択されていない状態になっているようです。ですのでFontFamilyをアラビア語が表示可能なように日本語のみに範囲を限定して指定するか、
<!-- ルート要素に xmlns:sys="clr-namespace:System;assembly=mscorlib" を記述 -->
<TextBox>
<TextBox....
- 1.4万
Only top scored, non community-wiki answers of a minimum length are eligible