[unicode] タグが付いた質問

Unicode は文字コードのひとつで、世界中の文字を含む文字集合とUTF-8などの符号化方式が標準化されています。

絞り込み
並べ替え
タグ付けされた
0
0 回答
84 閲覧数

FlaskサーバのUnicodeDecodeErrorが出てしまう

Flaskでサーバを起動してクライアントから画像データを受け取りし予測結果を返すプログラムなのですが実行するとサーバは起動するのですが以下のようなエラーが出て終了してしまいます。 機械学習を始めたばかりでわからない点が多いので、もしよろしければご教授お願いします。 構成: Windous 10, Python 3.6.8, gevent 20.9.0, Flask 1.1.2 File "...
ジュライ's user avatar
0
2 回答
1,102 閲覧数

unicodeエスケープすることなく、文字列をjsonオブジェクトに変換したい

json.loads(text) メソッドを利用して、文字列をjsonオブジェクト(dict型)に変換したいのですが、全角スペースが'\u3000'と変換されてしまいます。 全角スペースのまま変換することは可能でしょうか? ◇試したコード import json from typing import Dict text: str = '{"code":"123&...
Sasaki.dc's user avatar
3
3 回答
776 閲覧数

Unicode文字セットでもShift_JISで解釈される

Microsoft Visual Studio Community 2022 Version 17.4.4 VisualStudio.17.Release/17.4.4+33213.308 Microsoft .NET Framework Version 4.8.04084 以下のソースを実行します。 int main() { char c[] = "ソ"; ...
Nao05215's user avatar
3
3 回答
1,280 閲覧数

Qt6とVisual C++ 2022でsjisファイルの扱いについての質問

Qt5 と Visual C++ 2022 の環境では問題なくコンパイル/実行できているプロジェクトを、Qt6に移植しようとしていますが、日本語文字列でいくつかコンパイルエラーが出ます。 メッセージ等より、sjisでエンコードされているソースファイルをUTF-8だと思ってコンパイルしてソース中の日本語文字列でエラーを出しているようです。さらに調べるとコンパイルのコマンドラインに /utf-8 ...
Hide117's user avatar
  • 33
5
2 回答
481 閲覧数

絵文字の U+1F600 の U+ は「ユニコードの」を意味する接頭辞ですか?

にこやかな笑顔はユニコードで表すと U+1F600 になりますが、この U+ とは「ユニコードの」という意味なのでしょうか? 「ユニコードの1F600」という意味なのでしょうか? 2進数に変えて理解を深めたいなと思いまして。
ぬまづこばやし's user avatar
1
1 回答
234 閲覧数

絵文字が分かれるときがある

絵文字を入力していると、分かれるとき(2文字に分解される)ときとされないときがあります。 使っているWebサービスやアプリに依存していると思うのですが、どういった仕組みでわかれてしまうのでしょうか? 今たまたまSublimte Textで試してみたところ添付画像のようにエディタ内は1文字の絵文字でしたが、タイトル部分(ファイル名?)部分は2文字に分裂しておりました。 ...
shingo.nakanishi's user avatar
4
1 回答
132 閲覧数

Twitterでの「全角扱い文字」と「半角扱い文字」の判定基準

Twitterの初歩的な話になるのですが、ツイートの文面中にある文字が「全角文字扱い」の文字(最大140文字までしか入らない文字)なのか、それ以外の文字(最大280文字まで入力できる文字…言うなれば「半角文字扱い」の文字)なのかの判定は、どこで行われているのでしょうか? このURLを叩けばそのものズバリの正規表現パターンが出てくるよ、あるいは、このサイトの英文仕様書に明記してあるよ、...
でるもんた・いいじま's user avatar
0
1 回答
116 閲覧数

Unicode正規化した後に、一文字のみ取り出して大文字にするとウムラウトが取れる

Pythonのプログラムをデバッグしていて気付いた挙動についての質問です。 よろしくお願いします。 質問 Unicode正規化した後に、一文字のみ取り出して大文字にするとウムラウトが取れます。これってUnicodeの規格としては正しい挙動なのでしょうか。 ※正しい挙動である場合、何か参考情報があると喜びます。 参考情報 Unicode正規化 - Qiita Unicode正規化 - ...
KaKkouo's user avatar
  • 86
0
1 回答
115 閲覧数

Cipher text, Caesar Encryption のコードが理解できない

以下のコードはまずCaesar codeのアルファベットのずれ具合を調整するn_keyがある。そして、順序が変更されたaからzの文字列がつくられた。 これに基づいてplainText の 'hello' が暗号化され、printされるが、その前の ord[i]-97 の部分が全く理解できません。解説よろしくお願いいたします。 caesarEncrypt.py plainText = 'hello' ...
geocentric's user avatar
3
1 回答
982 閲覧数

ubuntu 20.04 ターミナルで特定コマンドの出力のみ文字化けする

ubuntu20.04 サーバに、MacOS BigSur から iterm2 を利用してssh接続しています。 この状態で、「一部のコマンドの出力のみ」文字化けする症状に悩んでいます。 具体的には ls コマンドなのですが、 $ ls test ''$'\343\203\206\343\202\271\343\203\210' 不思議なことに、この出力を他のコマンドにパイプすると、...
taiyodayo's user avatar
  • 441
1
1 回答
261 閲覧数

文字列を漢字かそれ以外でグルーピングする

Javaで文字列を与えて「漢字かそれ以外か」でグルーピングしたいです.つまり、1文字とも取りこぼす文字はあってはならないのが条件です.次のようなサンプルを作ってみたのですが... import java.util.regex.Matcher; import java.util.regex.Pattern; public class RegexTest { private static ...
tmakita's user avatar
  • 1,088
1
1 回答
442 閲覧数

VS CodeでUTF-32を開く方法

Visual Studio Codeを使用してUTF-32で記述されたファイルを開くにはどうすれば良いでしょうか?
SomO's user avatar
  • 13
3
2 回答
1万 閲覧数

PythonでMeCabを使うと出力が文字化けしてしまいます。

一日中詰まっています...アドバイスいただきましたら幸いです。 Windows10 64bit版 でMeCabをUTF8指定でインストールし、anaconda3上のpython3.6.5で使用しようとしています。 一通りpathを通し、ラッパーとしてmecab-python-windows0.996をpipインストールしました。 MeCabそのものは正常に動いていて、...
glass's user avatar
  • 179
1
1 回答
534 閲覧数

nfkc 正規化で半角スペースに変わる文字たちだけを半角スペースに変更したい

検索の際に全角のスペース記号がセパレータとして扱われていない メタの、上記のレポートをみていて、これは、一般的なシステムにおいてよくある問題な気がしました。というのも、日本人を対象にしたシステムであれば、スペースとして取り扱いたいものは、大体の場合において半角スペース(U+0020)と全角スペース(U+3000)ぐらいですが、これを、システムを i18n 化して取り扱うときには、...
Yuki Inoue's user avatar
  • 1.7万
3
0 回答
326 閲覧数

python2とpython3の文字コードと正規表現

python3系で書かれたサンプルコードをpython2系で実行するためにコードを書き換えようとしているのですが不明な点があります. 上のサンプルコードにfrom io import openと追加しpython html_parser.pyと実行したところ File "html_parser.py", line 314, in get_data if "1時間ごとの値" in txt or "...
sket1642ch's user avatar
3
1 回答
8万 閲覧数

UTF-8で日本語1文字が3バイトなのはなぜ?

ASCII範囲に収まらない日本の文字は2バイトに当てはまる、と理解していたのですが、UTF-8だと日本語1文字が3バイトになるのはなぜですか? ・恐らく割当方式が異なると思うのですが、何が違うのですが? ・何が目的で変更されたのでしょうか? ・メリットは?
re9's user avatar
  • 6,714
1
1 回答
375 閲覧数

Wordで文書内の文字をUnicode NFC正規化する方法

Microsoft Wordで文書内の文字をUnicode NFC正規化する簡単な方法はないでしょうか。Emacsでいうと ucs-normalize-NFC-region のような機能をイメージしています。 macOS上で作られたテキストやWord形式などの文書の内容では、かなの濁点や半濁点の扱いとして、結合文字列と合成済み文字が混在していることがしばしばあります。...
emasaka's user avatar
  • 2,868
0
0 回答
1,479 閲覧数

pythonでinstall library をしたときのエラー

こんにちは。python初心者のものです。私が今使っている教材で ・pip install [library名] とすると、パッケージをインストールできるとのことですが、画像のようなエラーが出てきました。ググりにググった結果、埒が明かないので質問させていただきました。 見にくいですが、UnicodeDecodeErrorと出ています。 どなたか解決に力を貸してくれたらうれしいです! 環境:...
smoto's user avatar
  • 1
0
1 回答
134 閲覧数

複数個 非ASCII 文字があった場合の Punycode のデコード処理が理解できない

https://ja.wikipedia.org/wiki/Punycode を見ていました。 基本的に、任意の utf 文字列を Punycode へ変換する際には、 ASCII文字のみ をそのままコピー 非ASCII文字たち をエンコードしながら、 1. の末尾に - の後ろにくっつける と、理解したのですが、特に複数個、...
Yuki Inoue's user avatar
  • 1.7万
1
0 回答
1,187 閲覧数

文字とWingdingsフォントの絵文字のUnicodeの間で変換するライブラリは無いか

Wingdingsフォントの絵文字を普通の文字に、普通の文字をWingdingsの絵文字(Unicode)に変換をしたいです。例えば!を\u270F(✏)に、\u9986(✄)を"に変換してほしいです。 この機能を実装したライブラリを探してみたのですが見つかりませんでした。この機能を含んだライブラリはあるのでしょうか。知っておられる方は教えていただけると幸いです。
ra1ned's user avatar
  • 1,130
1
1 回答
1,917 閲覧数

WPFで特殊文字が特定の条件下で文字化けする

WPF+C#で作ったソフトウェアのTextBoxに特殊な文字を入力すると特定の条件下で文字化けが発生します。 例えば、U+06EEを文字コード表からコピーし、TextBoxに貼り付けるとそのままの状態では正しく表示されます。 しかし、貼り付けた文字の前にスペースなどを追加すると □ に化けてしまいます。 TextBlockに表示させた場合も同様に文字化けします。 これは.NET ...
じょい's user avatar
6
2 回答
2,284 閲覧数

u'-' と u'\u2013' の違いは何でしょうか?

python2 における unicode に関して質問です。 u'-' と u'\u2013' の違いは何でしょうか。(2013 は - のコードポイントだと思います) print u'-' #=> - print u'\u2013' #=> - u'-' == u'\u2013' #=> False
perrier's user avatar
  • 179
5
1 回答
763 閲覧数

ターミナル上にバイト文字列で表示されてしまう(python2系の文字化け)

ターミナル上の対話で バイト文字列で表示されてしまうのです。 デバッグが面倒で困っています。。 ターミナルの環境設定では、 UTF-8に設定されています。 python2系、 mac os el capitan を利用しています。
kansiho's user avatar
  • 165
1
2 回答
1,403 閲覧数

文字列をUnicodeに変換できない

Unicodeにうまく変換できません。 private EditText unicodeText; private byte[] stringchar; ByteBuffer bytebuffer; CharBuffer charbuffer; public void onClick(View v){ this.unicodeText=(EditText) findViewById(R....
ra1ned's user avatar
  • 1,130
1
2 回答
2万 閲覧数

UTF-8でマルチバイト以外の文字列は何? 半角カナは該当する?

UTF-8でマルチバイト以外の文字列は何があるでしょうか? ・半角英数字 ・半角カナも該当するのでしょうか?
re9's user avatar
  • 6,714
6
2 回答
1,197 閲覧数

同じロケールでも日本語入力の可否に差がある理由

Linux/BSD初心者です。 Ubuntu15.04のGNOME端末より、リモートホストのCentOS6.7にログインすると $ echo 'あいうえお' あいうえお と行うことができます。 同じことをFreeBSD10.2-stableで行うと 'あいうえお'と入力してEnterを押した瞬間にそれまでの入力文字が全て消去されてしまいました。何も入力しなかったかのようになります。 ...
cul8er's user avatar
  • 1,943
1
2 回答
126 閲覧数

Rails Migration内でのexecute >> SQLでUnicodeキャラクターが常にnullを返します

現在以下のことをしようとしています。 ユーザーの名前(Name)をsplitted_nameという変数に代入。 splitted_name[0]をfirst_nameに保存(first_name = splitted_name[0]) splitted_name[0]とsplitted_name[-1]が別の値であればlast_nameにsplitted_name[-1]を保存 ...
Atsuhiro Teshima's user avatar
3
2 回答
1,784 閲覧数

「オープンデータ」のような半濁点を含むカタカナがうまく検索できない

PostgreSQL 9.2.4 + Rails 4.1を使っています。 DB内のあるカラムに「空間オープンデータを用いたソフトウェア」という文言が入っています。 このとき、以下のようなSQLを発行してもデータが返ってきません(0件)。(実際には画面からフリー入力された文字列をActiveRecordのクエリに渡しています) select * from groups g where ...
Junichi Ito's user avatar
  • 6,641
10
6 回答
2万 閲覧数

C言語でのUTF-8文字列の正確な長さを取得する

UTF-8でのstrlen関数のようなものはありますか? "こんにちは"という文字列の長さをstrlenで測ると5ではなく、15という数値が返ってきてしまいます。 #include <stdio.h> #include <string.h> int main() { char *s = "こんにちは"; printf("%lu\n", strlen(s))...
KiYugadgeter's user avatar
  • 4,358
6
6 回答
2万 閲覧数

エスケープされた日本語文字列をデコードしたい

TwitterのデータのようにJSON形式で取得されたものは、日本語などマルチバイト文字がすべて"\uHHHH"のようなユニコードの16進表現でエンコードされています。 これをOS Xの標準環境、できればシェルスクリプトで配りたいのですが、この制約の中で出来る良い方法がないか探しています。 当初は、 http://qiita.com/kumazo@github/items/...
mutuki's user avatar
  • 243