10
票
承認済み
macOS の sort コマンドでカタカナとひらがなのソート順が崩れる原因は?
コメントにあるThe macOS LC_COLLATE huntを参考に、Sonomaのmacを実際に確認すると
% ls -l /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
lrwxr-xr-x 1 root wheel 28 Aug 4 19:31 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE@ -> ../...
5
票
日本語で深層学習の用語
リスト中の用語は新しいものが多いです。定まった訳が無いものもあります。英語のまま書くことができるなら、そうするのが良いでしょう。
また、日本語には複数形が無いことにも注意してください。たとえば、"neural networks" に対応するカタカナは「ニューラルネットワークス」ではなく「ニューラルネットワーク」であることが多いです。
Since some of the listed terms ...
4
票
日本語のステミング(「よい」と「良い」が同じであるか判定する)方法
まだ完璧とは言えませんが、一定の進歩はありましたので、追記部分をこちらに移すとともに、再編集します。
UniDicにはIPADICにない素性があります。「語彙素・語形・書字形・発音形の階層構造を持ち,表記の揺れや語形の変異にかかわらず同一の見出しを与えることができます」とのことです。
辞書のCSVファイルを見てみると
すし屋,5142,5142,9609,名詞,普通名詞,一般,*,*,*,...
3
票
承認済み
Rubyであかさたなでgroup_by
以下はどうでしょうか?
a = %w[あかがい うなぎ ほたて]
group = a.group_by do |item|
case item[0]
when /[ぁ-お]/ # ぁ, あ, ぃ, い, ぅ, う, ぇ, え, ぉ, お
'あ'
when /[か-ご]/ # か, が, き, ぎ, く, ぐ, け, げ, こ, ご
'か'
when /[さ-...
3
票
インプットメソッド(IM)は、ファイルで使用されている文字エンコードに応じて、入力する文字のエンコードを変更しますか?
短い答: Win32 配下は Input Method は UTF-16 を使います。
長い答:
Input Method は結局のところ Windows API の一部として動作し、キートップに書かれている文字のコードの代わりに当該地方向け言語に固有な文字に変換したコードを返します。 Win32API はその内部では UTF-16 を取り扱いますので Input Method ...
2
票
python SQLAlchemy & pandas read_sql_query 日本語の処理について
結局tell kのコメントに参考し
#ダブルクォーテションの前に「u」をつける
statement = u"SELECT * FROM orderitem WHERE item_description like '%日本語%'"
で解決しました!
私のpython は2.7で、コードは以下になります。
import pymysql
import os
import pandas as pd
...
2
票
承認済み
Macでのsqlite3の操作時に日本語入力ができない。
Mac にanaconda をインストールされていませんでしょうか? コマンドパスが anaconda のsqlite3 になっている場合、日本語入力ができないようです。私の場合、パス設定を/usr/bin/sqlite3 に変えることで、MacOS 10.14 でも日本語入力ができました。下記のサイトを参考にしました。
https://www.u.tsukuba.ac.jp/ufaqs/...
2
票
C++で日本語文字列を切り取りたい
std::string / std::wstring / std::u16string / std::u32string が用意されていますが、それぞれは対応する文字型(charなど)を扱うとしか定められていません。例えば、C標準ライブラリにはstricmpのような大文字小文字を区別しない比較が存在しますが、C++ stringにはこのような機能すらありません。
...
1
票
インプットメソッド(IM)は、ファイルで使用されている文字エンコードに応じて、入力する文字のエンコードを変更しますか?
VS Codeで2つの空のファイルを作成しました。1つは UTF-8 エンコード (file.utf8.txt)で、もう1つは Shift JIS エンコード (file.shift_jis.txt) です。
VS Code 上でテキストファイルを作成した際エンコードを設定したのですよね。
であれば、その際 VS Code がそのファイルに質問者さんが設定したエンコードを覚えていて、再度開いて「...
1
票
Rubyであかさたなでgroup_by
拡張性を持たしてみました。(&.を使っているのでRuby 2.3以上)
# frozen_string_literal: true
# Unicode 10.0で追加された変体仮名には未対応
KANA_ROWS = {
'あ' => [*(?ぁ..?お), ?ゔ],
'か' => [*(?か..?ご), ?ゕ, ?ゖ],
'さ' => [*(?さ..?ぞ)]...
1
票
Rubyであかさたなでgroup_by
考え方は他の方の回答とだいたい同じなんですが、短く書いてみました。
わかりにくくなってる気もしないでもないですが…。
def group_by_kana_row(a)
keys = "ぁかさたなはまゃらゎん".chars
a.group_by do |x|
keys.each_cons(2) do |s, e|
break s if x < e
end
...
1
票
python SQLAlchemy & pandas read_sql_query 日本語の処理について
もしかして利用されてるPythonのバージョンは2系ですか? もしそうなのであれば、SQL文をUnicode文字列で書いてみてください。
# ダブルクォーテションの前に「u」をつける
statement = u"SELECT * FROM orderitem WHERE item_description like '%日本語%'"
あと read_sql_query は ...
1
票
Vimのrコマンドで日本語の置換ができない (Mac)
自己解決しました.
手順が誤っていたようです.
どうやらエンタキーで確定してはいけないようです.
そして,escキーは置換後の文字を入力し,画面に出力させるまで (すなわち置換が成功するまで) は押してはいけないようです.
成功した手順 :
まず置換したい一文字までカーソルを移動させ,英字入力でrキーを押します.
そして日本語入力に切り替えてから置換後の漢字の読みを (私はローマ字で) 入力し,...
無効化に投票