0

現在、Python 3のpandasを使って日本語を含む行列(表)を作り、C++に読み込んで分析することを考えております。
Python 3ではデフォルトでutf-8が使われているようなのですが、今回はC++上で次の段階の処理を考えているため、どのようなエンコーディングでファイルを保存すべきか困っております。
いくつかサイトを見る限り、ユニコードでもutf-16やutf-32に比べてutf-8のサポートが弱いなどの記述があり、どのようなエンコーディングでファイルを保存すべきか悩んでおります。どのようなエンコードがC++においては一般的に用いられているのでしょうか。

私の環境は、

  • Mac OS X (El Capitan)
  • Python 3.4.3
  • clang c++11

となっております。

2 件の回答 2

1

ファイルのエンコーディングに何を使うかは、案件の要求定義で決めるものです。
サポートが弱いとかそういう話で決めるものではないとオイラは思うわけです。

2016年現在のトレンドと言うか常識から言うと、
要求定義:複数の国語が混在したデータを扱うことができて当たり前
となりそうですよね。となれば
- 文字セットとしては UNICODE を採用
- テキストファイルのエンコーディングは UTF-8
しかないでしょう。
オイラはテキストファイルに UTF-16 / UTF-32 を使っているのを見たことが無いです。

一昔前なら 日本語だけ使えりゃいい→ Shift-JIS (というか CP932) だったかもしれません。

どのようなエンコードがC++においては一般的に用いられているのでしょうか。

プログラム内部で、メモリ上で保持している文字コード(内部コード) と
プログラム外部、つまりはファイルやネットワーク電文に使う文字コード(外部コード) は
区別して考える必要があります。
Windows 系のプログラムは内部コードに UTF-16 を使っていることが多いようです。
Unix 系のプログラムは内部コードに UTF-32 を使っていることが多いようです。
入出力の際に UTF-8 から/へ 変換すればよいだけのことです。

0

Python 3ではデフォルトでutf-8が使われているようなのですが

これは本当でしょうか? 一般的に、内部では独自のエンコーディングを使用していて、ファイルなど外部入出力の際に扱いやすいエンコーディングに変換します。ファイルであればUTF-8がよくつかわれます。
よく似た話でネットワークではネットワークバイトオーダーが使われますが、プログラム内部ではネイティブなエンディアンで値を処理します。

C++においても同様で、ファイル入出力はUTF-8で行えばそれで済む話です。<locale>ヘッダーにはstd::codecvtstd::wstring_convertなどが用意されていますので、それらを使用して変換を行うことができます。

3
  • 例えば、こちらのサイトには、「Python3ではデフォルトの文字コードとしてUTF-8が使われているため、文頭に"# coding: utf-8"などと書く必要はない。」とあったのですが、これは内部のエンコーディングとは異なる話なのでしょうか。/C++についてのご説明もありがとうございます。おっしゃるように入出力はutf-8で行おうと思います。
    – user51966
    Commented 2016年6月3日 0:07
  • 2
    @user51966 さん、挙げられた例はソースコード(.pyや.cpp)のエンコーディングの話題であり、実行中の文字の扱いではありませんよ。
    – sayuri
    Commented 2016年6月3日 2:39
  • 調べなおしてみましたが、勘違いしていたようです。私が気にしていたのは、ファイルの入出力だったので、ご回答して頂いたようにutf-8で行い、必要に応じて内部で変換するという形をとろうかと思います。
    – user51966
    Commented 2016年6月7日 10:05

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。