Skip to main content
誤記訂正+サロゲートの話追加
ソース リンク
774RR
  • 2.2万
  • 1
  • 19
  • 45

まずは Unicode 側の仕様
Unicode の世界では世界各地の「文字」を扱いますが、その文字1つ1つに抽象的な「文字コードポイント」を割り振っています。「文字」をファイルにセーブするとき、そのコードポイントをどのような「バイトの列」にするかを決めて取り扱うことになります。この、具体的な変換方法を「エンコーディング」と呼びます。この辺の話はあなた自身の質問
UTF-8で日本語1文字が3バイトなのはなぜ?
にて述べられているわけです。

Unicode には BMP (Basic Multilingual Plane) という概念があって
https://ja.wikipedia.org/wiki/%E5%9F%BA%E6%9C%AC%E5%A4%9A%E8%A8%80%E8%AA%9E%E9%9D%A2
これは UNICODE 3.0 までで追加された「よく使うであろう」文字のセットのことで BMP にある文字は UTF-8 エンコーディングでは 3byte となります。 BMP 外の文字は UTF-8 エンコーディングで 4byte となる仕様です。

日本語関連では「ひらがな」「かたかな」「よく使う漢字」は Unicode 1.1 で追加された関係でこの BMP の中に配置されています。そのため UTF-8 エンコーディングで表記すると 3byte になります。「絵文字」などは Unicode 6.0 などで追加された関係で BMP に入っていません。そのため「絵文字」を UTF-8 エンコーディング表記すると 4byte になります。

さてここからは の仕様で
https://dev.mysql.com/doc/refman/5.6/ja/charset-unicode-utf8mb4.html
mysql のデーターベース文字エンコーディング utf8 は BMP に登録されている文字だけを取り扱う代わりに、1文字3バイトのディスク空間を占有するという仕様です。非 BMP 文字は格納できないことになっています

mysql のデーターベース文字エンコーディング utf8mb4 は BMP にない文字も取り扱う代わり取り扱えるようなったもので、非 BMP 文字は、1文字4バイトのディスク空間を占有するという仕様です。

どちらを選ぶかはどただし utf8mb4 を使うアプリケーションソフト「文字」ほうにも非 BMP 文字を取り扱う機能が必要とされるか、、ディスクの使用効率とから選択すればよいことになります。まあいまどきディスク装置の価格 (特に UTF-16 を使っているアプリケーション下がっサロゲートペアに対応していますしなければならない) 。

いまどき的には常に utf8mb4 を選んで採用しておけば問題間違いないでしょう。utf8 はサロゲートペアに非対応なアプリケーション専用と考えていいです

まずは Unicode 側の仕様
Unicode の世界では世界各地の「文字」を扱いますが、その文字1つ1つに抽象的な「文字コードポイント」を割り振っています。「文字」をファイルにセーブするとき、そのコードポイントをどのような「バイトの列」にするかを決めて取り扱うことになります。この、具体的な変換方法を「エンコーディング」と呼びます。この辺の話はあなた自身の質問
UTF-8で日本語1文字が3バイトなのはなぜ?
にて述べられているわけです。

Unicode には BMP (Basic Multilingual Plane) という概念があって
https://ja.wikipedia.org/wiki/%E5%9F%BA%E6%9C%AC%E5%A4%9A%E8%A8%80%E8%AA%9E%E9%9D%A2
これは UNICODE 3.0 までで追加された「よく使うであろう」文字のセットのことで BMP にある文字は UTF-8 エンコーディングでは 3byte となります。 BMP 外の文字は UTF-8 エンコーディングで 4byte となる仕様です。

日本語関連では「ひらがな」「かたかな」「よく使う漢字」は Unicode 1.1 で追加された関係でこの BMP の中に配置されています。そのため UTF-8 エンコーディングで表記すると 3byte になります。「絵文字」などは Unicode 6.0 などで追加された関係で BMP に入っていません。そのため「絵文字」を UTF-8 エンコーディング表記すると 4byte になります。

さてここからは の仕様で
https://dev.mysql.com/doc/refman/5.6/ja/charset-unicode-utf8mb4.html
mysql のデーターベース文字エンコーディング utf8 は BMP に登録されている文字だけを取り扱う代わりに、1文字3バイトのディスク空間を占有するという仕様です。

mysql のデーターベース文字エンコーディング utf8mb4 は BMP にない文字も取り扱う代わりに、1文字4バイトのディスク空間を占有するという仕様です。

どちらを選ぶかはど「文字」が必要とされるか、、ディスクの使用効率とから選択すればよいことになります。まあいまどきディスク装置の価格下がっていますし utf8mb4 を選んでおけば問題ないでしょう。

まずは Unicode 側の仕様
Unicode の世界では世界各地の「文字」を扱いますが、その文字1つ1つに抽象的な「文字コードポイント」を割り振っています。「文字」をファイルにセーブするとき、そのコードポイントをどのような「バイトの列」にするかを決めて取り扱うことになります。この、具体的な変換方法を「エンコーディング」と呼びます。この辺の話はあなた自身の質問
UTF-8で日本語1文字が3バイトなのはなぜ?
にて述べられているわけです。

Unicode には BMP (Basic Multilingual Plane) という概念があって
https://ja.wikipedia.org/wiki/%E5%9F%BA%E6%9C%AC%E5%A4%9A%E8%A8%80%E8%AA%9E%E9%9D%A2
これは UNICODE 3.0 までで追加された「よく使うであろう」文字のセットのことで BMP にある文字は UTF-8 エンコーディングでは 3byte となります。 BMP 外の文字は UTF-8 エンコーディングで 4byte となる仕様です。

日本語関連では「ひらがな」「かたかな」「よく使う漢字」は Unicode 1.1 で追加された関係でこの BMP の中に配置されています。そのため UTF-8 エンコーディングで表記すると 3byte になります。「絵文字」などは Unicode 6.0 などで追加された関係で BMP に入っていません。そのため「絵文字」を UTF-8 エンコーディング表記すると 4byte になります。

さてここからは の仕様で
https://dev.mysql.com/doc/refman/5.6/ja/charset-unicode-utf8mb4.html
mysql のデーターベース文字エンコーディング utf8 は BMP に登録されている文字だけを取り扱う代わりに、1文字3バイトのディスク空間を占有するという仕様です。非 BMP 文字は格納できないことになっています

mysql のデーターベース文字エンコーディング utf8mb4 は BMP にない文字も取り扱えるようなったもので、非 BMP 文字は、1文字4バイトのディスク空間を占有するという仕様です。ただし utf8mb4 を使うアプリケーションソフトほうにも非 BMP 文字を取り扱う機能が必要となります (特に UTF-16 を使っているアプリケーションサロゲートペアに対応していなければならない) 。

いまどき的には常に utf8mb4 を採用しておけば間違いないでしょう。utf8 はサロゲートペアに非対応なアプリケーション専用と考えていいです

ソース リンク
774RR
  • 2.2万
  • 1
  • 19
  • 45

まずは Unicode 側の仕様
Unicode の世界では世界各地の「文字」を扱いますが、その文字1つ1つに抽象的な「文字コードポイント」を割り振っています。「文字」をファイルにセーブするとき、そのコードポイントをどのような「バイトの列」にするかを決めて取り扱うことになります。この、具体的な変換方法を「エンコーディング」と呼びます。この辺の話はあなた自身の質問
UTF-8で日本語1文字が3バイトなのはなぜ?
にて述べられているわけです。

Unicode には BMP (Basic Multilingual Plane) という概念があって
https://ja.wikipedia.org/wiki/%E5%9F%BA%E6%9C%AC%E5%A4%9A%E8%A8%80%E8%AA%9E%E9%9D%A2
これは UNICODE 3.0 までで追加された「よく使うであろう」文字のセットのことで BMP にある文字は UTF-8 エンコーディングでは 3byte となります。 BMP 外の文字は UTF-8 エンコーディングで 4byte となる仕様です。

日本語関連では「ひらがな」「かたかな」「よく使う漢字」は Unicode 1.1 で追加された関係でこの BMP の中に配置されています。そのため UTF-8 エンコーディングで表記すると 3byte になります。「絵文字」などは Unicode 6.0 などで追加された関係で BMP に入っていません。そのため「絵文字」を UTF-8 エンコーディング表記すると 4byte になります。

さてここからは の仕様で
https://dev.mysql.com/doc/refman/5.6/ja/charset-unicode-utf8mb4.html
mysql のデーターベース文字エンコーディング utf8 は BMP に登録されている文字だけを取り扱う代わりに、1文字3バイトのディスク空間を占有するという仕様です。

mysql のデーターベース文字エンコーディング utf8mb4 は BMP にない文字も取り扱う代わりに、1文字4バイトのディスク空間を占有するという仕様です。

どちらを選ぶかはどの「文字」が必要とされるか、と、ディスクの使用効率とから選択すればよいことになります。まあいまどきディスク装置の価格は下がっていますし utf8mb4 を選んでおけば問題ないでしょう。