回答ではありません
質問が全く正確でないため、また原因が不明なため、回答にはなっていません。
前提
質問が以下のコードで構築される環境だと仮定します。
MySQLイメージ: mysql:8.0.31
Python: 3.10.9
mysql-connector-python: 8.0.31
PyMySQL: 1.0.2
サーバーとクライアントのIP: 異なる
コード
※空のディレクトリで実行すること
create_env.sh
WAIT_SETUP_MYSQL=10
cat >my.cnf <<EOF
[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
#[client]
#default-character-set=utf8mb4
EOF
cat >docker-compose.yml <<EOF
version: '3.1'
services:
db:
image: mysql:8
command: --default-authentication-plugin=mysql_native_password
volumes:
- ./data:/var/lib/mysql
- ./logs:/var/log/mysql
- ./my.cnf:/etc/mysql/conf.d/my.cnf
ports:
- 3306:3306
environment:
MYSQL_ROOT_PASSWORD: example
TZ: 'Asia/Tokyo'
python:
image: python:3.10
volumes:
- ./python/:/opt/project/
EOF
docker-compose up -d db
docker-compose exec -T db bash <<EOF
while sleep 1;do if [ -S /var/run/mysqld/mysqld.sock ];then break;fi;done
sleep $WAIT_SETUP_MYSQL
EOF
docker-compose exec -T db bash <<EOF
mysql --user=root --password=example
use mysql
create user \`user\`@\`%\` IDENTIFIED BY 'python';
create database sampledb character set utf8mb4 collate utf8mb4_bin;
grant all on sampledb.* to user;
use sampledb
create table sample(
id varchar(20) primary key,
name varchar(1024)
);
insert into sample values('1001', 'dockerを用いてpythonからmysqlに接続すると日本語が文字化けする');
insert into sample values('1002', 'dockerを用いてpythonとmysqlのコンテナをそれぞれ作成し');
insert into sample values('1003', 'pythonからmysqlに接続しfetchallでテーブルを表示しようとすると');
insert into sample values('1004', '🤧 😷 🤒 🤕 🤑 🤠 😈 👿 👹 👺 🤡 💩 👻 💀');
exit
EOF
docker-compose exec -T db bash <<EOF
mysql --user=user --password=python --database=sampledb
show variables like 'chara%';
select * from sample;
exit
EOF
docker-compose exec -T db bash <<EOF
mysql --user=user --password=python --database=sampledb --default-character-set=utf8mb4
show variables like 'chara%';
select * from sample;
exit
EOF
docker-compose run --rm python bash <<EOF
cd /opt/project
python -m venv env
./env/bin/python -m pip install mysql-connector-python PyMySQL
cat >sample.py <<INNER_EOF
import mysql.connector
cnx = mysql.connector.connect(
host='db',
port='3306',
user='user',
password='python',
database='sampledb',
charset='utf8mb4'
)
cursor_=cnx.cursor()
cursor_.execute("show variables like 'chara%';")
rows = cursor_.fetchall()
for row in rows:
print (row)
cursor_.execute("select * from sample;")
rows = cursor_.fetchall()
for row in rows:
print (row)
INNER_EOF
cat >sample2.py <<INNER_EOF
import pymysql.cursors
cnx = pymysql.connect(
host='db',
port=3306,
user='user',
password='python',
database='sampledb',
charset='utf8mb4'
)
cursor_=cnx.cursor()
cursor_.execute("show variables like 'chara%';")
rows = cursor_.fetchall()
for row in rows:
print (row)
cursor_.execute("select * from sample;")
rows = cursor_.fetchall()
for row in rows:
print (row)
INNER_EOF
./env/bin/python sample.py
./env/bin/python sample2.py
EOF
docker-compose down
出力
$ sh ../create_env.sh
Creating network "tmp_default" with the default driver
Creating tmp_db_1 ... done
mysql: [Warning] Using a password on the command line interface can be insecure.
ERROR 1396 (HY000) at line 2: Operation CREATE USER failed for 'user'@'%'
mysql: [Warning] Using a password on the command line interface can be insecure.
Variable_name Value
character_set_client latin1
character_set_connection latin1
character_set_database utf8mb4
character_set_filesystem binary
character_set_results latin1
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /usr/share/mysql-8.0/charsets/
id name
1001 dockerを用いてpythonからmysqlに接続すると日本語が文字化けする
1002 dockerを用いてpythonとmysqlのコンテナをそれぞれ作成し
1003 pythonからmysqlに接続しfetchallでテーブルを表示しようとすると
1004 🤧 😷 🤒 🤕 🤑 🤠 😈 👿 👹 👺 🤡 💩 👻 💀
mysql: [Warning] Using a password on the command line interface can be insecure.
Variable_name Value
character_set_client utf8mb4
character_set_connection utf8mb4
character_set_database utf8mb4
character_set_filesystem binary
character_set_results utf8mb4
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /usr/share/mysql-8.0/charsets/
id name
1001 dockerを用ã„ã¦pythonã‹ã‚‰mysqlã«æŽ¥ç¶šã™ã‚‹ã¨æ—¥æœ¬èªžãŒæ–‡å—化ã‘ã™ã‚‹
1002 dockerを用ã„ã¦pythonã¨mysqlã®ã‚³ãƒ³ãƒ†ãƒŠã‚’ãã‚Œãžã‚Œä½œæˆã—
1003 pythonã‹ã‚‰mysqlã«æŽ¥ç¶šã—fetchallã§ãƒ†ãƒ¼ãƒ–ルを表示ã—よã†ã¨ã™ã‚‹ã¨
1004 🤧 😷 🤒 🤕 🤑 🤠😈 👿 👹 👺 🤡 💩 👻 💀
Requirement already satisfied: mysql-connector-python in ./env/lib/python3.10/site-packages (8.0.31)
Requirement already satisfied: PyMySQL in ./env/lib/python3.10/site-packages (1.0.2)
Requirement already satisfied: protobuf<=3.20.1,>=3.11.0 in ./env/lib/python3.10/site-packages (from mysql-connector-python) (3.20.1)
('character_set_client', 'utf8mb4')
('character_set_connection', 'utf8mb4')
('character_set_database', 'utf8mb4')
('character_set_filesystem', 'binary')
('character_set_results', 'utf8mb4')
('character_set_server', 'utf8mb4')
('character_set_system', 'utf8mb3')
('character_sets_dir', '/usr/share/mysql-8.0/charsets/')
('1001', 'dockerを用ã\x81„ã\x81¦pythonã\x81‹ã‚‰mysqlã\x81«æŽ¥ç¶šã\x81™ã‚‹ã\x81¨æ—¥æœ¬èªžã\x81Œæ–‡å\xad—化ã\x81‘ã\x81™ã‚‹')
('1002', 'dockerを用ã\x81„ã\x81¦pythonã\x81¨mysqlã\x81®ã‚³ãƒ³ãƒ†ãƒŠã‚’ã\x81\x9dã‚Œã\x81žã‚Œä½œæˆ\x90ã\x81—')
('1003', 'pythonã\x81‹ã‚‰mysqlã\x81«æŽ¥ç¶šã\x81—fetchallã\x81§ãƒ†ãƒ¼ãƒ–ルを表示ã\x81—よã\x81†ã\x81¨ã\x81™ã‚‹ã\x81¨')
('1004', '🤧 😷 🤒 🤕 🤑 ðŸ¤\xa0 😈 👿 👹 👺 🤡 💩 👻 💀')
('character_set_client', 'utf8mb4')
('character_set_connection', 'utf8mb4')
('character_set_database', 'utf8mb4')
('character_set_filesystem', 'binary')
('character_set_results', 'utf8mb4')
('character_set_server', 'utf8mb4')
('character_set_system', 'utf8mb3')
('character_sets_dir', '/usr/share/mysql-8.0/charsets/')
('1001', 'dockerを用ã\x81„ã\x81¦pythonã\x81‹ã‚‰mysqlã\x81«æŽ¥ç¶šã\x81™ã‚‹ã\x81¨æ—¥æœ¬èªžã\x81Œæ–‡å\xad—化ã\x81‘ã\x81™ã‚‹')
('1002', 'dockerを用ã\x81„ã\x81¦pythonã\x81¨mysqlã\x81®ã‚³ãƒ³ãƒ†ãƒŠã‚’ã\x81\x9dã‚Œã\x81žã‚Œä½œæˆ\x90ã\x81—')
('1003', 'pythonã\x81‹ã‚‰mysqlã\x81«æŽ¥ç¶šã\x81—fetchallã\x81§ãƒ†ãƒ¼ãƒ–ルを表示ã\x81—よã\x81†ã\x81¨ã\x81™ã‚‹ã\x81¨')
('1004', '🤧 😷 🤒 🤕 🤑 ðŸ¤\xa0 😈 👿 👹 👺 🤡 💩 👻 💀')
Stopping tmp_db_1 ... done
Removing tmp_db_1 ... done
Removing network tmp_default
$
原因
不明。
character_set_system
がクライアント側のdefault_character_set
と異なるためなのか、なぜかlatin1で処理された。
対策
my.cnfのコメントを外す
出力
$ sh ../create_env.sh
Creating network "tmp_default" with the default driver
Creating tmp_db_1 ... done
mysql: [Warning] Using a password on the command line interface can be insecure.
mysql: [Warning] Using a password on the command line interface can be insecure.
Variable_name Value
character_set_client utf8mb4
character_set_connection utf8mb4
character_set_database utf8mb4
character_set_filesystem binary
character_set_results utf8mb4
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /usr/share/mysql-8.0/charsets/
id name
1001 dockerを用いてpythonからmysqlに接続すると日本語が文字化けする
1002 dockerを用いてpythonとmysqlのコンテナをそれぞれ作成し
1003 pythonからmysqlに接続しfetchallでテーブルを表示しようとすると
1004 🤧 😷 🤒 🤕 🤑 🤠 😈 👿 👹 👺 🤡 💩 👻 💀
mysql: [Warning] Using a password on the command line interface can be insecure.
Variable_name Value
character_set_client utf8mb4
character_set_connection utf8mb4
character_set_database utf8mb4
character_set_filesystem binary
character_set_results utf8mb4
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /usr/share/mysql-8.0/charsets/
id name
1001 dockerを用いてpythonからmysqlに接続すると日本語が文字化けする
1002 dockerを用いてpythonとmysqlのコンテナをそれぞれ作成し
1003 pythonからmysqlに接続しfetchallでテーブルを表示しようとすると
1004 🤧 😷 🤒 🤕 🤑 🤠 😈 👿 👹 👺 🤡 💩 👻 💀
Collecting mysql-connector-python
Downloading mysql_connector_python-8.0.31-cp310-cp310-manylinux1_x86_64.whl (23.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 23.5/23.5 MB 27.1 MB/s eta 0:00:00
Collecting PyMySQL
Downloading PyMySQL-1.0.2-py3-none-any.whl (43 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 43.8/43.8 kB 5.7 MB/s eta 0:00:00
Collecting protobuf<=3.20.1,>=3.11.0
Downloading protobuf-3.20.1-cp310-cp310-manylinux_2_12_x86_64.manylinux2010_x86_64.whl (1.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.1/1.1 MB 12.6 MB/s eta 0:00:00
Installing collected packages: PyMySQL, protobuf, mysql-connector-python
Successfully installed PyMySQL-1.0.2 mysql-connector-python-8.0.31 protobuf-3.20.1
('character_set_client', 'utf8mb4')
('character_set_connection', 'utf8mb4')
('character_set_database', 'utf8mb4')
('character_set_filesystem', 'binary')
('character_set_results', 'utf8mb4')
('character_set_server', 'utf8mb4')
('character_set_system', 'utf8mb3')
('character_sets_dir', '/usr/share/mysql-8.0/charsets/')
('1001', 'dockerを用いてpythonからmysqlに接続すると日本語が文字化けする')
('1002', 'dockerを用いてpythonとmysqlのコンテナをそれぞれ作成し')
('1003', 'pythonからmysqlに接続しfetchallでテーブルを表示しようとすると')
('1004', '🤧 😷 🤒 🤕 🤑 🤠 😈 👿 👹 👺 🤡 💩 👻 💀')
('character_set_client', 'utf8mb4')
('character_set_connection', 'utf8mb4')
('character_set_database', 'utf8mb4')
('character_set_filesystem', 'binary')
('character_set_results', 'utf8mb4')
('character_set_server', 'utf8mb4')
('character_set_system', 'utf8mb3')
('character_sets_dir', '/usr/share/mysql-8.0/charsets/')
('1001', 'dockerを用いてpythonからmysqlに接続すると日本語が文字化けする')
('1002', 'dockerを用いてpythonとmysqlのコンテナをそれぞれ作成し')
('1003', 'pythonからmysqlに接続しfetchallでテーブルを表示しようとすると')
('1004', '🤧 😷 🤒 🤕 🤑 🤠 😈 👿 👹 👺 🤡 💩 👻 💀')
Stopping tmp_db_1 ... done
Removing tmp_db_1 ... done
Removing network tmp_default
$
cnx = mysql.connector.connect(...)
で明示的にcharset='latin1'
を指定しているからでは? こちら 7.1 Connector/Python Connection Arguments ではcharsetは
デフォルトでutf8mb4
になっていますが。