1

AWS RDS 上の MySQL にアクセスする
API(Apache + Fuel PHP)を追加して負荷試験を行っていたところ
Apache が接続を受け付けなくなって調べていくうちに
RDSのパフォーマンスインサイトのRDSのログの待機のところに

synch/cond/mysys/my_thread_var::suspend

というのがでてロックがおこってしまったようなのです

新規追加した MySQL のコードは以下です

INSERT INTO user_states
        (user_id, x, y, state)
        VALUES ('xxxxxxxx', 100, 200, 0)
        ON DUPLICATE KEY UPDATE 
        x = VALUES(x), y = VALUES(y), state = VALUES(state)

という user_id のレコードがあれば x, y, state を更新なければ作成というコードで
これが重複を含む複数の user_id に対して非同期に大量にAPIに流れてきます

テーブルDDLは以下で PK とは別に user_id のみユニークインデックスがついています

CREATE TABLE `user_states` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` varchar(255) NOT NULL,
  `x` decimal(9,6) NOT NULL,
  `y` decimal(9,6) NOT NULL,
  `state` int(11) NOT NULL DEFAULT '1',
  `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `index_user_states_on_user_id` (`user_id`)
) ENGINE=InnoDB AUTO_INCREMENT=nnnnnn DEFAULT CHARSET=latin1

このクエリが原因かどうか実際はわからないんですが最近追加した機能の1つなので
RDS上でロックの原因を調べる方法はありますか?

またSQLやテーブルにどこか問題があったら教えていただきたいです

https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Reference.html

synch/cond/mysys/my_thread_var::suspend

この待機イベントの場合、スレッドは条件の待機中に停止されます。たとえば、スレッドがテーブルレベルのロックを待機しているときに、このイベントが発生します。ワークロードを調査し、データベースインスタンスのテーブルロックを取得する可能性があるスレッドを確認することをお勧めします。MySQL
のテーブルロックの詳細については、MySQL ドキュメントの「テーブルロックの問題」を参照してください。

6
  • 「複数ユーザから並列に」というのは、同じユーザIDが同時にINSERTはしておらず、必ず一ユーザIDあたり一スレッドで動いていたということですか?
    – keitaro_so
    Commented 2019年8月19日 7:44
  • いえAPIなので同じユーザIDから同時にINSERTがくることもあります。この書き方では同時に同じユーザIDにリクエストが来た場合デッドロックがおきるんでしょうか
    – user35303
    Commented 2019年8月19日 7:57
  • デッドロックが起きているということですが、InnoDBモニタを有効化して確認したのでしょうか?その情報も合わせて追記いただけると幸いです。
    – keitaro_so
    Commented 2019年8月19日 23:58
  • InnoDBモニタは使ったことがないです。MySQLのルート権限はもっていないのですがそれでも可能でしょうか? MySQLはRDS上にあるので、サーバーにログインして /var/log を見るということはできないんですがログはCloudWatchに勝手にでるんでしょうか… ちなみにデッドロックと判断したのは apache が接続を受け付けなくなっていろいろ調べるうちに 「my_thread_var::suspend」というのがでていてぐぐってみたら上記黄色い枠のドキュメントにいきついたためにデッドロックが起きて全APIが MySQL アクセスのところでとまってるのではないかと判断しました。
    – user35303
    Commented 2019年8月20日 3:05
  • RDSのログの確認方法はAWSにドキュメントがありますので確認いただければと思います。わからなければ別途質問してください。
    – keitaro_so
    Commented 2019年8月20日 3:16

1 件の回答 1

1

synch/cond/mysys/my_thread_var::suspend
デッドロックが起こったというものではなく
別のロックが発生しているため、該当のスレッドがロック解除待ちのため中断していることを表す待機イベントです。
ロック解除されれば、自動で再開されて処理されるものです。

質問者さんの実行された並列テストでは
「ユーザIDから同時にINSERTがくることもあります」とのことなので同じuser_idに対して並列でINSERT処理が走っているようなので、どうしても行ロックレベルですが、ロック待ちが発生してしまうと思います。
これは排除できるものではなく、この作りでは受け入れなければならないものかなと思います。

要件としてINSERT時の行ロックの待ち時間ですら待てないということであれば、
user_idのUnique制約をやめてしまってあればUPDATEするのではなく、常にINSERTするようにしてSELECT側で最新のcreated_atを参照するようにしてはどうでしょうか?
そうするとデータ量とSELECT時の負荷が増えてしまいますが、INSERT時の行ロック待ち時間は発生しなくなります。

3
  • 当然同じリソースにアップデートをかければ街が発生するのは理解していてそこを測定するのが負荷試験の意図だったのですが、APIが完全に停止してしまうのが謎なのです。おっしゃるように時間がかかっているだけであればゆっくりとAPIは処理を行うはずなのですがApacheのログが完全に停止してしまうのでデッドロックを疑っていました。ちなみに再現しようとしてもなかなか再現できずアプリレベルでできるデバッグを埋め込んで数十時間動かしてるのですが以降1度も発生しません…
    – user35303
    Commented 2019年8月20日 3:29
  • であれば、Webサーバ側のCPUやメモリ等もしくはApacheの接続数の問題のようにも見えます。MySQL側が停止しているのであればApacheは受け入れるはずですので、一度そのあたりを確認してはいかがでしょうか?
    – keitaro_so
    Commented 2019年8月20日 3:31
  • そうですね。 真っ先にそのあたりを疑って確認したのですがもう1度確認してみます
    – user35303
    Commented 2019年8月20日 3:33

この質問に回答するには、ログインする必要があります。