1

Sidekiqを動かすためにAWSのElasticacheを使用しています。
Redisのバージョンは2.8.6です。

Redisの「(error) ERR max number of clients reached」というエラー対応に困っています。
コマンドライン操作で「FLUSHALL」を実行して、データを一旦クリアすることで対応しましたが、待機状態のジョブもリセットしてしまう結果となったので、ジョブのリセットを防ぐ良い解決策を知っている方がいればお教えください。

よろしくお願いします。詳細は下記にまとめました。

Redisのmaxclientsというパラメーターが上限値(65000)に達してしまった際に発生するエラーで、Sidekiqのダッシュボード画面の下部の「接続」という項目(※下図の赤枠箇所)が64999となり、Sidekiqの動作も止まってしまう。

Sidekiqのダッシュボード画面

Elasticacheのマニュアル(http://docs.aws.amazon.com/ja_jp/AmazonElastiCache/latest/UserGuide/CacheParameterGroups.Redis.html
によると、maxclientsの上限値は変更できないとのこと。

エラーへの対応として、Elasticacheをリブートして、コマンドライン操作で「FLUSHALL」を実行して、データを一旦クリアすることで対応。
(※Redisのコマンドライン操作で何を打ち込んでも、「(error) ERR max number of clients reached」のエラーが返ってきてしまい、「FLUSHALL」すらできなかったので、Elasticacheの再起動が必要だった。)
しかし、待機状態のジョブもリセットしてしまう結果となった。

2
  • 上限に達したらどうするかというより、接続数を減らすことを考える必要があると思います。65000は結構な数字ですが、 sidekiq.ymlconcurrency をよほど大きな値に設定しているのでしょうか? github.com/mperham/sidekiq/issues/117
    – unarist
    Commented 2015年4月2日 8:43
  • @unarist コメントありがとうございます! Sidekiqのqueuesの種類が複数ありますが、concurrencyは最小で1、最大で10です。大きすぎるほどの数値でもありません。 そして、maxclientsの値は蓄積されるようなのですが、65000に到達するまで60日ほどかかりました。Sidekiqを動かしているEC2をAutoScalingで増減させているため、現在だと1日1000程度蓄積されます。
    – keitaj
    Commented 2015年4月2日 10:29

2 件の回答 2

1

maxclientsの値は蓄積されるようなのですが

そんなはずはないだろうと調べてみると、AutoScalingでインスタンスが減るときに切断処理が行えないため、タイムアウトするまでつなぎっぱなしになってしまうようです。

redisをAutoScaling環境で使う場合はtimeoutの設定に注意 - まめ畑

terminateする時に何かしらフックを仕掛けられないだろうかと思うのですが、ちょっとわからないです。

2
  • ありがとうございます!接続が蓄積されるものだと勘違いしてしまいそうでした。確かに共有頂いた記事の通りAutoScalingが影響してそうですね。その辺りから再度調べなおしてみます。何かわかったらこちらにて共有できればと思います。
    – keitaj
    Commented 2015年4月6日 2:48
  • 無事解決できたので、質問への回答をさせていただきました。共有いただいた記事がどんぴしゃの内容でした。ありがとうございました!
    – keitaj
    Commented 2015年4月8日 1:38
1

Elasticacheのパラメーターであるtimeoutの値がデフォルトだと0だったため、0より上の値に設定してあげたところ(とりあえず3600に設定)、接続(maxclients)の値も解放され、解決することができました。

timeoutの値が0だとアイドル状態のクライアントとの切断処理を行わないため、蓄積されていました。AutoScalingしたインスタンスからElasticache(Redis)に接続するときは注意が必要です。

デフォルトのパラメーターグループの値は編集できないので、新しくパラメーターグループを作成し、適用しました。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。