0

AWS ElasticSearch からデータを取得する以下のような ruby プログラムを EC2 上で動かしたいです

require 'elasticsearch'

  es_url = 'https://xxxxxxxxxx'

  es = Elasticsearch::Client.new ({
    log: false,
    url: es_url,
    request_timeout: 60
  })

  puts 'query start'
  results = es.search({
        index: 'xxxxxxxxxx',
        q: {query: {match_all: {}}},
        size: 10000,
        scroll: '1m'
      })
  puts results

これを EC2 で走らせたところ
'query start'
が出力されたところで固まってしまい
数分たってから execution expired というエラーがでます

これをEC2ではないローカルPCから同じESエンドポイントに対して動かすと数秒で実行は完了します

また EC2 上で

curl <es_url>/<index>/search

を叩いてもやはり結果はすぐ返ってきます
同じシェル上で

ruby es_test.rb

と上記スクリプトを実行した場合だけESへのアクセスが固まってしまいます

ES のアクセスポリシーは IP のみです
(セキュリティの問題でアクセスポリシーは見せられないのですが
何の認証情報も載せてない curl で結果が返ってくるので問題ないと思われます)

ローカルですぐに実行が終わる = ESへのクエリ内容が重いわけではない
curl でつながる = ネットワークの設定や権限が間違ってるわけではない

ということになると思うんですが
EC2 上かつプログラムを通した場合だけうまく動かず困っています

パラメータはソース内にすべて固定で書いていて環境依存するパラメータもないように思うのですが
elasticsearch ジェムが何かしらの環境情報をみているということでしょうか

原因や解決方法がわかる方いましたら教えていただけないでしょうか
よろしくお願いいたします

追記

es.search

の中をデバッグする方法はないものでしょうか

リクエストをそもそも送ってないのか
送ってるとしたらどういうリクエストを投げてるのか
サーバー側がうまく処理できてないのかを切り分けたいのですが…

2 件の回答 2

0

ひとまず、 query size が 10000は、ちょっと通常の用途からすると、多すぎる気がするので、 100 とか 10 とかで試したら上手くいったりしないでしょうか。

1
  • ダメでした… ローカルから同じクエリを叩くと動くのでクエリ自体の重さが原因ではないようなのです…
    – user35303
    Commented 2019年8月2日 4:09
0
puts es.inspect

でオブジェクトをダンプしてみたら port が 9200 になっていました
ローカルだと 443 になってるんですが…

es_url = 'https://xxxxxxxxxx:443'

を明示的につけたところ EC2 でも動くようになりました
全く意味不明な挙動なんですが
動かす環境でデフォルトポートが変化するってあるんですね…

この質問に回答するには、ログインする必要があります。