2

ElasticsearchのRiverプラグインを使って定期的にMySQLからデータを取得したいと考えています。
基本的にデータはMySQLに保存し、検索のみElasticsearchから取得するのが目的です。
scheduleパラメータを使うと定期的にMySQLとコネクションするそうなので1時間ごとにMySQLと同期したいのですが、2回目以降の取得でデータが随時追加されていってしまいます。

例えば、articlesテーブルに10件しかデータがない場合、初回の取り込みは10件ですが、1時間後に2回目の取り込みをすると重複してるにも関わらずさらに10件取得してしまい、Elasticsearch側には20件ドキュメントが存在してしまいます。
常にMySQLのレコード数と同期を取りたいのですがどうすればよいでしょうか?

以下MySQLからデータを取り込む設定です。

 {
   "type" : "jdbc",
   "jdbc" : {
      "url" : "jdbc:mysql://localhost:3306/blog_name",
      "user" : "root",
      "password" : "password",
      "schedule" : "0 0 0-23 ? * *",
      "sql" : "select * from articles",
      "index" : "blog_name",
      "type" : "articles"
   }
 }

1 件の回答 1

3

IDの指定がないためだと思います。

https://github.com/jprante/elasticsearch-jdbc#how-to-fetch-a-table
こちらに記載があります。
"If no _id column name is given, IDs will be automatically generated."

_idというカラム名(エイリアスでいいかと)をselectに追加するとうまくいくかと思います。

P.S.
残念ながら、Riverの機能は現在、非推奨になってしまいました。
https://www.elastic.co/blog/deprecating_rivers
長期的な観点では、別の手段も検討されてはいかがでしょうか。

2
  • 重複せずにデータを取り込むことができました。ありがとうございます。 Riverが非推奨になったとのことですが、他の代替手段には何があるのでしょうか。
    – suzumi
    Commented 2015年5月25日 11:08
  • このツールの場合だと、Feederという使い方をするのが選択肢の一つかと。 github.com/jprante/… 外部のJavaプロセスとして起動する形になるようです。 あとは、fluentdとかlogstashというツールも選択肢の一つかと。
    – johtani
    Commented 2015年5月27日 3:12

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。