[elasticsearch] タグが付いた質問
30
質問
5
票
2
回答
1,541
閲覧数
Elasticsearchを使うべきときはいつなのか
Elasticsearchを使うべきときがいつかわかりません。
Elasticsearchが”全文検索エンジン”であると調べたら出てきました。しかし、全文検索がSQLでクエリを発行して該当データを取ってくるのとどう違うのかがわかりません。Elasticsearchはいつ使うべきもので、全文検索とはどのようなものなのでしょうか?
5
票
0
回答
324
閲覧数
暗号化された情報の全文検索方法
Evernoteのようなツールを作成しています。Evernoteのように秘密にすべき情報を扱う場合、暗号化してデータベースに保存する必要があると思うのですが、暗号化した情報を全文検索エンジンで処理する方法が見つかりません、暗号化した情報を全文検索するにはどうすれば良いのでしょうか?(手がかりになるキーワードだけでも教えていただけると嬉しいです)
4
票
1
回答
477
閲覧数
検索エンジンを実装するにあたり、「とう」や「tok」、「東」というインプットから「東京」という結果をサジェストして欲しい
下記を実現するにはどうやるのがよいでしょうか?
自分なりに考えた実現方法案も後述しましたので、それらも参考にしていただけると幸いです。
よろしくお願いします。
やりたいこと
APIのパラメーターで文字列を渡す。それをキーにテキストリストから検索をしたい。
具体的には、「とう」や「tok」、「東」というインプットにたいして、
後述の都道府県リストから「東京」という結果を取得したい。
「とう」...
3
票
1
回答
656
閲覧数
elasticsearchのレプリケーションの挙動について。
elasticsearchのレプリケーションの挙動について詳しくご存じの方いらっしゃいましたら下記1点についてご教示頂けませんでしょうか?
下図のように、タイミングによっては正常にレプリカされない時があるかと思われるのですが、その場合の救済といいますか対処法みたいなものはありますでしょうか?
それとも、elasticsearchの特性としてレプリカは100%...
2
票
1
回答
883
閲覧数
ElasticsearchのRiverプラグインで定期的にMySQLからデータ取り込みすると重複する
ElasticsearchのRiverプラグインを使って定期的にMySQLからデータを取得したいと考えています。
基本的にデータはMySQLに保存し、検索のみElasticsearchから取得するのが目的です。
scheduleパラメータを使うと定期的にMySQLとコネクションするそうなので1時間ごとにMySQLと同期したいのですが、2回目以降の取得でデータが随時追加されていってしまいます。
...
2
票
1
回答
2,394
閲覧数
Elasticsearchで複数のindexから値を取得するQuery
Elasticsearchで1つのQueryで複数のindexや複数のtypeの情報を一気に抽出する方法はありますか?
SQLで書くと下記のようなことを実現したいのですが、お分かりになる方はいらっしゃいますか?
SELECT (case
when cafe.name like "%コメダ%" then cafe.name
when restaurant.name like "%コメダ%" ...
2
票
1
回答
185
閲覧数
ElasticsearchにImage Pluginを追加したい
次のHPを参考に、ElasticsearchにImage Pluginを追加したいと考えております。
https://medium.com/@kwendomi/elasticsearch-4812fc11c5ca
導入先の環境がネットワークに接続できないため、プラグインを別環境からダウンロードして追加しようと試みているのですが、インストールエラーが発生してしまいます。
導入先環境
...
2
票
0
回答
52
閲覧数
elasticsearch で、英単語のトークンをカタカナに変換するフィルターはありますか?
Elasticsearch の analyzer は character filter, tokenizer, token filter から構成されますが、このうち英単語のトークンを受け取って、そのヨミをカタカナとして出力するような token filter の実現方法ないしライブラリなどはありますか?
以下のような token 変換を行ってほしいと考えています。
question => ...
1
票
2
回答
87
閲覧数
FailedToResolveConfigException Failed to resolve config path
elasticsearchのバージョン1.5.1
Elasticsearchでインデックス作成時に以下のようなエラーが出ます
$ curl -XPOST localhost:9200/new_index -d @settings.json
エラー
nested: IndexCreationException[[new_index] failed to create index];
...
1
票
1
回答
286
閲覧数
Elasticsearchのドキュメントアップロード時にUnavailableShardsException
Elasticsearchのドキュメントのアップロード時に
UnavailableShardsException[[room3][1] Not enough active copies to meet write consistency of [QUORUM] (have 1, needed 2). Timeout: [1m] --- (1)
というエラーがでており、...
1
票
0
回答
373
閲覧数
FluentdからAWS Elasticsearchにログ転送できない
Fluentd から AWSのElasticseachにアプリケーションログを転送したいのですが、うまくいきません。
S3とRedshiftには転送できているのですがESにだけ転送できていない(ドキュメントが追加されていない)です。
アプリケーションのログが転送されてくると、Fluentdのログには Connection opened to Elasticsearch cluster ...
1
票
0
回答
322
閲覧数
Elasticsearch の費用見積もりについて
Elasticsearch の費用見積もりは、Compose 社のサイトの説明どおり、最初の2GBが$45/月、以後1GBごとに$18/月と、データ量だけで決まるという理解で正しいでしょうか。
DBサーバーのスペックは、サーバー側で「適宜設定」であり、指定はできないということになりますでしょうか。
またWebのcalculator では100GBまでしか計算できませんが、あとは単純に$18/GB・...
0
票
2
回答
182
閲覧数
AWSのDynamoDBやElasticsearchなどHTTP経由でアクセスする際のレスポンスタイム
AWSのDynamoDBやElasticsearchなどHTTP経由でアクセスする際のレスポンスタイムに関して質問です。
DynamoDBやElasticsearchでいくら処理が早くても、アプリケーション(たとえばRails)でそれらのデータベースにアクセスする際にHTTP経由でアクセスするため、そのぶん100msくらいは余計にかかっちゃう気がします。
これはしかたがない事なのでしょうか?...
0
票
1
回答
4,314
閲覧数
JavaからElasticSearchに接続できない
環境は
Spring4.2
SpringDataElasticsearch
Java1.8
です。
ESサーバーはAWS/Redhat7で、localhostの9200をポートフォワードして接続しています。
※xinetdやfirewall, SELinux, セキュリティーグループも確認しましたが、直接接続がなぜかできないため、ポートフォワードしました。
接続確認として、...
0
票
1
回答
102
閲覧数
heroku環境で rails appを作成し、awsES にむけて searchkick経由でreindexをかけたが、timeoutになる
heroku環境にて rails app を作成したのですが、searchkick経由でreindexをかけるとtimed outになったためその質問をさせてください。
起きている事象
heroku環境にて searchkick経由で eroku run rails searchkick:reindex:all をかけると、以下のエラーが発生する。
...
0
票
2
回答
160
閲覧数
Elasticsearchの使い方について(利用方法やバックアップなどについて)
追記
take88さんから指摘がありましたので内容をもっと限定的にしたいと思います。
1、elサーチのデータバックアップはmysqlと同等で安全に不具合や問題なく使えるかどうか
2、全文検索以外の用途で使うのはよくあることか
例
記事のgood数を保存でのelの利用
mysqlのでgood数を保存しユーザーごとにgoodの状態(good済かどうか)を保存しておくとしたら
post_id / ...
0
票
1
回答
59
閲覧数
mysqlを利用したグッド機能の運用方法について
現在、SNSを製作しており、グッドボタンの機能などを実装しようとしています。
データベースにはmysalを利用しグッド機能を実装する場合
大量のinsertやdelete(グッド取り消し)が発生する(1000万行とか)と思われるのでmysqlでの実装は厳しいのではないか?
と思い、他に何か方法はないかと考えています。
グッドボタンを押す → ユーザーにメッセージボックスに通知、...
0
票
1
回答
127
閲覧数
Elasticsearchをポート指定せずに使用できるでしょうか?
Elasticsearchを普通のWebアプリケーション(検索エンジン)として使用してみたいのですが、
・「CentOS Apache」で動作させている「さくらVPS」上に設置する場合、ポート指定せず、普通にアクセスすることは可能でしょうか?
例えば、下記のようなURLへアクセスしたら、検索画面を表示するようにしたいのですが…
https://example.com/
ポート指定は、...
0
票
2
回答
490
閲覧数
elasticsearchについて
elasticsearchをダウンロードした後についてエラーで止まっております。
どなたかご教授いただけると幸いです。
現状の状態
elasticsearchコマンドを入力するとelasticsearchが立ち上がりましたが、
bundle exec rake search_index:create_and_import コマンドを入力するとエラーになります
rake ...
0
票
1
回答
1,524
閲覧数
elasticsearchで最新の情報をAPIで取得する方法について。
elasticsearchを使っているのですが、APIで値を取得する方法が分からず困っているため、ご教示頂ければ幸いです。
下図のようなデータが1分毎に入ってきているのですが、最新の情報を取得する方法を教えて頂けないでしょうか?
例
17時32分時点(最新時点)での[status.200] の合計値。
curl -XGET 'http://10.1.37.29:9200/ssp_nginx/...
0
票
1
回答
246
閲覧数
Elasticsearch の HTTP URL レポジトリは仕様として、ディレクトリの URL では何を返す必要がある?
Elasticsearch の snapshot API を利用する際に、URL を指定することで、 Read-only のレポジトリとして取り扱うことができると、公式ドキュメントには記述があります。またその URL のプロトコルはいくつかの種類が利用可能で、その中に HTTP が含まれる、と記述されています。 (参照: https://www.elastic.co/guide/en/...
0
票
0
回答
54
閲覧数
全文検索エンジンにおいて、ユーザーごとに検索対象を絞る仕組みについてどのような仕組みが考えられるか
ユーザーが検索対象コンテンツをブックマークできるシステムがあり、検索対象コンテンツの検索を全文検索エンジンを用いて提供するとします。
すべてのコンテンツではなく、特定のユーザーがブックマークしているコンテンツ内に絞って検索を提供する場合の仕組みにどのようなものがあるのかお知恵を拝借したいです。
ユーザーのブックマーク可能コンテンツ数には制限がかかっておらず、数万を超えることもあると想定します。
...
0
票
0
回答
34
閲覧数
Elasticsearchのkibanaアラート機能を用いて地図上に設定したラインの通過を検知したい
kibanaのダッシュボードで地図を表示し、その地図上に任意のラインを描画、そして移動物体がそのラインを通過したことを検知するというシステムの実現を考えています。
現状、地図への移動物体の表示はできており、緯度経度の情報や速度の情報をもっています。また、ラインを地図上に描画することはkibanaのmap->Add Layer->create indexから可能であると確認しています。
...
0
票
1
回答
170
閲覧数
Function_score queryでのスコアリング時に単語が分割されてしまう
実現したいこと
titleフィールドに「消費税」という単語が含まれていれば、5ポイント、
questionフィールドに「消費税」という単語が含まれていれば、4ポイント、
answerフィールドに「消費税」という単語が含まれていれば、3ポイントを付与し、
その合計をスコアリングの値とし("score_mode": "sum")、スコアの降順で表示したいです。
※...
0
票
1
回答
134
閲覧数
kibanaのインストール時エラーになった
Elastcisearchはインストール出来ました。
kibanaをインストールした時、以下のエラーが出ました。
それって、MacOSをUpgradeしないといけないってことでしょうか。
どなたか知ってる方いれば、教えていただきたいです。
宜しくお願い致します。
Last 15 lines from /Users/xxxx/Library/Logs/Homebrew/icu4c/02.make:...
0
票
2
回答
108
閲覧数
EC2 上でジェムを通すと ElasticSearch にアクセスできない
AWS ElasticSearch からデータを取得する以下のような ruby プログラムを EC2 上で動かしたいです
require 'elasticsearch'
es_url = 'https://xxxxxxxxxx'
es = Elasticsearch::Client.new ({
log: false,
url: es_url,
...
0
票
1
回答
109
閲覧数
fluentd の in_http プラグインで、elasticsearch に bulkAPI で大量のデータ登録を行いたい
fluentd の in_http プラグインを利用して、
json ファイルを送り、elasticsearch に登録したいと考えております。
現状、以下のような json ファイルを扱おうとしています。
{
"user_id" : 0,
"time" : 0,
"data" : [
{
"data0" : 0.0,
...
0
票
0
回答
464
閲覧数
elasticsearch クラスタを組んだ時のHA(High Availability)性について。
elasticsearchをクラスタ環境で作成したときに下図のような要領でHA性を保ってくれるものかと思ったのですが、どうやら違いました。
画像続き(1枚の絵に収まりきらなかったのでここから2枚目)
elasticsearchのクラスタはHA性を保ってくれないのでしょうか?
それとも何か設定ファイルにHA性を保つようなオプションを記載してあげる必要があるのでしょうか?
...
-1
票
1
回答
873
閲覧数
aggregationクエリ内でのField追加及び日付指定について
ElasticSearchにおけるaggregationクエリ内でのField追加及び日付指定について、
以下、アグリゲーションで指定フィールドを集約した結果を日付で抽出し、上位を表示させております。
まずは1点目の質問
1.集約されたフィールドがそれぞれ表示されますが、そこにデータを追加で表示させたいのですがどのようにすればよろしいでしょうか。
"key" : "122.xxx....
-1
票
1
回答
562
閲覧数
Elasticsearchでtemplateから生成したindexのフィールド情報が異なる
Elasticsearch 5.5でアクセスログの分析を試しています。
テンプレート「access_log-template」を登録して「access_log-2017.10.25」というような日毎のインデックスを生成するようにしたのですが、日毎の方が下記のようにtextになってしまいます。
原因などわかりますでしょうか?
データの登録はFluentdを使っています。
・...