tom__bo’s Blog

情報系学生が筋トレしたり、筋トレしたり筋トレしたことを書くブログ。もはやダイアリー

第10回Elasticsearch勉強会に参加してきた

またしても開催から1週間が経過しようとしているけど、2015/6/1のElasticsearch勉強会に参加してきた!

 

f:id:tom__bo:20150427213318j:plain

場所は第9回と同じリクルート本社。

 

今回は発表内容を簡単にまとめるだけにしようと思います。

主催者の@johtaniさんのブログにもまとまっています。

blog.johtani.info

 

・Elastic{ON}報告+有償プラグインの紹介

@johtaniさん

スライド:https://speakerdeck.com/johtani/elastic-on-bao-gao-toshang-yong-puraguinfalseshao-jie

 

アメリカで開催されたElastic社のカンファレンスの紹介。

MSやyelp、VerizonはたまたNASAでもElasticsearchを使っているという紹介

と、有償プラグインの紹介。

 

ES使ってる企業の紹介では、NASAなんてあっても"精密機器リストの検索〜"とか"従業員の経歴リストの検索〜"とか、そんなことだろうと思って、elastic{ON}のサイトを見てみたら、「高速な問い合わせのためにどうやって火星のローバーからElasticsearchにデータを戻してストアするか」みたいのことを書かれていて衝撃でした。。。

時間が前後してしまいますが、この勉強会の後日参加したNorikra Meetupで

「Elasticsearchはいつのまにかログ解析エンジンになってるし、、」と発言されている方がいたことの意味がわかった気もした。

 

blog.madewithlove.be

有償プラグインの話は、正直もっとメリットを説明してくれないとよくわからんなといった感じ。どっちにしろ自分なんかは有償のプラグインを使う機会はないのと、実戦経験が浅すぎて理解が出来なかったのかもしれなが、、、

 

また、発表前に

・会社名知っている人

・elasticsearch知っている人

・kibana知っている人

等のアンケートを発表内でとってくれたので、参加者の層がわかって非常に良かった。

NodeSchoolの勉強会では隣同士で挨拶して下さい見たいのがあってよかったし、"コミュ症"な日本人たちにコミュニケーション取らせるために、やや強制的にちょっとしたアウトプットをさせるのは、イベントの活性化のためにも良いのかもしれないと思いました。

 

 

AWSで実現するelasticsearchの大規模運用

@mats116さん

スライド:http://www.slideshare.net/im_docs/elasticsearch-48873206

 

Elasticsearchクラスタの構成決定の仕方というお話だったのでめちゃくちゃ期待していたのだが、どちらかと言うと検証方法、構成遍歴といった内容で「社員2人のベンチャーだし時間無いです。」感が漂いすぎていた。

気がしたのだが、僕が一般的な分散環境の一般的な構築知識がないせいでそう感じた可能性も高い。それよりも1台のサーバをきっちり使うお勉強が先なので、いずれ分散環境の話にも迫ってみたい。。。(O_ O) 遠い目

 

 

・ Spark in small or middle scale data processing with Elasticsearch

@chibochibo03さん

スライド:http://www.slideshare.net/chibochibo/spark-with-elasticsearch

 

CloudSearch使っていたところからElasticsearchに変更した理由や遍歴、検索ロジックまでの3層のAPIを組んでいる構成の紹介など、内容が濃くてすごい発表でした。

 

サービスの成長過程でありつつ開発していく必要があったことから要件が安定するまでスキーマを何度も作りなおす必要性、検索の細かいチューニングをして場合によってはプラグインを含め自分たちで手を加えられる必要があったことからElasticsearchを選択されたそうです。

また、辞書の更新の頻度が高いことや、求人サイトへのクロールは計画的かつ長期的にしか出来ないことから、

クロール→1次ES→(Sparkで加工)→本番ES

として階層化していたり、高速なスループットを出すためにSparkで処理しているといった話が興味深かったです。

APIの多層化のあたりの話ももっと話したいことはあるんだけど、、、」といった雰囲気で、やっぱりScalaとかで開発していて、アーキテクチャに興味のある人ってすごい人多いなという偏見に基づいた感想を今回も持ちました(笑)

 

また、実際に使っていた時にも思ったことだったのが、Elasticsearchのスキーマ変更をするときにRDBでいうAlter tableみたいなことができないのが面倒くさいというのがありました。形態素解析したりしているからしょうがないのかなと思った反面、RDBでもそれって簡単ではないよな??とはてなの数が増えてしまいました。

 

発表自体が非常にうまいなーといった方でいくつも詳しく聞いてみたいと思うポイントがありました。

そろそろ懇親会も積極的に参加してみようかな。。。

 

ここからはLTで短めの発表でした。

発表時間が短い印象が強かったし、スライドでかなりわかるのでそれだけまとめます。

 

・Elasticsearchのサジェスト機能を使った話

@ktaro_wさん

スライド:http://www.slideshare.net/ktaro_w/elasticsearch-48826694

 

・Elasticsearchで作る形態素解析サーバ

菅谷信介さん

スライド:http://www.slideshare.net/shinsuke/es-analyzeapi201506

 

・開発効率UP! Elasticsearch Client Tool作ってみた

@9215さん

スライド:https://speakerdeck.com/kunihikokido/kai-fa-xiao-lu-atupu-elasticsearch-client-tool-zuo-tutemita

 

・変わり種プラグインの作り方

黒澤亮二さん

スライド:http://www.slideshare.net/kuron99/elasticsearch-plugin-48848087

 

 

若干イベント記事ばかりになってしまってきている反面、AWSサミットやっぱりいくべきだったかーとまだまだ参加してみたいイベントもあったりとやるべきことが絞りきれていない感じですが、ES勉強会は今後も参加した行きたいと思います。

 

 

終わり⊂゚U┬───┬~