データ・ストリーミング勉強会にいってきた＆しゃべってきた
参加者を限定してということですが、行われた勉強会があったので行ってきた。内容がたいへん興味深かったので。幸いにして自分にも喋れるネタがひとつあったのでやってきた。
http://www.zusaar.com/event/834003
いってきた
Stormの話、何ができて何ができないんだっけとか、アプリケーションの複雑度はどのくらい許容できそうなのかねーとか、そもそも長時間運用するときにアプリケーション(トポロジ)を動作させたまま変更できるんだっけとか*1、いろいろ聞いた。
結論として、やっぱり総量として流量が大きいストリーム処理アプリケーションをホストするにはいいけど、細かいメトリクスを算出するようなアプリケーションを大量に走らせる、みたいなのには向いてなさそう。これは最初から自分が考えていたこととほぼ合致するので、まあいいや。
でもStormをがっつり使うようなアプリケーションを一度やってみたい気はしますね。Javaは書きたくないけど。JRubyでアプリケーション書けそうな気がするな。
「学術的に見たストリームデータ処理」の話、そもそもどういう物がどういう名前で呼ばれていて、それは他の何とどういう関係の上に成立していて……みたいな内容で非常に面白かった。Norikraの名前が出てきてぎゃあって思ったり。
資料はこちら。必見*2。
http://www.slideshare.net/HideyukiKawashima/2013-0628okachimachiupload
しゃべってきた
今の自分でストリーム処理といえばNorikraですね。話としてはRubyKaigiの資料をけっこう流用しているけど、内容はRubyまわりの話やFluentdについてをばっさり切り落として、EsperとNorikraの違いについて、あるいはそのギャップを埋めるために何をやっているか、について。
Norikraはもうすこしで、既知バグをあれこれ潰してログが割とマトモに出力されるようになったバージョンがリリースできる予定。その次にある程度性能検証をやって、という順序ですね。単独daemonizeは手元でいらないから実装順序に悩んでる。
まとめ
たいへん面白かったので次回あったらまた行きたいですね！
