Fluentd meetup in Japan 2 にいってきた #fluentd
Fluentd meetup in Japan #2 #fluentd on Zusaar
ふらふらとお気楽に参加してきた。当方ささやかながらプラグインを作ったりしているので、他のひとがどのように使っているか、どのようなプラグインが他の人によって使われているか、あたりにたいへん興味があったので、そういう話をかなり聞けたのがすばらしく有益だった。主催者の方々、スタッフの方々、会場提供のグリーの方々、ありがとうございました。
以下だらだらとセッションごとに感想めいたものを書く。
「Fluentdの現在と未来」by @frsyuki
会場のFluentd利用者率が6割だか7割だかでびびる。本当に？ みたいな。あと日本語ドキュメントなんていらんかったんやー、俺達は間違ってなかったんやー、と安心したりする。*1
Fluentd次期バージョンの話、じつはこれをメインで聞きにいったけど、既にTwitterとかで出ていた話の紹介だった。実装上注意しとく必要がありそうかなって思うところはいくつかあるけど、細かい話だし、おおむね良い感じになりそうだと思う。パフォーマンスについては、機能的に揃ってきたところで一度見ないとなあ。個人的にはマルチプロセス化まわりに大いに期待しているので、どこかで試して必要ならパッチを書くのも辞さない構え。
とはいえ、そんなに急いでない(機能的には Fluentd 現行バージョンでも特別困ってない)ので、じっくり良いものが作られた方が嬉しい感はあるな。「次のバージョンをはやく」っていう感じの人がけっこういたように思うけど、現行バージョン使い込んでみれば、たぶんそんなに困らないと思いますよ。
プラグインのテストドライバの書き直しくらいは現行バージョンあわせのものでやっちゃってもいいかなーと思うけど、ちょっとヒマがないな……。
「Logging Infrastructure in PaaS by Fluentd」by @yssk22 and @wallyqs
CloudFoundryの管理系に手を入れて Fluentd が自動的にインストールされた環境を作るよ、という話？ AWSでEC2上に Fluentd を入れるとナイスだよね、という話と同じような系統の話、だと思う。たぶん。集約されたログの参照も独自の何かのツールを経由してって感じのようだったので、HTTPで直接参照できる S3 に較べるとちょっと機能的には魅力が落ちる。
というか、あんまり簡単にも見えなかったし、自分で使いそうにもないし、あんまり真面目に聴いてませんでした。すいません。
「Fluentdを優しく見守る監視事例」by @GedowFather
最近HadoopまわりのblogエントリとかFluentdまわりのエントリとかをblogに書きまくってる @GedowFather さんの話、きわめて面白かった。実際にどういう構成で何を使ってるか、どういう問題に対してどういう対処をしたのか、ということが超具体的に話されていて参考になるので、みなさんもスライドを熟読するのがよいと思います。
Fluentd Meetup #2 発表資料 | 外道父の匠
で、私見をいくつか。
- 特定 hostname のタグ改変*2を in_forward でやるのはスジ悪だと思う
- fluent-plugin-rewrite あたりを使えばそのまま実現可能な機能じゃないかな
- 参考: http://blog.kentarok.org/entry/2012/07/01/000518
- flowcounterの出力を使ってのホストの死活監視について
ちなみに fluent-plugin-webhdfs を作者よりもはやく実戦投入したりしてて、すばらしい冒険心だと思いました。今後ともよろしくお願いいたします。バグがあったらぜひフィードバックください。(私利私欲)
あと、Fluentdが動作しているホストのリストが欲しかったり、死活監視は実際にメッセージを流してやってやりたかったりするよなーとセッションを聞いていて思ったところ、昔考えたコンセプトを思い出したので、セッション聞きながらひとつプラグイン作ったりした。(後述)
「Fluentd & Treasure Data でこっそり始めるログ集計」by @mikeda
実際にいかにしてFluentdを導入するか、いかにしてTreasure Dataでログ集計を始めるか、という極めて実践的な内容でやばかった。TD社の回しものではないかと思うくらい素晴らしい内容でTDの契約数がこれを境に跳ね上がっても不思議ではない様相。スライドがまだ公開されていない、見直したいんだけどまだなのまだなの。
あと、表示されていないスライドは心眼で見ることを参加者に要求するという極めてハイスキルな内容だった。新たな芸風が確立された記念的な日と言える。
あれこれ
懇親会は時間がちょっと短くて残念だったが、でもいろんな人と話をした。誰が何をどう使っているかみたいな話を実際にするのはやっぱりためになる。面白い。すばらしい。またぜひこういうイベントが行われてほしいと思う。
というか、そろそろ自分のケースをしゃべりたそうにしてる人がかなり出てきてそうな気がしてるので、Fluentd Casual Talks をまたやろうと思いました。年末くらいを考えてます。会場も内容もまだなーんにも調整してませんが、そのときになったらよろしくおねがいします。
