読者です 読者をやめる 読者になる 読者になる

たごもりすメモ

コードとかその他の話とか。

Fluentd meetup in Japan 2 にいってきた #fluentd

fluent

Fluentd meetup in Japan #2 #fluentd on Zusaar

ふらふらとお気楽に参加してきた。当方ささやかながらプラグインを作ったりしているので、他のひとがどのように使っているか、どのようなプラグインが他の人によって使われているか、あたりにたいへん興味があったので、そういう話をかなり聞けたのがすばらしく有益だった。主催者の方々、スタッフの方々、会場提供のグリーの方々、ありがとうございました。

以下だらだらとセッションごとに感想めいたものを書く。

「Fluentdの現在と未来」by @frsyuki

会場のFluentd利用者率が6割だか7割だかでびびる。本当に? みたいな。あと日本語ドキュメントなんていらんかったんやー、俺達は間違ってなかったんやー、と安心したりする。*1

Fluentd次期バージョンの話、じつはこれをメインで聞きにいったけど、既にTwitterとかで出ていた話の紹介だった。実装上注意しとく必要がありそうかなって思うところはいくつかあるけど、細かい話だし、おおむね良い感じになりそうだと思う。パフォーマンスについては、機能的に揃ってきたところで一度見ないとなあ。個人的にはマルチプロセス化まわりに大いに期待しているので、どこかで試して必要ならパッチを書くのも辞さない構え。

とはいえ、そんなに急いでない(機能的には Fluentd 現行バージョンでも特別困ってない)ので、じっくり良いものが作られた方が嬉しい感はあるな。「次のバージョンをはやく」っていう感じの人がけっこういたように思うけど、現行バージョン使い込んでみれば、たぶんそんなに困らないと思いますよ。
プラグインのテストドライバの書き直しくらいは現行バージョンあわせのものでやっちゃってもいいかなーと思うけど、ちょっとヒマがないな……。

「Logging Infrastructure in PaaS by Fluentd」by @yssk22 and @wallyqs

CloudFoundryの管理系に手を入れて Fluentd が自動的にインストールされた環境を作るよ、という話? AWSでEC2上に Fluentd を入れるとナイスだよね、という話と同じような系統の話、だと思う。たぶん。集約されたログの参照も独自の何かのツールを経由してって感じのようだったので、HTTPで直接参照できる S3 に較べるとちょっと機能的には魅力が落ちる。

というか、あんまり簡単にも見えなかったし、自分で使いそうにもないし、あんまり真面目に聴いてませんでした。すいません。

「Fluentdを優しく見守る監視事例」by @GedowFather

最近HadoopまわりのblogエントリとかFluentdまわりのエントリとかをblogに書きまくってる @GedowFather さんの話、きわめて面白かった。実際にどういう構成で何を使ってるか、どういう問題に対してどういう対処をしたのか、ということが超具体的に話されていて参考になるので、みなさんもスライドを熟読するのがよいと思います。

Fluentd Meetup #2 発表資料 | 外道父の匠

で、私見をいくつか。

  • 特定 hostname のタグ改変*2を in_forward でやるのはスジ悪だと思う
  • flowcounterの出力を使ってのホストの死活監視について
    • 塩漬サービスのログを監視するのは確かにいろいろ問題がある*3
    • 今なら外部ツール/スクリプトでflowcounterの出力を処理しなくてもFluentdだけでいける
    • flowcounter + numeric-aggregator / numeric-counter + notifier あたりでアラートメッセージ生成が可能ですね

ちなみに fluent-plugin-webhdfs を作者よりもはやく実戦投入したりしてて、すばらしい冒険心だと思いました。今後ともよろしくお願いいたします。バグがあったらぜひフィードバックください。(私利私欲)

あと、Fluentdが動作しているホストのリストが欲しかったり、死活監視は実際にメッセージを流してやってやりたかったりするよなーとセッションを聞いていて思ったところ、昔考えたコンセプトを思い出したので、セッション聞きながらひとつプラグイン作ったりした。(後述)

「Fluentd & Treasure Data でこっそり始めるログ集計」by @mikeda

実際にいかにしてFluentdを導入するか、いかにしてTreasure Dataでログ集計を始めるか、という極めて実践的な内容でやばかった。TD社の回しものではないかと思うくらい素晴らしい内容でTDの契約数がこれを境に跳ね上がっても不思議ではない様相。スライドがまだ公開されていない、見直したいんだけどまだなのまだなの。

あと、表示されていないスライドは心眼で見ることを参加者に要求するという極めてハイスキルな内容だった。新たな芸風が確立された記念的な日と言える。

あれこれ

懇親会は時間がちょっと短くて残念だったが、でもいろんな人と話をした。誰が何をどう使っているかみたいな話を実際にするのはやっぱりためになる。面白い。すばらしい。またぜひこういうイベントが行われてほしいと思う。

というか、そろそろ自分のケースをしゃべりたそうにしてる人がかなり出てきてそうな気がしてるので、Fluentd Casual Talks をまたやろうと思いました。年末くらいを考えてます。会場も内容もまだなーんにも調整してませんが、そのときになったらよろしくおねがいします。

*1:あとで日本語ドキュメントの整備に燃える人達が別途出てきてた、よかった。

*2:testを含むものを通常の処理ルートから除外する、といったものだったみたい

*3:うちでもやってるけど、云々