Webサーバ勉強会#5にいってきた&しゃべってきた
参加者が全員発表というハードコア勉強会「Webサーバ勉強会 #5」に行ってきた。
Webサーバ勉強会 #5 : ATND
お題がApache2.4 or Varnish or fluentd ということで聞きたい話題は満載、話せる話題は……Apache2.4で何か試せるかなと思ってたけど時間がなかった、ので普通にfluentdまわりで最近やってたことをしゃべってきた。
Fluentdでログ収集「だけ」やる話 #study2study
View more presentations from tagomoris
内容はざっくり要約すると「とにかく各サーバからディスクに書かれてるログをストリーム状に集めてひとつのファイルに書き込みたい、形式をいじられると困るので生ログそのままで! どうしたらいいの!」という話。実はFluentd標準の機能ではできない、ので、このへんのツール&プラグインを組合せれば簡単にできるよ、という内容で、要するに自作ソフトウェアの宣伝。
#fluentd 用ログ収集専用のエージェント fluent-agent-lite 書いた - tagomorisのメモ置き場
#fluentd fluent-plugin-file-alternative released! - tagomorisのメモ置き場
個人的にもディスクに書いたログを後から調査するときに grep | awk で探せるのは大きくて、JSONデータがディスクにあるからなんとかしてね、というのは(専用のツールを書く場合は楽だけど)UNIXコマンドで処理するにはちょっと不親切だと思う。
ので、このあたりを試すと幸せになれる人は多いんじゃないでしょうか。(という意味もこめていちおう英語でスライドを書いた。)