たごもりすメモ

コードとかその他の話とか。

2012年を振り返ってみる

世界が滅亡することもなく2012年も本日で無事終わるようなので、すこし振り返ってみる。去年と同じようにやろうかと思ったんだけど時期ごとの特徴みたいなものがあんまりなかったので、トピックごとに適当にまとめる。

Fluentd

とにかくこれでしたねー。Fluentdを本格的に使いはじめて、プラグインや周辺ツールを書きまくった。いま数えてみたら自分がリリースした fluent-* なgemは21個*1でした。けっこうがんばった。

  • fluent-plugin-delay-inspector
  • fluent-plugin-ping-message
  • fluent-mixin-config-placeholders
  • fluent-plugin-config-expander
  • fluent-plugin-woothee
  • fluent-mixin-plaintextformatter
  • fluent-plugin-numeric-counter
  • fluent-plugin-webhdfs
  • fluent-plugin-numeric-monitor
  • fluent-plugin-notifier
  • fluent-plugin-ikachan
  • fluent-plugin-mysql
  • fluent-plugin-forest
  • fluent-plugin-amplifier-filter
  • fluent-plugin-parser
  • fluent-plugin-file-alternative
  • fluent-plugin-datacounter
  • fluent-plugin-sampling-filter
  • fluent-plugin-growthforecast
  • fluent-plugin-flowcounter
  • fluent-plugin-hoop

この他に fluent-agent-lite を作ったりもしたなあ。fluent-agentも作ってるけどあれはちょっと止まってる……。もうすこししたらどうにかする。がんばる。

自分の使いかたの中では、リアルタイム集計 + GrowthForecastの組合せが凶悪に便利すぎて一気に広まった感がある。この組合せ、ほんとうにどんだけ使われてるんでしょーね。ちょっと知りたい。ｗ
GrowthForecastについては別途ライブラリ・ツールの整備もやろうとしていて、まだ途中なのである程度まとまってから……。

fluent-plugin-flowcounter および fluent-plugin-growthforecast released! #fluentd [はてなブックマークで表示]
fluentdのためのプラグインをイチから書く手順(bundler版) [はてなブックマークで表示]
#fluentd 用ログ収集専用のエージェント fluent-agent-lite 書いた [はてなブックマークで表示]
#fluentd の性能・リソースに関する最近のいくつかの傾向の話 [はてなブックマークで表示]
続 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 [はてなブックマークで表示]
fluent-plugin-numeric-monitor v0.1.0 and fluent-plugin-numeric-counter v0.1.0 released! [はてなブックマークで表示]
#fluentdの死活監視を ping message + ping message checker で [はてなブックマークで表示]
#fluentd でアクセスログからメトリクス生成/リアルタイム監視するための設定例 [はてなブックマークで表示]

Hadoopとか

Fluentdからデータを投入する先はやっぱりHadoopは外せなくて、それはそれであれこれやってた。あんまり新しいことはやってない……と思ってたけど、WebHDFSは今年の頭に概要を知ったところからか。1年前てけっこう昔ですね。

Hoop(httpfs)とwebhdfsの違い [はてなブックマークで表示]
「tagomorisが騙る はじめてのHadoop」 [はてなブックマークで表示]
CDH4にいったん挫折した [はてなブックマークで表示]
Hive WebClient shib をアップデート [はてなブックマークで表示]
CDH4+YARN+Hiveでハマってる [はてなブックマークで表示]
CDH3u5でWebHDFS [はてなブックマークで表示]
CDH4 NameNode HA (QJM)でクラスタ構成 [はてなブックマークで表示]

そしてWebHDFSを実戦投入したのも8月か。けっこう最近だった。あれー？ あとはCDH4に延々苦しんでた感じ。shibとかはちょくちょくアップデートしながらずっと使ってたり。

そのほか

wootheeとかmysql2-cs-bindとかそういえば書いた。どっちも使ってる。wootheeはもう手がかからなさそうだけど、無くてはならない感じですね！

UserAgent判定器 Project Woothee はじめました [はてなブックマークで表示]
UserAgent判定器 Project Woothee v0.2.0: RubyおよびPython実装を追加 [はてなブックマークで表示]
UserAgent判定器 Project Woothee: v0.3.0 Javascript実装追加 [はてなブックマークで表示]
mysql2-cs-bind released! [はてなブックマークで表示]

ISUCON2 は、あー、なんとかやりましたね。面白かったけどやっぱり疲れた、けど面白かった。
#isucon2をやりましたの話 [はてなブックマークで表示]
#isucon2 をやったあとの反省など [はてなブックマークで表示]

YAPCとISUCON2が連続でやってきてて9〜10月のアウトプットが目に見えて落ちているのが面白い。いや面白いとか言ってる場合じゃないというか、大物に取り掛かるとしょうがないですねというか。

アウトプット系(発表と執筆)

今年は「誘われたら断わらない、機会があれば全部やる」という裏目標があった。で、やってくる話をとにかくはいはいと受けていたらすごいことになった。なってしまった。

DeNA x livedoor 合同勉強会でしゃべった [はてなブックマークで表示]
#fluentd meetup in Japan に行ってきた＆しゃべってきた [はてなブックマークで表示]
Webサーバ勉強会#5にいってきた＆しゃべってきた [はてなブックマークで表示]
WEB+DB PRESS vol.68 に寄稿しました [はてなブックマークで表示]
MySQL Casual Talks vol.3 にいってきた＆しゃべってきた [はてなブックマークで表示]
Fluentd Casual Talks 開催してきた＆しゃべってきた [はてなブックマークで表示]
Hadoop ソースコードリーディング vol.9 にいってきた＆しゃべってきた [はてなブックマークで表示]
Monitoring Casual Talk Vol.1 に行ってきた＆しゃべってきた #monitoringcasual [はてなブックマークで表示]
第2回NHNテクノロジーカンファレンスでしゃべってきた [はてなブックマークで表示]
YAPC::Asia 2012 にいってきた＆しゃべってきた #yapcasia [はてなブックマークで表示]
#fluentd meetup 3 にいってきた＆しゃべってきた [はてなブックマークで表示]
Operation Engineers’ Casual Talks にいってきた＆しゃべってきた [はてなブックマークで表示]

あれ、SoftwareDesignの記事書いた話が単独エントリになかったのか。Fluentd Casual Talks の日が発売日とかだったっけ。
そして、多い……。手元で今年の日付のプレゼン資料数えたら、社内向け勉強会のもあわせて17もあった。

とにかく貴重な体験がいろいろできた。雑誌の記事を書いたこともだし、大人数に向けて比較的長時間の発表をする機会が何回も(！)あったこともだし、いっぽうでLTはLTでノリにまかせて喋るんでもそれなりに価値があるのかなあと思ったり。こじんまりとした勉強会でわいわいツッコミを入れながらやるのもじつにいいですね。
それはそれとして発表機会に追われるようなテンションがだいぶ続いてた感じもあったので、来年はさすがにもうちょっと考えようかなと思う。もうそんなに機会がないかもなー。どうかな。

ところで1月は以下の登壇予定があります。みなさまぜひおこしください。

やばい。しぬ。

そのほか

なんとなーくうっかり書いたエントリがけっこう注目されたりしましたね。釣り的なのは去年に較べるとあんまりだったのは、直接しゃべる機会が増えたからかなあ。

#fluentd な今だからこそふりかえる scribed のすべて

今後とも思ったことは素直に書いていきたいですね！

まとめ

とにかくヒマだけはカケラもしない1年だったなー、という感じ。今後もそうありたい。また周囲にいる人々にたいへん良くしていただいているので、少しでも返せていたらよかったけどなあ、と思う。引き続き、自分が返せるものを増やしていきたい。

来年はー、まだやりかけのことが膨大にあるのでまずそれを片付けて、それがひと段落した頃にもう落ち着いて考える。毎年こんなんだな。yabitzを改善する改善するといっていてやるやる詐欺状態に(社内で)なっているのでマジメにやりたい。あとは、もうちょっと自分のオリジナルのソフトウェアプロダクトができるといいなあ、と思っているけど、これはだいぶ前から思っているだけ状態なので、どうなるやら。うーん。

あ、PerlのXSとRubyのC拡張ライブラリをマトモに書けるようになりたいな！ あと今年は実は何の言語も新しくやってないので、来年はなんかやる。でもなにがいいかなあ。

*1:fluent-plugin-scribeは最近ぜんぜん手を入れてないので除外