「Hadoop Hacks」を著者陣のご高配を得てオライリー・ジャパンから献本いただきました。ありがとうございます。Hadoop Hacks ―プロフェッショナルが使う実践テクニックposted with amazlet at 12.04.26中野 猛 山下 真一 猿田 浩輔 上新 卓也 小林 隆 オライ…

前に RubyでMySQLに繋ぐためのruby-mysqlとmysql2 - tagomorisのメモ置き場 というエントリで書いたとおり、いまおそらく最もよく使われそうな mysql2 という ruby用のmysqlドライバにはprepared statementを扱うためのAPIがない。MySQLではprepared stateme…

FluentdからMySQLにデータを挿入するためのプラグイン fluent-plugin-mysql を公開しました。tagomoris/fluent-plugin-mysql · GitHub fluent-plugin-mysql | RubyGems.org | your community gem host機能としては以下のどちらかを指定してDBにデータを突っ…

MySQL Casual Talks Vol.3 : ATND に行ってきた。実際にMySQLを使っている人がどう使っているのか、という話がすごく色々と聞けた、大変面白いイベントだった。主催の @myfinder さん、会場提供していただいた日本オラクルの方々、ほんとうにありがとうござ…

第1特集「新人時代に押さえておきたいWeb技術まるごと整理」という特集の第3章「サーバまるごと整理 静的コンテンツ・動的コンテンツ・キャッシュをうまく扱うしくみ」というところを担当して記事を書きました。 自分にとって初めての技術系雑誌への記事の寄…

突然連絡が来る あたふたしながら受けることにする 担当する特集の他の章を書く人がビッグネームでひたすらびびる おろおろしながら着手する (途中省略) なんか校了を迎える 実物を眺めるまでは油断しない あわせて読みたい WEB+DB PRESS Vol.68posted with …

現状のfluentdでは、タグを動的に扱う方法がいまいち無い。具体的に言うと設定項目にタグに応じて変化するような指定をしたい場合、タグごとに分けて書くしかない。例えば out_file で出力先ファイル名をタグに応じてつけたい場合、タグの数だけ match 節を…

流れてくるメッセージから指定したフィールドの値を定数倍して再emitする fluent-plugin-amplifier-filter をリリースした。tagomoris/fluent-plugin-amplifier-filter · GitHub fluent-plugin-amplifier-filter | RubyGems.org | your community gem hostな…

前回の話から、メモリについては西海岸方面の協力を得てあれこれ試していた。#fluentd の性能・リソースに関する最近のいくつかの傾向の話 - tagomorisのメモ置き場最終的には ruby 1.9.3-p125 + jemalloc + fluentd v0.10.16 でメモリ使用量が安定した。 je…

Fluentd上に流れる任意のフィールドをparseするための out_parser および任意のフィールドを結合するための out_deparser を含むプラグイン fluent-plugin-parser v0.1.0 をリリースしました。tagomoris/fluent-plugin-parser · GitHub fluent-plugin-parser…

諸君！ 昨今Fluentd界隈にて「構造化ログこそ至上、構造化ログで最初から出力すべし」との論が蔓延っているのを苦々しく思うプレーンテキストログ処理業者の諸君！いまこそ我々は連中の思い上がりに対し、断固たる決意をもって鉄拳を振り下ろすべきである！…