MySQL Casual Talks Vol.3 : ATND に行ってきた。実際にMySQLを使っている人がどう使っているのか、という話がすごく色々と聞けた、大変面白いイベントだった。主催の @myfinder さん、会場提供していただいた日本オラクルの方々、ほんとうにありがとうござ…

第1特集「新人時代に押さえておきたいWeb技術まるごと整理」という特集の第3章「サーバまるごと整理 静的コンテンツ・動的コンテンツ・キャッシュをうまく扱うしくみ」というところを担当して記事を書きました。 自分にとって初めての技術系雑誌への記事の寄…

突然連絡が来る あたふたしながら受けることにする 担当する特集の他の章を書く人がビッグネームでひたすらびびる おろおろしながら着手する (途中省略) なんか校了を迎える 実物を眺めるまでは油断しない あわせて読みたい WEB+DB PRESS Vol.68posted with …

現状のfluentdでは、タグを動的に扱う方法がいまいち無い。具体的に言うと設定項目にタグに応じて変化するような指定をしたい場合、タグごとに分けて書くしかない。例えば out_file で出力先ファイル名をタグに応じてつけたい場合、タグの数だけ match 節を…

流れてくるメッセージから指定したフィールドの値を定数倍して再emitする fluent-plugin-amplifier-filter をリリースした。tagomoris/fluent-plugin-amplifier-filter · GitHub fluent-plugin-amplifier-filter | RubyGems.org | your community gem hostな…

前回の話から、メモリについては西海岸方面の協力を得てあれこれ試していた。#fluentd の性能・リソースに関する最近のいくつかの傾向の話 - tagomorisのメモ置き場最終的には ruby 1.9.3-p125 + jemalloc + fluentd v0.10.16 でメモリ使用量が安定した。 je…

Fluentd上に流れる任意のフィールドをparseするための out_parser および任意のフィールドを結合するための out_deparser を含むプラグイン fluent-plugin-parser v0.1.0 をリリースしました。tagomoris/fluent-plugin-parser · GitHub fluent-plugin-parser…

諸君！ 昨今Fluentd界隈にて「構造化ログこそ至上、構造化ログで最初から出力すべし」との論が蔓延っているのを苦々しく思うプレーンテキストログ処理業者の諸君！いまこそ我々は連中の思い上がりに対し、断固たる決意をもって鉄拳を振り下ろすべきである！…

Fluentd からGrowthForecastへデータを投入するためのプラグイン fluent-plugin-growthforecast を作って使っている。fluent-plugin-flowcounter および fluent-plugin-growthforecast released! #fluentd - tagomorisのメモ置き場で、このGrowthForecastに…

参加者が全員発表というハードコア勉強会「Webサーバ勉強会 #5」に行ってきた。 Webサーバ勉強会 #5 : ATND お題がApache2.4 or Varnish or fluentd ということで聞きたい話題は満載、話せる話題は……Apache2.4で何か試せるかなと思ってたけど時間がなかった…

もしかして今も世界のどこかでハマっている誰かのためにメモ。Ruby 1.9.3 に添付されている json モジュールはAPI仕様が変更されており 1.9.2 までで使えていた2引数呼び出しが使えなくなっている(エラーになる)。まず 1.9.2。 1.9.2p290 :001 > require 'js…

いくつかそれぞれ違う内容のことについて書きます。また複数の変更をほぼ同時期にやったケースもあり「お前それ分けてやれよ」と言いたくものがあるかもしれません。いや分かってはいるんだけど、そうそう変更ばっかりもしてられないからまとめてやりたいじ…

fluentd 標準のファイル出力プラグイン out_file はメッセージをJSONにシリアライズして出力するというもので、これはこれでまあいいんだけど、JSONだと逆に扱いづらいケースなんかもUNIXの文化ではあれこれある。また完全にJSONというわけでもなく、行頭に…

みんな大好きfluentdはたいへん便利ですが、ログの収集＆集約だけをしたい、というときにちょっとオーバースペック気味のところがあります。特に in_tail はログの読み込みと同時に parse をする仕組みになっており、まあログが書かれた場所ならparseのルー…

Fluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算出…

前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたして…

Fluentd自体の動作状況を数値化するための fluent-plugin-flowcounter およびメトリクスを手間なくグラフに描かせて可視化するための fluent-plugin-growthforecast をリリースした。 fluent-plugin-flowcounter rubygems.org github fluent-plugin-growthfo…

手元でちょっとやったのでメモっとく。 Missing blocksが出た場合 HDFSのブロックが読めなくなることがある。手元ではHoop Server経由でappendが高頻度で発生している状況で、さらにHiveのクエリ実行が重なって派手にiowaitが出たときに起きた。 こうなると…

最近 fluentd というツールのことがたいへんよく話題に上がっており、かく言う自分もささやかながら使用している身なのだが、それはそれとして比較対象に上がってくるツールに scribed というものがある。これがどういうものなのか、話には聞いていてもよく…

Fluentd meetup in Japanなるイベントをやるけどしゃべらない？ というお誘いがあったのでありがたくお受けして参加し、1セッションしゃべってきた。 まだ世に出て半年足らずのミドルウェアのイベントなのに集いも集ったり120人*1、まるまる半日間ひたすら高…

なんか新宿を離れる前にやっとこうぜ！ という話があったらしくて昨年末に企画が立った*1合同勉強会に参加してた。聞いた内容と懇親会の内容については社内イベント的なものなので詳細は省くとしてスゲー楽しかった。またやりたいですね！ しゃべってきた で…

UserAgent判定ライブラリはCPANに数多くあるし他の言語でも似たようなものだと思うが、ライブラリや言語をまたがって一致した結果を返してくれるようなものは存在しない(と思う)。が、特にHadoopを使うようになってJavaの事情をある程度無視できなくなってく…

メモ。CDH3u2 (hive-0.7.1-cdh3u2) での話。(1/23 HiveServerについていくつか追記した)Hiveで自分でつくった関数(User Defined Function: UDF)を使いたい！ と思い艱難辛苦を乗り越えJavaのコードを書きjarにまとめたとする。書くまでの話はWikiの該当ペー…

Hadoop 1.0.0がリリースされた。まあ中身のほとんどはただの 0.20.x 安定板リリースなので特別に言うことはないんだけど。詳しくは以下のblogを読むのがよろしい。hadoopのバージョン表記について - 科学と非科学の迷宮ただしひとつだけびっくりしたのは、we…