2011-01-01から1年間の記事一覧
Apacheログのパーサを書いてて気付いたので。 どれくらい解析プログラムにやさしくなるかというと、これくらい。 Benchmark: running rx_naive, rx_optim, tsv for at least 3 CPU seconds... rx_naive: 3 wallclock secs ( 3.15 usr + 0.00 sys = 3.15 CPU)…
tagomoris/yabitz · GitHub自分の見た狭い範囲だとどこの会社でもホストの管理って割と苦労してて、かなりの台数を運用しているところでも管理はExcelだったりあやしげなCGIだったり。ライブドアでもこないだまで使ってたシステムがかなり古くてアレな部分も…
scribeによるログ配送についていくらか試したりしつつ実戦投入しているのでその話。 今のところピーク時で20Mbps程度の流量で、100Mbpsを超えてくるようになると流量制限をシビアに考えたり中継サーバを複数台構成にしたり考えることになるのかなーと思って…
CentOS 5.5 において Hadoop hdfs をFUSEでmountする方法。なんだかんだでまた数時間苦労した。 基本的には MountableHDFS - Hadoop Wiki の通りなんだけど、なんか微妙に説明不足でひっかかりまくり。あと追試してないんであんまり明らかではないが、以下の…
MacBook Air 11インチ欲しい！
前のエントリ appengine ja night #13 に行ってきたよ＆しゃべってきたよ - tagomorisのメモ置き場 で書いたとおり flex_remote_api という名前をやめて remote_driver としました。 githubのリポジトリ名も変えたのでURLが変わってます。こちら。 tagomoris…
まあしゃべったのはBeerTalk最後の10分だけだけど。そして参加は2セッションめの途中(開始数分)からだった。あああ。 とりあえず主催の @kazunori_279 さん、および参加者のみなさま、楽しいイベントでした。また会場提供のニフティの皆様、ありがとうござい…
遅延（レイテンシ）とはなにか？ - はてなポイント３万を使い切るまで死なない日記 この記事に果てしなくテキトーなことが書いてあってこれを真っ向から信じられると大変迷惑なので、こと細かに真面目に書くことにする。……つもりだったが、なんか果てしなく…
調べた内容を忘れそうなのでメモ。Hadoopのリリース元およびバージョンごとにあれこれとscribeから使えるかどうかの制約があるので、書き出してみる。 scribeから使えるHadoopのバージョン Apacheリリース版 stable 0.20.2：ダメ scribeをApacheリリース版の…
ログの収集をscribeでやりたいぜ！ と思ったがREADMEに書いてある通りにやろうとしてもうまくいかず七転八倒し、しかもその上hdfsに書き込もうとしたらHadoopまわりで更に苦悶の日々を送るという苦難の道のりをようやく完走したので、それについて書いてみる…
いやまあ、バージョンは合わせろよとか、そのくらい常識だとか、言われそうな話なんですけどね。 症状 別のところで構成されてるHadoopクラスタのHDFSにデータを書き込みたくなったので、あるマシン(CentOS5)にSun JDKとHadoopを入れることにしました。イン…
