たごもりすメモ

コードとかその他の話とか。

2013-03-01から1ヶ月間の記事一覧

Riak Serious Talksやった

やりましたRiak Serious Talks on Zusaar Riak Serious Talk #1 #riak_serious - Togetterまとめ内容はアレなので置いておいて、勉強会の体裁としてちょっと新しいかなーと思うので、それについて。 招待制 微妙な内容でも心置きなくしゃべってもらうべく招…

本番環境でのperl/ruby/nodeのセットアップ

本番環境にperlとかrubyとかnodeを入れるんだけど、もちろん system perl じゃやってられないので指定したバージョンのものを一般ユーザの管理下に突っ込みたい。 で、そういうのをこれまで perlbrew とか rvm とか rbenv とか nvm とか nodebrew とかでやっ…

スピリチュアルトークと、自分が何をするべきか、の話

参考: http://kentaro.tumblr.com/post/46136441725スピリチュアルトーク、いわゆる「コードが出てこない話」は多過ぎると食傷するが、全くなくていいわけではない。少なくともその類の言説を聞いて生活様式を変える人というのはそれなりの割合でいるらしい…

out_exec_filter 入出力フォーマットの変更による負荷の変化

まず前置きですが、みんな大好きFluentdがなぜ*1実用上充分なくらい高速に動作するかというとそれは内部のシリアライズ/デシリアライズフォーマットとして使われているMessagePackのおかげによるところが大きいわけですね。ところで Fluentd の組込みプラグ…

大江戸Ruby会議03いってきた

いやー、いいイベントでしたね。Asakusa.rbのみなさま、たいへん良い日をありがとうございました。Oedo Rubykaigi 03 - Mar 16, 2013コードの話、コードを書くことについての話、がすごく多くてすばらしかった。体調的には鼻炎薬が強烈に働いてて超眠くて集…

Fluentd w/ Ruby 2.0.0-p0 のメモリ使用量 (追記: w/ msgpack v0.5.4)

いくつかFluentdのベンチマークをとらないとなー、そういえばRuby 2.0.0-p0も出ましたね、ということでベンチマーク取ろうと思ってあれこれ作業してたらなんか変なのを見付けたのでとりあえず記録。 なおベンチマークの結果については、いろいろ取りかたを考…

CDH4で YARN から MRv1 にスイッチ

CDH4.2 + YARN + Hive でしばらく動かしてたんだけど、なんか一部のクエリが失敗しまくる。おかしいなーと思ったらこれにひっかかってた。https://issues.cloudera.org/browse/DISTRO-461なんだかなー。いい回避策がないかあれこれやってみたんだけどどうに…

Fluentd meetup in Fukuokaにいってきた&しゃべってきた

東京以外で初となる Fluentd meetup が福岡にて行われました。Fluentd meetup in Fukuoka on Zusaar福岡で50人規模の勉強会はそうそう無いとのことで、fluentdすごい! という話。で、スピーカーとしてお呼ばれしたのでいってきた。旅費は(自分で滞在延長し…

CDH4.2(Hive 0.10)のmetastoreは CDH4.1.x (Hive 0.9) 以前と互換性がなかった件

hiveserver が /tmp 下に消されると困るファイルを置く問題、hive 0.10に上げれば直るらしい! と思ったのでうっかり yum update hadoop hive したら Hive 0.10 のmetastoreが Hive 0.9 と非互換なので動かなくなりました。 CDH4.1.x使ってる人はいま yum up…

CDH4でHiveServerを使う際の注意点

CDHでHadoopを使っている良い子のみんな、hiveserverまわりで罠があるので気をつけましょう! という話。ふたつあるので順番に。 hive-server 再起動時にログがtruncateされる hiveserverがなんかおかしかったりすると、原因究明はやるとしてとりあえず再起…

MessagePackのIETFへの提案に関する困惑

MessagePackというオープンソースプロジェクトの現状と IETF による標準化について、それが果たして正しいのか、と困惑せざるをえない事態が起きているので、それについて簡単に書く。何が起きているのか知らない人々に少しでも知ってもらえたら嬉しい。なお…