たごもりすメモ

コードとかその他の話とか。

Hadoop

scribedのセットアップ手順ひと通り(hdfs書き込み有効版)

ログの収集をscribeでやりたいぜ! と思ったがREADMEに書いてある通りにやろうとしてもうまくいかず七転八倒し、しかもその上hdfsに書き込もうとしたらHadoopまわりで更に苦悶の日々を送るという苦難の道のりをようやく完走したので、それについて書いてみる…

HadoopはApache版0.20.2とCloudera版0.20.2+737で互換性がない

いやまあ、バージョンは合わせろよとか、そのくらい常識だとか、言われそうな話なんですけどね。 症状 別のところで構成されてるHadoopクラスタのHDFSにデータを書き込みたくなったので、あるマシン(CentOS5)にSun JDKとHadoopを入れることにしました。イン…