世界が滅亡することもなく2012年も本日で無事終わるようなので、すこし振り返ってみる。去年と同じようにやろうかと思ったんだけど時期ごとの特徴みたいなものがあんまりなかったので、トピックごとに適当にまとめる。 Fluentd とにかくこれでしたねー。Flue…

CDH4と延々格闘してたが、ようやくひととおり設定が終わったのでまとめ。 特にNameNode HA QJM版はドキュメントもけっこうグチャグチャで何をどうすればいいのかの把握が困難だった。また Auto Failover は設定するとマトモに動かなかったので無効にした。そ…

CDH3クラスタからCDH4クラスタにYARNでdistcpする場合には -skipcrccheck せよ、とある。 DistCp using MRv2 (YARN) from a CDH3 cluster to a CDH4 cluster may fail with CRC mismatch errors Running distcp on a CDH4 YARN cluster with a CDH3 hftp sou…

CDH3u5で使っていたクラスタをOSそのまま(再起動すらしてない)でCDH3をまるっと削除してCDH4に変えたところ、突然名前解決ができないと言いだしてまるで動かない状態になって右往左往していた。まるで原因が見えず失意のどん底に落ち無力感にさいなまれると…

HDFS block sizeを決めるには以下のようなことを考える必要がある。 MapReduceへの入力となる総ファイル数は？ ファイルごとの平均サイズがどのくらいで、ファイルごとにサイズのバラつきがどうなってる？ ファイル形式と圧縮オプションがどうなってんの？ …

主にOperationをやっている人達もコード書かないといけないのかな？ というあたりについて話さないかというお誘いがあったので受けてしゃべってきた。http://atnd.org/event/operationcasual 「おぺかじ」まとめ - Togetterまとめ慣れないハイ意識トークだっ…

Winny裁判で金子氏の著作権侵害幇助が成立するという意見を述べた裁判官のところにバツをつけるたった一度きりのチャンスがやってきたというわけですよ！！！！！！！というのを選挙広報を読んでて見付けた。プログラマのみんなもよく読んでみよう！

Operation Engineers' Casual Talks というイベントが行われます。で、そこで話すことになってます。Operation Engineers' Casual Talks | イベントアテンド [ATND] でイベント作成・チケット販売・参加者の出欠管理開催が12月中旬の金曜夜なので、定員100人…