CDH4にいったん挫折した

CDH3で使ってる設定ファイル群を基本的にそのまま(ノードリストなどだけ書き換え)でCDH4の検証クラスタを作ろうとしてみた。

ら、以下のような事情でいろいろ面倒くさかったのでいったん挫折したのが本日あったこと。

• 使う環境変数がいろいろ変わってる
  • YARN_HOGE とか HDFS_HOGE みたいなのを使うようになっている
  • 基本的には HADOOP_CONF_DIR などから組み立てるようになっている
  • ただしその処理は libexec/hadoop-config.sh で行われる
  • $HADOOP_CONF_DIR/hadoop-config.sh を自分で用意して使っている場合は libexec/hadoop-config.sh が読まれないので新しい変数の組み立てができない
  • このため各種の環境変数がセットされずいろいろコケる

たいへん困った。設定ファイル群をイチから作り直す覚悟が必要な模様。

雑感

なおここまでセットアップ用にあれこれ眺めたり読んだりした感想。

• NameNode HAには共有ストレージが必要
  • 「NFSでもいいよ！」とか書いてあるけど、それSPOFじゃん……HAの意味ねーっすよ
  • だいぶがっかり
• CLIコマンド群がだいぶリネームされてる
  • hdfs や mapred, yarn などといったコマンドに機能が細分化されている
    • えええええ、すごい色々作り直さないといけない予感……
    • コマンド依存はRPCベースへの移行で減らしててまだ助かったけど、運用バッチまわりのチェックが大変
  • デーモンの起動が sbin/ 以下に分離されてる、これは良い

とにかく手がかかるなーという印象はある。CDH3u5に本当にWebHDFS入るなら、NameNode HAも今のところ使えないし、CDH4はしばらく放置の方がいいのかなー。そうしようかなあ。