読者です 読者をやめる 読者になる 読者になる

たごもりすメモ

コードとかその他の話とか。

DataNodeのIPアドレス変更

Hadoop

クラスタでちょっとネットワーク設計まずってた! slave nodeだけ直したい! という話がありましてIPアドレスの変更を伴うので、やってた。結論だけ言うと以下の手順でいけた。これを1台ずつ、NameNodeでちゃんとノード認識が戻ったことを確認しながらやる。

  1. yarn nodemanager / hdfs datanode 停止
  2. ネットワーク設定(IPアドレス・ホスト名)変更
  3. hdfs datanode / yarn nodemanager 起動

問題はIPアドレスを変更されたDataNodeが再度認識されたとき、変更前と同一のノードと扱われるかどうか。これによりDataNodeに保存されている hdfs block がそのまま使えるのか、全部失われてレプリケーションしなおしになるのかが変わる。希望としてはそのまま認識されて使えることだったんだけど、迂闊に信じられないのがhadoopのおそろしいところ。

で、おそるおそる確認しながらやってたんだけど、大丈夫でした。CDH4.1.2にて。めでたしめでたし。