CDH4と延々格闘してたが、ようやくひととおり設定が終わったのでまとめ。 特にNameNode HA QJM版はドキュメントもけっこうグチャグチャで何をどうすればいいのかの把握が困難だった。また Auto Failover は設定するとマトモに動かなかったので無効にした。そ…

CDH3クラスタからCDH4クラスタにYARNでdistcpする場合には -skipcrccheck せよ、とある。 DistCp using MRv2 (YARN) from a CDH3 cluster to a CDH4 cluster may fail with CRC mismatch errors Running distcp on a CDH4 YARN cluster with a CDH3 hftp sou…