たごもりすメモ

コードとかその他の話とか。

2014-11-27から1日間の記事一覧

最近のHadoop distcpについて

Hadoopクラスタ間でデータを移動するdistcpについては実はHadoop2系で新しくなっており*1、いろいろ機能が増えている。 たとえば以下のようなコマンドが実行できる。 hadoop distcp -i -m 20 -pb -bandwidth 2 webhdfs://cluster.old.local/path/of/data/dir…