たごもりすメモ

コードとかその他の話とか。

2012-12-19から1日間の記事一覧

HDFS block sizeをどのように設定すべきか

HDFS block sizeを決めるには以下のようなことを考える必要がある。 MapReduceへの入力となる総ファイル数は? ファイルごとの平均サイズがどのくらいで、ファイルごとにサイズのバラつきがどうなってる? ファイル形式と圧縮オプションがどうなってんの? …