たごもりすメモ

コードとかその他の話とか。

そこそこでかいmapreduceを実行したらsplitが多過ぎて死ぬ

えいやっとHiveクエリを実行したら、しばらくゴリゴリ走ったのちに "Split metadata size exceeded 10000000. Aborting job ..." というログとともにクエリがkillされた。
えーと思って調べて以下の設定を mapred-site.xml にぶちこみJobTrackerとHiveServer2を再起動。

<property>
    <name>mapreduce.jobtracker.split.metainfo.maxsize</name>
    <value>-1</value>
</property>

そののちおもむろにクエリを再実行したところ、今度はshibのクエリ実行時間タイムアウトを延ばし忘れていたというオチがついた。mapreduceは走ってた。めでたしめでたし。