たごもりすメモ

コードとかその他の話とか。

2012-11-22から1日間の記事一覧

個別集計と全体集計を1回のHiveクエリで実行する

馬鹿でかいデータを2回なめたくないでござる! という話。SQLなら WITH ROLLUP で一発なんだけどHiveでは現状サポートされていない。(hive 0.9.x or before) select x,sum(y) group by x と select sum(y) を出すのに同じデータセットを2回舐めたくない、だ…