読者です 読者をやめる 読者になる 読者になる

たごもりすメモ

コードとかその他の話とか。

shib v0.2.0

Hive Hadoop

shib v0.2 beta なのを書いてる - tagomorisのメモ置き場

書いてましたが、APIをひととおりfixしたのでgithub上でv0.2.0のタグを打ちました。お仕事で既にこのバージョンを使ってます。
移行したい人は上記エントリの注意書きを読んでください。

http://github.com/tagomoris/shib

これまでとの違いについて整理したところ以下のような感じ。

  • node v0.8.x および node v0.10.x での動作
  • データ保存まわりの大幅な書き換え
  • Hiveクエリ実行エンジンまわりの設計の大幅な変更(複数の選択肢への対応を見越して)
  • ブラウザローカルなクエリのブックマーク機能の追加など、UI修正がいくつか

設計として hiveserver, hiveserver2 の両対応とか MRv1 / YARN の両対応とかを目的として実装を入れ替え可能にするための設計変更でしたが、実用上の問題がいくつかあって結局今のところ動作するのは hiveserver (not 2) のみです。クエリ動作状況の詳細取得・および中断には Huahin Manager が必要となりますが、これについては特に CDH4 + MRv1 のみしか対応していません*1

SELECTだけできるHiveのWebクライアントが欲しいんだ! クエリにpermalink欲しいんだ! Hue使いたくない! 他のサーバからHTTPでHiveクエリを実行したい! という人にお薦めのツールとなっております。そのような方はどうぞ。

*1:クエリをgive upしたときに裏側で終わるまで走り続けることを許容できる場合は hiveserver だけ動いてればCDH3でもCDH4+YARNでも使えます