たごもりすメモ

コードとかその他の話とか。

Hive WebClient shib をアップデート

(2013/04/02追記 see: http://d.hatena.ne.jp/tagomoris/20130402/1364898063 )

だいぶ前にこのblogでも書いたけどHiveクエリをHTTP経由で実行・制御するためのWebアプリケーション shib というのを作って使ってる。で、最近 node.js v0.6 系に対応させるついでにあれこれ機能追加してた。ひと区切りついたのでご紹介。

tagomoris/shib · GitHub

現状こんな感じ:

  • node.js v0.6系で動く(はず)
    • 開発は v0.6.19 でやってた
  • Huahin Manager対応して、クエリを中断したときに裏側のmapreduceもちゃんとkillされるようにした
  • create function などのセットアップクエリの実行が可能になった
  • Hive 0.6以降のデータベース機能に対応
    • スキーマパーティションは対象データベースを選んで確認できる
    • クエリ実行時は database.tablename の形式で選んで実行、tablenameのみの場合は設定項目の default database に対して実行する
  • その他 npm の作法に従ってあれこれ揃えたり

あとREADMEをもうちょっと真面目に書いたので、コードを読まなくても実行できるんじゃないかと思う。

もし以前から使ってる人がいたら、以下のような変更がありますのでご注意。

  • 「keyword」というクエリ分類機能を削除
  • __TODAY__ , __YESTERDAY__ , __MONTH__ , __LASTMONTH__ というプレースホルダ置換を追加
    • 形式はそれぞれ %Y%m%d と %Y%m です(社内事情による)
    • フォーマット変更機能は考えてない……もし希望があったら考える

Hive CLIで毎回コマンド叩くのうざい! とか、HTTP API経由で他のシステムからクエリを実行したい! とか、そういうことを思う人は試してみるとよいんじゃないかと思います。何かありましたらいつでもどうぞ。