shib v0.2 beta なのを書いてる

だいぶ前に最初のバージョンをつくった shib というHive Webフロントエンドツール、ずっと使ってるんだけど色々こまめに手を入れたりしてた。

tagomoris/shib · GitHub
Hive Client Webアプリケーション shib をつくった - tagomorisのメモ置き場
Hive WebClient shib をアップデート - tagomorisのメモ置き場

で、KT用のライブラリとかが全然バージョンアップしなかったりThriftのnode用ライブラリがnpmjs.orgでひどい状況だったりして、細かい対応ではさすがにもうやってられなくなった。
ので、今かなり大規模に手を入れてる。

• ローカルのファイルシステム + SQLiteを使うようにして負荷対策 + KT free化
• Hive実行に関しての hiveserver2 対応などを見越した設計変更
• MRv1/YARN環境どちらでも制御可能にすることを見越した設計変更

などなど。まだ予定の範囲の実装が終わってないんだけどとりあえず内部で使える状態になったのでmasterブランチにマージした。セットアップも簡単になったし将来的にあれこれ対応できるようになったし、馬鹿でかい結果を吐くようなクエリを走らせても固まらなくなったし、めでたしめでたし。

注意点として、KyotoTycoonを使っていたのをやめたのでデータストアが完全に切り替わり、データの互換性がなくなった。つまり過去のクエリやクエリ結果が失われる。
まあshibのストレージ機能にそんなに深く依存した設計にする人などおるまいと思っていたのでがつんとやった。もし今使ってる人がアップデートすることがあったら大いに注意してほしい。過去のバージョンをそのまま使いたい人は v0.1 タグを参照して使ってください。

tagomoris/shib at v0.1 · GitHub

それはともかくまだ実装が終わってないので、これから使いたい人はあと数日待ったほうがいいと思う。なんか最近shibを使ってる/これから使う的な話をいくつか聞いたので、現段階でも注意喚起としてエントリに書いてみた。