たごもりすメモ

コードとかその他の話とか。

2011-03-01から1ヶ月間の記事一覧

node.jsからThrift経由でHiveServerに通信しようとして力尽きた

力尽きたのでメモだけ。 Thriftがバージョン 0.6.0 でnode.jsに対応したことになっているが、送信/受信ともに FramedTransport でしか動作しない 開発はここ https://github.com/wadey/node-thrift 今のところFramedTransport以外の実装を作る気配はなさそう…

OSXでfuse hdfs mountしたい(できてない)

Mac OSX環境で fuse hdfs なシステムの開発・テストをしたいので調べてみたら macfuse - The Easiest and Fastest Way to Create File Systems for Mac OS X - Google Project Hosting なるものがあるらしいじゃないデスカ。 ということでこれをさくっとダウ…

ActiveDirectoryサーバへの接続のタイムアウトについて調べた

ApacheからLDAP経由*1でWindows ActiveDirectoryサーバに接続して認証をやっているのだが、よくわからないタイミングで status 500 になったりして挙動が怪しい。LogLevel debugを設定して見たりしてもいまいちよくわからないが、どうやら確立済みのLDAP接続…

HiveServerを使用してPythonやPerlからHiveQLを実行する

HiveServerはThriftプロトコルをしゃべる*1ので、おなじくThriftで接続すると任意のクエリを発行できたりして大変便利。ということで、やったので、そのメモ。 準備 まずHiveServerだけど、hiveコマンドを叩いてクエリが実行できる状態なら以下のコマンドで…

Hive CLIをHiveServerに接続して使いたい(が、現状ムリ)

Hive CLIはHiveQLをがんがん書くとさくさくMapReduceされて超絶便利なんだけど、HiveServerをどこかに立てて複数のアプリケーションからそこに接続する場合、Hive CLIをどう使えばいいの、というのがぱっとわからなかった。ぐぐってみてもぜんぜん方法がひっ…

MacOSXでnode.js/npm/nvmをインストール

メモ。(3/4 15時に修正) $ brew install node $ curl http://npmjs.org/install.sh | sh $ npm install nvm $ source ~/.bashrc # nvmのインストール時に指示される $ nvm install v0.4.2 # など 最初に brew install node するけど、ここで入るnode.jsのバ…

bashでパターン展開を行うときの注意点

おや、と思ったのでメモ。ブレース展開とグロブ展開を組合せたとき bashはブレース展開後のグロブ展開時、パターンにマッチするものがなければパターンをそのまま出力する tcshはブレース展開後のグロブ展開時、パターンにマッチするものがなければ何も出力…