LOG.debug("nice catch!") - connpass 2012/06/27 java-ja 『LOG.debug("nice catch!")』#java_ja #javaja - Togetterまとめblogエントリを書くまでがjava-jaだと聞いたのでとりあえず書く。超まとまってません。各スピーカーの話の内容については他の人のbl…

検証用として新規にセットアップしたCDH4クラスタ、YARN使用で設定してみたんだけど以下のような状態。完全分散モード。 CDH4はtarballを展開する形でインストール HADOOP_MAPRED_HOMEは hadoop/share/hadoop/mapreduce を指定 YARNで hadoop-mapreduce-exam…

というか、えー、問題にハマりましたので。問題が炸裂した夜はわたくし渋谷で飲んでおりまして、対応と原因のアタリをとっていただきました同僚の方々にはお礼の言葉しかございません。 ThriftHiveプロトコルにおけるcleanメソッド まず第一に、HiveServerに…

なんとなくこれまで参加したことのないあたりに遊びに行きたい気分だったので、Ruby関連のコミュニティにぜんぜん参加してないし行ってきたいなー、ということでふらふら参加してきた。渋谷.rb[:20120620] on Zusaarいやじつは(も何もZusaarを見れば明らかだ…

(2013/04/02追記 see: http://d.hatena.ne.jp/tagomoris/20130402/1364898063 )だいぶ前にこのblogでも書いたけどHiveクエリをHTTP経由で実行・制御するためのWebアプリケーション shib というのを作って使ってる。で、最近 node.js v0.6 系に対応させるつい…

そのようなイベントが開催されることとなり、面白そうだったのでいってきました。Monitoring Casual Talk #1 : ATNDスライド書いてるうちに何の話をしようと思っていたんだったかがだんだん分かんなくなってきてましたが、現場に行ってみたらだいぶカジュア…

参考: UserAgent判定器 Project Woothee はじめました - tagomorisのメモ置き場言語をまたいで共通の判定ロジック・結果を使うための UserAgent 判定ライブラリ Woothee について、以下の変更を加えて v0.2.0 としました。これにより Java/Perl/Ruby/Python …

自分はソフトウェアエンジニアとして毎日の糧を得ている。今のところはサラリーマンエンジニア以外の存在になる予定はない、が、とはいえ唯々諾々とつまんない仕事ばっかりやる毎日はできればごめんだと思っている。コードを書くのは楽しいからコードを書け…

前のエントリの続き。実用上どうなのってことで、とりあえず簡単にベンチマーク的な負荷走行をしてみた。 実行環境は以下の通り。なお HttpFs Server はNameNode上に立ててある。 CDH4b2 + HttpFs/WebHDFS NameNode x1 2CPU 8GB Memory DataNode x4 2CPU 8GB…

CDH4b2でWebHDFSとHttpFsについていろいろ試しているので、分かっている内容をまとめてみる。なお注意点だが、各々以下のような状況であることに注意。 WebHDFS たぶんHadoop 1.0ベース HttpFs たぶんHadoop 0.23ベース(あるいは 2.0 alpha ベース) でHoopと…