たごもりすメモ

コードとかその他の話とか。

2012-06-01から1ヶ月間の記事一覧

#java_ja で例外とロギングについて勉強会をやるというのでいってきた&飛び込みLTやった&運用の視点から見たアプリケーションのログについて

LOG.debug("nice catch!") - connpass 2012/06/27 java-ja 『LOG.debug("nice catch!")』#java_ja #javaja - Togetterまとめblogエントリを書くまでがjava-jaだと聞いたのでとりあえず書く。超まとまってません。各スピーカーの話の内容については他の人のbl…

CDH4+YARN+Hiveでハマってる

検証用として新規にセットアップしたCDH4クラスタ、YARN使用で設定してみたんだけど以下のような状態。完全分散モード。 CDH4はtarballを展開する形でインストール HADOOP_MAPRED_HOMEは hadoop/share/hadoop/mapreduce を指定 YARNで hadoop-mapreduce-exam…

HiveServerを使う上での注意点

というか、えー、問題にハマりましたので。問題が炸裂した夜はわたくし渋谷で飲んでおりまして、対応と原因のアタリをとっていただきました同僚の方々にはお礼の言葉しかございません。 ThriftHiveプロトコルにおけるcleanメソッド まず第一に、HiveServerに…

#shibuyarb にいってきた

なんとなくこれまで参加したことのないあたりに遊びに行きたい気分だったので、Ruby関連のコミュニティにぜんぜん参加してないし行ってきたいなー、ということでふらふら参加してきた。渋谷.rb[:20120620] on Zusaarいやじつは(も何もZusaarを見れば明らかだ…

Hive WebClient shib をアップデート

(2013/04/02追記 see: http://d.hatena.ne.jp/tagomoris/20130402/1364898063 )だいぶ前にこのblogでも書いたけどHiveクエリをHTTP経由で実行・制御するためのWebアプリケーション shib というのを作って使ってる。で、最近 node.js v0.6 系に対応させるつい…

Monitoring Casual Talk Vol.1 に行ってきた&しゃべってきた #monitoringcasual

そのようなイベントが開催されることとなり、面白そうだったのでいってきました。Monitoring Casual Talk #1 : ATNDスライド書いてるうちに何の話をしようと思っていたんだったかがだんだん分かんなくなってきてましたが、現場に行ってみたらだいぶカジュア…

UserAgent判定器 Project Woothee v0.2.0: RubyおよびPython実装を追加

参考: UserAgent判定器 Project Woothee はじめました - tagomorisのメモ置き場言語をまたいで共通の判定ロジック・結果を使うための UserAgent 判定ライブラリ Woothee について、以下の変更を加えて v0.2.0 としました。これにより Java/Perl/Ruby/Python …

尊重されたいすべてのソフトウェアエンジニアへ

自分はソフトウェアエンジニアとして毎日の糧を得ている。今のところはサラリーマンエンジニア以外の存在になる予定はない、が、とはいえ唯々諾々とつまんない仕事ばっかりやる毎日はできればごめんだと思っている。コードを書くのは楽しいからコードを書け…

WebHDFSとHttpFsについての簡単なベンチマーク

前のエントリの続き。実用上どうなのってことで、とりあえず簡単にベンチマーク的な負荷走行をしてみた。 実行環境は以下の通り。なお HttpFs Server はNameNode上に立ててある。 CDH4b2 + HttpFs/WebHDFS NameNode x1 2CPU 8GB Memory DataNode x4 2CPU 8GB…

CDH4b2におけるWebHDFSとHttpFsについて

CDH4b2でWebHDFSとHttpFsについていろいろ試しているので、分かっている内容をまとめてみる。なお注意点だが、各々以下のような状況であることに注意。 WebHDFS たぶんHadoop 1.0ベース HttpFs たぶんHadoop 0.23ベース(あるいは 2.0 alpha ベース) でHoopと…