えいやっとHiveクエリを実行したら、しばらくゴリゴリ走ったのちに "Split metadata size exceeded 10000000. Aborting job ..." というログとともにクエリがkillされた。 えーと思って調べて以下の設定を mapred-site.xml にぶちこみJobTrackerとHiveServer…

Ansibleの勉強会あるといいねーという話をしていたら開催されることになったAnsible勉強会#1にいってきた。んでしゃべってきた。Ansible 勉強会 #1 - connpass Ansible 勉強会 #1 - 資料一覧 - connpass開催はIanががんばりました。おつかれ！ あとレッドハ…

English article以前からスキーマレスなストリーム処理をSQLで！というソフトウェアとして作っていたNorikra、このたびあちこち機能改善したりしたので、既にお仕事で絶賛稼働中ということもあるし、区切りとして v1.0.0 としてリリースした。 ついでにロゴ…

CFPに応募したプロポーザルが通ったので発表しにいってきます。RedDotRubyConf 2014"Fluentd: Data Streams in Ruby world" という仮タイトルが既に出てますが、Fluentdの話をしてきます。日本国内のみなさまはご存知の話になるかなという感じですが、問題は…

少し前のことになりますが、多言語対応 User-Agent パーサライブラリ woothee のバージョンを 0.4.x に上げています。 これは以下の言語実装のpullreqをいただき、それにあわせていくつかの修正をほどこしたためです。https://github.com/woothee/woothee PH…

ひさびさに自分がしゃべれる面白技術ネタがあるかな、と思えるいい機会だったので、いってきた。gcp ja night #27 - connpassappengine ja night だった頃(の、しかもだいぶ前)によく行ってたけど最近は長いことご無沙汰だったので、おひさしぶりです！ な人…

要するにおまえらは黒っぽいグラフならいいんだろ？ということで、そのような欲望を現実のものにするためのパッチを書いてpullreqを出しました。 https://github.com/kazeburo/GrowthForecast/pull/63このグレートなパッチにより --kibanize オプションをつ…

JVMの運用に困ることがあったので、これはみんなも困っているに違いないと思って声をかけてみたらすごい感じのイベントになりました。自分は大変よかったので満足です。JVM Operation Casual Talks : ATNDイベントでの話の内容自体もよかったけど、ここしば…

サーバがだいたい CentOS 5/6 でsshの設定においてSFTPがオフになっていると、ansibleを使おうとしたときにいきなりファイル転送ができなくてハマる。まず第一に、RHEL6およびそれ以前において OpenSSH が ControlPersist オプションをサポートしていないた…

Ruby 2.1が正式にリリースされてから試してなかったので、試した。ついでにGVLまわりの改善があったとかいうCool.io 1.2.1 も入れたり、Fluentdも新しくしてみたり*1で、2日くらい経ったけど、良さそう。26日午後にこのサーバの全プロセスを切り替えた。 こ…

先日書いたエントリでも触れたけど、日本OSS奨励賞、というものをいただくことになりました。ご推薦いただいた方がいるということで、本当にありがとうございます。「第9回 日本OSS貢献者賞・日本OSS奨励賞」受賞者を選定 | 日本OSS推進フォーラムで、せっか…

今からちょうど4年前の2010年2月、某巨大SIerの片隅でExcelやPowerPointばかりを眺めて過ごしていた頃、おれは仕事でも仕事以外でもコードなんかまったく書いていなかったし、GitHubのアカウントも持ってなかった。毎日見積書とWBSと納品書と請求書と、Excel…

勤務先であるところのLINE株式会社*1がこれから月イチでdeveloper meetupを福岡でやる、ついては第一回目でしゃべってくるがよい、ということになったので、いってきた。わーい出張だー。*2LINE Developer Meetup in Fukuoka #1 - connpass話題はどうしよう…

登壇の機会をいただけたので、普段技術的なトピックが中心にあるカンファレンスとは違うことだし、普段あまりやらない話をしよう、ということで、そんな話をしてきました。 社内システムの構造と設計、実装のはなし from SATOSHI TAGOMORI 今回はスライドに…

あるいは http://yugui.jp/articles/879 へのreply。 システム監視をfluentdに統合してしまうべきか否か システム監視は分けておいた方がいいと思う。分けるべき、とまでは言わないけれど。それらの仕組みには相応の必要な機能セットがあり、それらは長い歴…

筑波大学の川島先生にお呼ばれして「情報システム特別講義D」なるものを1コマ担当してきた。内容は「ビッグデータ基盤技術に関する国内のエキスパートをお招きし、講演を行う。」*1だそうで、ひええ、というか、自分でいいのか、という感じだが、何より2日間…

グラフツールをひとつ作り、ひととおり動くらしいところまでいったので、とりあえず v0.1.0 としました。Focuslight と名付けています。https://github.com/tagomoris/focuslightこれは何かというと、このblogでも何度も紹介している GrowthForecast のRuby…

(訂正あり)HiveServer2で初めて有用になる hive.support.concurrency というプロパティがあって、こいつを有効にするとHiveクエリでテーブルロックがとれるようになる。まあ、でかい変更とかを他に邪魔されずにやりたい時は欲しいかもね。 で、この機能はzoo…

yum.repos.d CDHをClouderaからyum経由でもってきてインストールして使うとき、以下のように設定をせよとドキュメントに書いてある。 [cloudera-cdh4] name=Cloudera's Distribution for Hadoop, Version 4 baseurl=http://archive.cloudera.com/cdh4/redhat…