たごもりすメモ

コードとかその他の話とか。

2013-01-01から1年間の記事一覧

「ISUCON 夏期講習」でのisuconとWebアプリケーションについての話

秋に第3回が開催されますね、ISUCON。今年は学生枠があるとのことで、それにあわせて学生のプログラマの人達に少しでもこの世界について知ってもらおうという主旨で夏期講習というイベントが開催されました。学生限定イベント「ISUCON 夏期講習」 のご案内 …

「就職しました」から3年が経ちました

ちょうど3年前いろんな人の転職エントリとかに「1年後とかにどうなったか読みたい」みたいなことを書いてる人をちらほら見るので。SIerからやってきて3年経ちましたが毎日楽しくコードを書いてます。すごい同僚はあいかわらずいっぱいいます。あちこちでしゃ…

Linuxサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか

完全に このエントリ のネタパクりです。すいません。何に使われてるかわかったもんじゃないマシンとか開発用サーバとかだと超巨大なバイナリとか置いてあるかもしれませんが、プロダクション用のサーバでそういうことは無いとしましょう。 その場合、原因は…

「Web開発の基礎徹底攻略」という本が出ます

技術評論社から表題のような本が出るようですよ。自分の記事も載ってます。Web開発の基礎徹底攻略 (WEB+DB PRESS plus)作者: 小飼弾,田籠聡,近藤宇智朗,並河祐貴,赤松祐希,井上誠一郎,ミック,天尋左石,和田裕介,WEB+DB PRESS編集部出版社/メーカー: 技術評論…

Hadoop徹底入門 第2版

著者の方からいただきました! ありがとうございます!Hadoop徹底入門 第2版 オープンソース分散処理環境の構築作者: 太田一樹,岩崎正剛,猿田浩輔,下垣徹,藤井達朗,山下真一,濱野賢一朗出版社/メーカー: 翔泳社発売日: 2013/07/09メディア: 大型本この商品を…

jemalloc外したFluentdのいま

先日のエントリで ruby 2.0.0-p195 + msgpack v0.5.5 + Fluentd v0.10.35 が良いという話をしました。ruby 2.0.0-p195 + fluentd v0.10.35 + msgpack v0.5.5 の組合せが素敵という話 - tagomorisのメモ置き場で、このときってまだ jemalloc 入れてたんですよ…

データ・ストリーミング勉強会にいってきた&しゃべってきた

参加者を限定してということですが、行われた勉強会があったので行ってきた。内容がたいへん興味深かったので。幸いにして自分にも喋れるネタがひとつあったのでやってきた。http://www.zusaar.com/event/834003 いってきた Stormの話、何ができて何ができな…

ruby 2.0.0-p195 + fluentd v0.10.35 + msgpack v0.5.5 の組合せが素敵という話

fluentd v0.10.35 が出ましたね!https://rubygems.org/gems/fluentdで、端的に申し上げまして fluentd をお使いの皆様は以下の組合せで使うのがおススメです。 Ruby 2.0.0-p195 Fluentd v0.10.35 MessagePack v0.5.5 なぜかというと以下のようなすばらしい…

るりまにpullreqを送る方法、1から10のはなし

Rubyを書いている人ならきっと一度以上はお世話になっているRubyリファレンスマニュアル、通称「るりま」。 これが前まではsvnでリポジトリ管理+修正はredmineでチケットを切って依頼、みたいなすげーダルいフローでなんか見付けても依頼が面倒で面倒で面倒…

RubyKaigi 2013にいってきた&しゃべってきた

この5月30,31日および6月1日に行われた RubyKaigi 2013 にproposalが通ったので、スピーカーとして参加してまいりました。http://rubykaigi.org/2013/面白いトークがいろいろあったし色んな人と話ができたし、空き時間にfluentdの修正についての話や作業も進…

OSS CEP Server 'Norikra' v0.0.1 released!

みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消…

dmmのエンジニアと話をしてみたいという話(追記あり)

dmmは世の中のオトコノコにとっていろいろと言及するのに躊躇いつつ誰でも知っているアレなわけです。で、それなりの規模のWebサービスの裏側を見たことがある人なら誰でも、dmmの裏側はきっと物凄いことになっているに違いない、ということが想像がつくわけ…

jrubyでさくさくrspecを実行する(Nailgun or spork)

JRubyでコード書いてるとrspecを起動するたびに永遠にも等しい待ち時間が苦痛で苦痛で苦痛で。素のrspecで5.6秒、rspecを実行するようにRakefileを書いた rake test で9.4秒、bundle exec rake test に至っては19.7秒という永遠にも等しい時間を必要とする。…

くもりのち晴れ、ときどき、コストセンター

直接成果が外に出ない僕らの仕事は大抵、最初は空模様が怪しい。いまいち見通しが悪くテンションも上がらない曇り空が続いたあと、努力が報われれば、ありがたくもそのうちに晴れ間が見えるようになる。たまにとんでもない快晴にめぐりあえることもある。で…

shib v0.2.0

shib v0.2 beta なのを書いてる - tagomorisのメモ置き場書いてましたが、APIをひととおりfixしたのでgithub上でv0.2.0のタグを打ちました。お仕事で既にこのバージョンを使ってます。 移行したい人は上記エントリの注意書きを読んでください。http://github…

fluent-agent-lite and Fluent::AgentLite 0.8 released in Perl QA Hackathon 2013 Tokyo

別の目的があって Perl QA Hackathon いったんですがなぜか fluent-agent-lite 0.8 をリリースしてました。 またそのときに需要ありそうなので CPAN に上げておきましたので、以下のコマンドを叩くだけで fluent-agent-lite コマンドが使えるようになりまし…

use latest cpanm -Lextlib with perl v5.8.8 or earlier

'cpanm -Lextlib' requires Module::CoreList, but Module::CoreList was first released with perl v5.8.9. So we should install Module::CoreList at first.Do as below (be careful with -l and -I (el and ai)): curl -s -L http://cpanmin.us/ | /usr/…

gemspecにおける依存gem記述上の注意

要約 gemspecにおいて add_development_dependency と add_runtime_dependency (or add_dependency) の両方に同じgemがセットされたものをリリースすると、そのgemを bundler 経由でインストールしたとき正常に依存gemがインストールされなくなる。これはお…

shib v0.2 beta なのを書いてる

だいぶ前に最初のバージョンをつくった shib というHive Webフロントエンドツール、ずっと使ってるんだけど色々こまめに手を入れたりしてた。tagomoris/shib · GitHub Hive Client Webアプリケーション shib をつくった - tagomorisのメモ置き場 Hive WebCli…

Riak Serious Talksやった

やりましたRiak Serious Talks on Zusaar Riak Serious Talk #1 #riak_serious - Togetterまとめ内容はアレなので置いておいて、勉強会の体裁としてちょっと新しいかなーと思うので、それについて。 招待制 微妙な内容でも心置きなくしゃべってもらうべく招…

本番環境でのperl/ruby/nodeのセットアップ

本番環境にperlとかrubyとかnodeを入れるんだけど、もちろん system perl じゃやってられないので指定したバージョンのものを一般ユーザの管理下に突っ込みたい。 で、そういうのをこれまで perlbrew とか rvm とか rbenv とか nvm とか nodebrew とかでやっ…

スピリチュアルトークと、自分が何をするべきか、の話

参考: http://kentaro.tumblr.com/post/46136441725スピリチュアルトーク、いわゆる「コードが出てこない話」は多過ぎると食傷するが、全くなくていいわけではない。少なくともその類の言説を聞いて生活様式を変える人というのはそれなりの割合でいるらしい…

out_exec_filter 入出力フォーマットの変更による負荷の変化

まず前置きですが、みんな大好きFluentdがなぜ*1実用上充分なくらい高速に動作するかというとそれは内部のシリアライズ/デシリアライズフォーマットとして使われているMessagePackのおかげによるところが大きいわけですね。ところで Fluentd の組込みプラグ…

大江戸Ruby会議03いってきた

いやー、いいイベントでしたね。Asakusa.rbのみなさま、たいへん良い日をありがとうございました。Oedo Rubykaigi 03 - Mar 16, 2013コードの話、コードを書くことについての話、がすごく多くてすばらしかった。体調的には鼻炎薬が強烈に働いてて超眠くて集…

Fluentd w/ Ruby 2.0.0-p0 のメモリ使用量 (追記: w/ msgpack v0.5.4)

いくつかFluentdのベンチマークをとらないとなー、そういえばRuby 2.0.0-p0も出ましたね、ということでベンチマーク取ろうと思ってあれこれ作業してたらなんか変なのを見付けたのでとりあえず記録。 なおベンチマークの結果については、いろいろ取りかたを考…

CDH4で YARN から MRv1 にスイッチ

CDH4.2 + YARN + Hive でしばらく動かしてたんだけど、なんか一部のクエリが失敗しまくる。おかしいなーと思ったらこれにひっかかってた。https://issues.cloudera.org/browse/DISTRO-461なんだかなー。いい回避策がないかあれこれやってみたんだけどどうに…

Fluentd meetup in Fukuokaにいってきた&しゃべってきた

東京以外で初となる Fluentd meetup が福岡にて行われました。Fluentd meetup in Fukuoka on Zusaar福岡で50人規模の勉強会はそうそう無いとのことで、fluentdすごい! という話。で、スピーカーとしてお呼ばれしたのでいってきた。旅費は(自分で滞在延長し…

CDH4.2(Hive 0.10)のmetastoreは CDH4.1.x (Hive 0.9) 以前と互換性がなかった件

hiveserver が /tmp 下に消されると困るファイルを置く問題、hive 0.10に上げれば直るらしい! と思ったのでうっかり yum update hadoop hive したら Hive 0.10 のmetastoreが Hive 0.9 と非互換なので動かなくなりました。 CDH4.1.x使ってる人はいま yum up…

CDH4でHiveServerを使う際の注意点

CDHでHadoopを使っている良い子のみんな、hiveserverまわりで罠があるので気をつけましょう! という話。ふたつあるので順番に。 hive-server 再起動時にログがtruncateされる hiveserverがなんかおかしかったりすると、原因究明はやるとしてとりあえず再起…

MessagePackのIETFへの提案に関する困惑

MessagePackというオープンソースプロジェクトの現状と IETF による標準化について、それが果たして正しいのか、と困惑せざるをえない事態が起きているので、それについて簡単に書く。何が起きているのか知らない人々に少しでも知ってもらえたら嬉しい。なお…