思えば、年頭から年末までずっとプログラマとして生活してた。世間的にいろいろあったし自分が受けた影響も決して小さくはなかったけど、プログラマとしてのみ見ればだいぶ充実した年だった。 2010あとしまつ期、ログ収集・解析初期 1月 2月 3月 あるいはscr…

みんな大好き fluentd は素敵だと思うんだけどHDFSへの書き出しをするプラグインが無い！ なんで！ という全世界100万人のエンジニアの怨嗟の声が聞こえてきそうだったので、とりあえずどうにかするべく書いた fluent-plugin-hoop がだいたい動くようになっ…

この記事は hadoopアドベントカレンダー の14日目の記事です。みなさんHDFS使ってますか。使ってますよね。最近はgluster fsなどの選択肢も出てきていますが、まだ第一の選択肢はHDFSという人がほとんどだと思います。 で、HDFSのファイル操作をどうしようか…

このエントリは MySQL Casual Advent Calendar 2011 - MySQL Casual の10日目の記事です。こんばんは。tagomorisです。さとしです。タゴモリスの s はさとしの s です(実話)。Twitterで #さとし というハッシュタグが流れるたび、ひそかにびくっとしてます。…

HTTPアクセスログをHiveが読める書式への変換やその他必要なデータ変換などストリーム処理で行いつつ転送して最終的にHDFSに時間ごとに書き込むぜー、というシステムを作ってる途中なんだけど、だいたい部品が揃いつつあるところでいったんまとめて書き出し…

入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。fluent/fluentd · GitHubので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。 結論 以…

(2012/02/21追記: bundle gem して作成する手順をこっちに書いた http://d.hatena.ne.jp/tagomoris/20120221/1329815126 )fluentdがいい感じでパフォーマンスにも問題ない状況になってきたように見えるので、よっしゃいっちょプラグインでも書くか！ と思っ…

参加者全員が何かしらしゃべるという大変にハードコアな勉強会「Webサーバ勉強会」*1に行ってきた＆しゃべってきた。今回のお題は nginx で、あちこちで名前は聞くけどそこまでみんな使ったことがあるわけでもないという微妙な普及具合にうまく目をつけてる…

さくっとメモっておく。昨夜調べてた限りだとWeb上でぜんぜんうまいこと情報が見付けられなかったので。mod_proxy でリバースプロキシを構成するんだけど認証だけは面倒だからApache上で mod_authnz_ldap でやりたい！ ということはある。よくある。あるよね…

誰も取らないとは思うけどサブドメイン確保とかあれこれ考えてゲット。招待していただいた id:sfujiwara さんありがとうございます！で、ちょっと今日はコード書くのに忙しいのでこれだけ。

前に書いた エントリ の通りHoopが有望な感じだったんだけどどのくらいの性能が出るのか見てみないことには本番投入して性能出ませんでした乙、ということになりかねない。ので見てみた。なお検証に関係する環境としては以下の通り。ちなみに前はCDH3u1で試…

推計全国20人くらいはいると思われるscribed管理者にはわかってもらえると思うけどscribedの起動/停止の制御はいろいろと面倒くさいしログもdaemontoolsとかにお願いしない限りはなんかうざい。そして更にそのうちの10人くらいにはわかってもらえると思うがs…

いま使っている環境(scribe + CDH3b2クラスタ)からHadoopクラスタを別のノード群で構成しなおすことになったのでCDH3u2で組んでみたんだけど、いざ相互接続をやるべー、と思ったらなんかscribedからHDFSに書き込みができない。 最初はよくあるネットワークや…

全体的に感じたことは、この1年であれこれやったからか、去年のと較べて人と話す機会が増えたなーってこと。もちろん会社の同僚もいるけど、そうでなくあっちこっちの勉強会で知りあった人とかもいたし、なんと自分が作ったツールを試してみた/使ってくれて…

自分のささやかなサラリーマン人生において、大きい会社(の一部)も小さい会社も見てきたけれど、そこで気付いたことがあって、そんなもやもやが堆積してきたのでここに吐き出す。たぶんまとまらない。 サラリーマンには2種類いる。 会社を肯定する奴と文句ば…

幸いにもtalkが受理されたので20分のセッションの準備をしていたんだけど、そのとき考えたことについてとりとめもなく書く。ソフトウェア関連の勉強会に行ってしゃべらせてもらうとき、当然「自分は何をやったのか」を話しに行く。世の中にあるコレがこうな…

(2013/04/02追記 see: http://d.hatena.ne.jp/tagomoris/20130402/1364898063 )まだ完成度がいまいちだからなーと思ってエントリ書いてなかったんだけどLTでしゃべっちゃったので、ちゃんと書いておく。Hiveにクエリを発行して結果を確認するためのWebアプリ…

なんかすごいイベントだった。User Group主催のイベントなのに2ホールを1日貸し切り(というか施設まるごと貸切)でキャパシティ1400人のイベントとかどういうこと。しかも無料参加なのにランチボックスとか飲み物とか出てた。意味がわからん。カネのあるとこ…

npmで配られてるライブラリとかどうせ発展途上でばぐばぐだからガンガン直すんですけど git clone とかしてきたやつを以下のようにしようとしても、思ったように require されてくれない。 cd HOGE NODE_PATH=lib node var hoge = require('hoge'); 以前 npm…

バッチ処理にかける対象ファイルの抽出には中身を見る必要があって、headやtailでいいんだけどhadoop fsコマンドではそういうオペレーションができない*1ので FUSE hdfs でLinuxにHDFSをmountしてやっている。 が、これがまたビルドするのにひと苦労だったり…

Hadoopクラスタを組み直す機会がやってくるのでこの際だからHadoopのバージョンを上げるべくあれこれテスト中。で、それにあわせて scribed のビルドもやったのでせっかくだから記録を残しておく。なお以前(2011年当初)の状況については以下のエントリを参照…

支えた技術ってほど大層なものでもないんだけど、なんとなくカッコいいのでシリーズ名にしてみようと思った。で、表題の件。 #isucon のベンチマークツールは1台のmasterと複数台のagentという構造になっていて、agentはベンチマークツールの負荷を複数台の…

チート対策とhttp_loadに仕掛けた罠の話 #isucon - blog.nomadscafe.jpこのエントリに刺激されたので、自分でも事前に大丈夫かなーと思っていたものの最終的には対処しなかったチート穴の攻略を今朝明確に思い付いたので書いてみる。その2以降を書く予定は今…

ISUCon が終わりました。さっき、懇親会を終えて帰宅し、イベントで使用した仮想マシンすべてをシャットダウンしました。しばらく前、あるきっかけがあったあとで「こんなイベントにすれば楽しいはず！ 少なくとも自分は楽しめそう！ やりたーい！」とTwitte…

MySQL Casual Talks Vol.2 - PARTAKE に行ってきたのでその感想。各Talkの細かい内容は既にグレートにまとめてる人がいるのでそちらをどうぞ。個人的には @nippondanji さんのPerfomance Schemaの話を聞きに行ったといっても過言ではないのだが、基本的には …

Node.jsでWebアプリを書いてるんだけど別に大量のリクエストをさばくわけでもないしWebSocketも使ってないし、じゃあなんでそんなことしてんの、という話。まず結論だけ書くと、 並列度が低くてよいが長時間かかることが確定的な処理を非同期的に走らせる必…

Windows ServerのActive DirectoryをLDAPサーバとして使用している人は多いと思うが、様々な事情によりWindows Serverに直接繋ぐのはアレなのでOpenLDAPサーバ(slapd)を立てて ldap backend を使用して中継サーバとしている人はそれなりにいると思う。いるよ…

長いよ！社内Webアプリケーションの認証基盤としてあちこちでデファクトになっているのではないかと思われるLDAPだが、その管理は主に人事部がやっていたりして*1中身に迂闊に手を出せず歯がゆい思いをしているエンジニアに捧げるエントリ。俺得。 社内サー…

名称表記が揺れてて微妙だけど Hbase at FaceBook on Zusaar このイベントに行ってきた。Facebookの人は "HBase Tokyo meetup" と認識していたようだ。 内容のまとめはやらないので、以下の各ページなどをご覧になると良いのではないでしょうか。Tokyo HBase…

DevOpsカンファレンス - PARTAKE 発表スライドなどは各発表者の人のblogなどにあるんじゃないでしょうか(投で、参加しての感想をまとまりもなく書く。 DevとOp おまえ、何よ Dev(開発者)とOp(オペレータ)について語る前に自分が普段の仕事でなにをやっている…