Hadoopについてのイベントがあったのでいってきた。なんと東京ビッグサイト！ ソフトウェアのユーザ会主催のイベントで東京ビッグサイトとかすごすぎる*1。主催の方々はお疲れさまでした。
http://hcj2013w.eventbrite.com/
しゃべってきた
Ust録画がこちら: http://www.ustream.tv/recorded/28693167
今回は発表は公募だったので思わず申し込んでしまっていたら通った。ので、自分がつくっているアクセスログ集計システムの全体像について、初期の構造から現在の状態までの変化を俯瞰する形で解説してみた。あれこれ順番に手を入れながら現在の状態にしていったんだけど、そこにどんな理由があったのか、どんな方針でやっていたのか、というあたりの話。1F Aホールの会場、数百席がほぼ満員で立ち見の人もいたようだった。多くの人に興味をもってもらえたのは嬉しいなあ。
実際の世界ではやりたいことに対して人手*2が余っているということは極めて珍しくて、じゃあ実現したい機能に対して何を優先的にやるか、やってみた結果として次にどのような問題意識を持つか、という感覚/判断力を磨くことはたぶん重要なことだと思う。そういう重要性の話を今回の発表を通じて伝えられていたらいいなあ。
ちなみに疎結合な構成にすることは鼻血が出るほど大事なこと。Hadoopはじつに巨大なソフトウェアで、しかも頻繁にバージョンアップする機会があり、割とシャレにならないバグ修正とか機能追加が行われるのでいつでも更新しやすい状況を維持したい。しかしログの投入とかジョブの実行といった機能を担当する周辺サービスをあまりうっかり作っているとHadoopに密結合する状況に簡単になってしまう。インターフェイスが固定されたプロトコル経由でRPCすることの重要性はいくら語っても足りない。
で、その意味でWebHDFSが登場した*3のはすばらしかったし、JobTracker/ResourceManager にいまだに REST API が無いのは本当にどうにかしてると思う。Huahin Managerはじつにすばらしいソフトウェアだ。*4
着てきた
今回のHCJ2013Wには特別企画の公募というものがあり、8割くらいギャグで応募したら通ってしまったので、気付いたらTシャツを作ることになってた。もちろん使うのはいつも世話になっていて、ロゴが人知を絶するほどのキュートさと評判のHive！
どうよこのキュートさ。費用はCloudera社が出してくれました。すばらしい。愛がありますね愛が。
ということで50着ばかり作って持ち込み、関係者の人に会っては渡し(てその場で着るよう要求し)、登壇者に会っては渡し(てその場で着るよう要求し)、イベント取材の方に会っては渡し(てその場で着るよう要求し)てました。更に各登壇者には質問に来た人に渡してもらうようお願いしたりしたのち、最後には懇親会で「HiveもしくはHiveロゴへの愛を語る」という小イベントをやって全部はけた。最後には懇親会の会場でどちらを向いてもキュートなHive Tが！ Amazon EMRのえらい人まで！！！！
集合写真とか撮られてましたが手元にないのでここに貼れないのが残念です。すごいことになってた。あー面白かった。
でも自分に話しかけられる話題が登壇した内容より圧倒的にHiveTシャツになってた。ウケる。
雑感
いろいろ聞いた。面白かった。とはいえ面白さの大部分はセッションの内容というよりはあんな人こんな人に会ったこと、という気もする。
ユーザ会のイベントというのはどうしても事例の紹介が多くなるという気はしていて、まあその点は自分もあまり人のこと言えないんだけど、技術的な興味を満たしに行くと多少肩すかしを食う格好にはどうしてもなっちゃうのかな。
その一方でじゃあコードの話をするかというと、懇親会で「次にやるとしてネタある人？」という話もあったけど、あそこのあのRPCがこういうプロトコルになっててこうクライアントを実装しちゃうとマズくて云々、みたいなのをあの会場でやって誰が嬉しいんだという問題にはなる。そういうのはもっと小さいところで細々とやるくらいがちょうどいいんじゃないか。
つまり、イベントの内容としてはおそらくああいう形なのは正しくて、それはそれでいいのかな。自分だってもちろん楽しめてるイベントなんだし。
まあそんなこんな。言語のイベントとかとはやっぱり違いますよねってこと。
