2013-01-01から1年間の記事一覧
Fluentd Casual Talks #2 で聞いた fluentd + esper によるCEP実現の話が非常に素敵な感じで、自分の手元でもああいう感じで書きやすく投入しやすいストリームクエリがやりたくてしょうがないお年頃なので、以下のようなものを作ろうかと考えている。勢いあ…
なんとなく気分が盛り上がったところで会場も見付かったのでカジュアルに企画して開催してまいりました。 Fluentd Casual Talks #2 : ATND いつもながら大人数の入る設備完璧な会場を貸していただき、また受付などすばらしいご協力を:DeNA様にいただきました…
http://www.zusaar.com/event/501053まじでどうするか悩んでいる。候補はこのあたり。 普通にログを集めてdatacounterとかで集計してグラフ化する話 でもこれ既にいろいろblogエントリとか出てるしな 普通にログを集めてwebhdfsで書いてHiveで集計する話 で…
乗るしかない、このビッグウェーブに！Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー Text::LTSV - naoyaのはてなダイアリー LTSV が行指向な Key-V…
YARN使っててHDFSにログを吐くよう設定してるとアホみたいにたまっていくので削除しないとやばい。 とりあえず10日経過したら削除するようにした。 ( for searchpath in '/tmp/hive-*' '/mr-history/done/*/*' '/mr-history/tmp/*' '/yarn/user/*/.staging' …
新クラスタでちょっとネットワーク設計まずってた！ slave nodeだけ直したい！ という話がありましてIPアドレスの変更を伴うので、やってた。結論だけ言うと以下の手順でいけた。これを1台ずつ、NameNodeでちゃんとノード認識が戻ったことを確認しながらやる…
ひとことで言うと「通常必要なパーティション階層の更に下にもうひとつパーティションを掘っておけ」だけ。 普通のパーティション設計 仮にWebサーバのアクセスログを投入するためのテーブル accesslog があるとする。このテーブルを、まずサービス名 servic…
なんか自分で docs.fluentd.org へのpatchを書いてて混乱してきたのでまとめる。コードを読んでも関係する設定値がいくつものモジュールに分散しており、完全に把握することが困難である。具体的には、この組合せを記憶だけで答えられる fluentd コミッタは…
Hadoopについてのイベントがあったのでいってきた。なんと東京ビッグサイト！ ソフトウェアのユーザ会主催のイベントで東京ビッグサイトとかすごすぎる*1。主催の方々はお疲れさまでした。http://hcj2013w.eventbrite.com/ しゃべってきた Log analysis with…
有料イベントですが、CROSS 2013 というイベントが1月18日にありました。http://www.cross-party.com/そこでひとつセッションオーナーになってまして、パネルディスカッションぽいことをやったのですが、それはともかくとして夕方以降にはプレミアムモルツ飲…
千葉Ruby会議10という噂でもちきりの東京Ruby会議10にいってきた。面白かった！ 遠かったけど。東京Ruby会議10 #tkrk10 - Regional RubyKaigi 会期：2013/01/13(日)〜14(祝・月)スタッフのみなさん、特に2日目の雪はたいへんだったと思いますが、おつかれさ…
有料イベントですが、CROSS 2013 というイベントが1月18日にあります。http://www.cross-party.com/そこでひとつセッションオーナーになってまして、パネルディスカッションぽいことをやるのですが、それはともかくとして夕方以降にはプレミアムモルツ飲み放…
雪にかこまれた温泉宿からこんちには。 クライアントライブラリを書いてからblogエントリにしようと思ったらこんな素敵エントリを書かれてしまった、くやしい……！GrowthForecastでAPI使って複合グラフ作ったり、グラフの色を変えたりしてみた - mikedaの日記…
