たごもりすメモ

コードとかその他の話とか。

2013-01-01から1ヶ月間の記事一覧

DataNodeのIPアドレス変更

新クラスタでちょっとネットワーク設計まずってた! slave nodeだけ直したい! という話がありましてIPアドレスの変更を伴うので、やってた。結論だけ言うと以下の手順でいけた。これを1台ずつ、NameNodeでちゃんとノード認識が戻ったことを確認しながらやる…

HiveでLOAD粒度を自由に変更可能にするパーティション構成

ひとことで言うと「通常必要なパーティション階層の更に下にもうひとつパーティションを掘っておけ」だけ。 普通のパーティション設計 仮にWebサーバのアクセスログを投入するためのテーブル accesslog があるとする。このテーブルを、まずサービス名 servic…

FluentdでバッファつきOutputPluginを使うときのデフォルト値

なんか自分で docs.fluentd.org へのpatchを書いてて混乱してきたのでまとめる。コードを読んでも関係する設定値がいくつものモジュールに分散しており、完全に把握することが困難である。具体的には、この組合せを記憶だけで答えられる fluentd コミッタは…

Hadoop Conference Japan 2013 Winter にいってきた&しゃべってきた

Hadoopについてのイベントがあったのでいってきた。なんと東京ビッグサイト! ソフトウェアのユーザ会主催のイベントで東京ビッグサイトとかすごすぎる*1。主催の方々はお疲れさまでした。http://hcj2013w.eventbrite.com/ しゃべってきた Log analysis with…

CROSS2013でサービス改善についてのセッションしたよの話

有料イベントですが、CROSS 2013 というイベントが1月18日にありました。http://www.cross-party.com/そこでひとつセッションオーナーになってまして、パネルディスカッションぽいことをやったのですが、それはともかくとして夕方以降にはプレミアムモルツ飲…

東京Ruby会議10にいってきた&しゃべってきた

千葉Ruby会議10という噂でもちきりの東京Ruby会議10にいってきた。面白かった! 遠かったけど。東京Ruby会議10 #tkrk10 - Regional RubyKaigi 会期:2013/01/13(日)〜14(祝・月)スタッフのみなさん、特に2日目の雪はたいへんだったと思いますが、おつかれさ…

CROSS2013でサービス改善についてのセッションがあるから来るといいよの話

有料イベントですが、CROSS 2013 というイベントが1月18日にあります。http://www.cross-party.com/そこでひとつセッションオーナーになってまして、パネルディスカッションぽいことをやるのですが、それはともかくとして夕方以降にはプレミアムモルツ飲み放…

GrowthForecastのJSON APIおよびクライアントライブラリについて

雪にかこまれた温泉宿からこんちには。 クライアントライブラリを書いてからblogエントリにしようと思ったらこんな素敵エントリを書かれてしまった、くやしい……!GrowthForecastでAPI使って複合グラフ作ったり、グラフの色を変えたりしてみた - mikedaの日記…