ISUCONというイベントがある。要するに技術コンテストイベントだ。領域はWebアプリケーションにかかわる全てといってよい。ISUCON公式Blogisucon.netこれがなんなのか、そろそろ一発説明しておくか、という気分にちょっとなったので書く。実は何を隠すことも…
コンストラクタで初期化処理をやってしまっていないか気をつけよう。通常 GenericUDF を継承したUDFを実装する場合、初期化処理は initialize メソッド内で行う。コンストラクタで行ってはいけない。それでも古いほうのHiveのバージョンでは動くケースがあっ…
Hadoop MapReduceのジョブは各スレーブノード上で1タスクごとにJVMが1プロセス起動する形で実行される。 で、それらのアプリケーションのプロファイルをとりたい場合、各々のJVMごとにとることになる。これにはhprofを使う。Apache Hadoop 2.7.0 – MapReduce…
Fluentd meetup と Gophers and Docker-users beer social というのが連続であって、それぞれでほぼ同じ話をした。……んだけど参加者層が違うからまあいいかなと。あと後者は英語だった。いまだに英語でしゃべるのはだいぶ疲れる。【レポートあり】Fluentd Me…
Norikra meetup #2 : ATNDatnd.orgいつもながら会場を :DeNA さんに提供していただいて開催できました。本当にありがとうございます。tagomoris in English — Norikra meetup #2こっちにも書いたので細かいことは省きますが、今回も100名近く? の人に集まっ…
それだけで潜在読者が軽く10倍以上になるし、自分で英語書く練習にもなるし、1枚のスライドに大量の日本語を書いてしまって見にくくするのも避けられるし、いいことづくめだよ。まじで。
(追記 5/29 13:15) この更新の際、設定ファイルの shared_key についても変更されることをお勧めします。また変更をいくつか追加した v0.3.2 をリリースしましたので、このバージョンをお使いください。これは v0.2.x を使用していたときに shared_key_diges…
でっかい主語で入ったが、要するに2月にあちこち会社巡りをしたときに感じたことについてつらつら書こう、というのが目的。特定の会社について書いてもしょうがないので、あれこれ*1回ったうちから少なくとも2〜3ケースで該当するなあ、と思ったことについて…
継続的にあれこれアップデートを続けてきているOSSプロダクト Norikra ですが、このたびあれこれ機能を追加したバージョン v1.3.0 をリリースしました。tagomoris in English — Norikra v1.3.0, more flexible stream processingv1.0.0を出してからあまり個…
自分もシリコンバレーはマウンテンビューに本社があるベンチャーに就職して仕事でカリフォルニアの青空すばらしい! とか言っているからにはこの地域でいかに生き抜くべきかみたいな意識の高いことを書こうかと思ったが、青空を見ながらも既にビールが入って…
このとき普通にjavadocコマンドを使うと日本語テンプレートが使われてウザいので英語でやる。主にEsperのバージョンを上げたりするときに重宝するやつ。 javadoc生成 ずばり、以下のようなコマンドでやる。 LC_ALL=en_US javadoc -locale en_US -d doc -sour…
HiveやPrestoにWebブラウザからクエリを簡単に投げられるツールとして、shibというプロダクトを作っています。tagomoris/shib · GitHubこちら、特に機能は増えていないのですが、内部的にあれこれ整理をしまして、最近 v1 としてリリース*1しました。最近あ…
By using github_api.gem and very simple script like below: Script to clone all repositories of specified orga ... create OAUTH token from Setting of github.com paste it to oauth_token in the script edit organization name in the script cd m…
結局3月からそのまま働くことにしました。先日のエントリを書いて以来、本当に多くの方から声をかけていただきました。ありがとうございました。本来なら個別にご報告するべきところですが、ちょっと数が多くて厳しいので、このエントリをもって報告にかえさ…
Datastore Masakari Talksっていう名前でやったら面白いんじゃね？ という話で @shot6 さんと盛り上がって、そのまま会場を手配してもらったので二人して面白駆動な感じでやった。Datastore Masakari Talks (2015/02/26 19:00〜) Datastore Masakari Talks -…
大人の節度でシャンパン #morisnite pic.twitter.com/0uvS77IKLu— Masatoshi Kawazoe (@acidlemon) February 6, 2015このたびひと区切りついたところ自宅を埋め尽くさんばかりの勢いで届いたビールが一人で飲んでいる限り賞味期限という制約を突破できないこ…
著者の宮下さんから送っていただきました*1。ありがとうございます。o'reillyに電子版もありますね。送っていただいてからちょっと私事でばたばたしていたら大量にレビューが書かれているので、どう紹介したものかと思っているうちに更に日が経ってしまった。…
先にまとめ 現在の勤務先を退職することにしました。本日が最終出社日です。 次はまだ決まっていません。というか、どことも具体的な話はまだしていない、という段階です。面白そうな職場はどこにあるかなと探している段階ですので、魅力的なところに心当た…
「Webエンジニアが知っておきたいインフラの基本」を著者の馬場さんから献本いただきました*1。ありがとうございます。ITインフラの設計やら構築やら運用やらに関わりながら仕事をするようになってそれなりの年数になった。日頃おろそかにしている部分もあれ…
自社で使用するシステムを開発する、とする。このとき迂闊にやっていると、気付いたら過去に構築したシステムのメンテナンスにばかり時間をとられ、新しいコードがぜんぜん書けていない、という状況に陥ることがある。 こうなると地獄だ。新規の興味深いコー…
今年もいろいろあった。Blogエントリベースで簡単にまとめとこう。 コード書いた系 今年はあんまり新規に書いたコードというのがなかった気がするなあ。どうしてもメンテナンスが多くてそれに追われていた感があった。みなさんこんなのどうしてらっしゃるん…
tagomoris/fluentd-v1-checker · GitHub fluentd-v1-checker | RubyGems.org | your community gem hostFluentdの設定ファイルについてはv1 config という新書式がある。v0.14からはデフォルトでこちらの書式でパースが行われる予定。 ここに @repeatedly さ…
Hadoopの設定は name, value, final, description の4要素しか持たない上に /configuration/property/attr の階層しかないくせにXMLになっていて、これがもう、ひっじょーにdiffがとりにくい。普通のテキストdiffでは無理といっていい。 おかげで新しいディ…
毎回あれー？ってなってドキュメント読んだりググったりするんだけどうまく見付けられないので書いておく。Ansibleはデフォルトだとtaskの実行が全ホストで失敗しない限り続く。言いかえると、あるタスクがあるホストで失敗したらそのホストについては以降実…
出していたproposalが通ったので Rubyconf2014 に行ってきていた。旅費および会期中の宿泊費は現勤務先のLINE株式会社に出してもらいました。いつもいつもありがたいことです。サンディエゴの会場付近はとにかくリゾート地っぽい感じで、あちこちに背の高い…
Hadoopクラスタ間でデータを移動するdistcpについては実はHadoop2系で新しくなっており*1、いろいろ機能が増えている。 たとえば以下のようなコマンドが実行できる。 hadoop distcp -i -m 20 -pb -bandwidth 2 webhdfs://cluster.old.local/path/of/data/dir…
Hiveしか使ってないので以下のオプションを設定するだけで使える。楽。 SET hive.execution.engine=tez; なお HDP 2.1 with Hive 0.10, Tez 0.4 での話です。クラスタの概要は以下の通り。 master x3 slave x20 Xeon(R) CPU E5-2630L v2 (6core 12Threads) x…
だいぶ前のHiveの機能準拠で作ってたクラスタを大幅に作り直したので、ついでにETL処理をdynamic partition inserts一発でやればMapReduce 1ジョブで済んで超効率的に！ やった！ と思ったらいくつかハマったのでメモ。なおdynamic partition insertsについ…
連覇だ！ ヒャッホウ！！！ #isucon 2014で優勝しました - すぎゃーんメモ ISUCON4 で優勝してきました！！！ #isucon - blog.nomadscafe.jp 特にkazeburoさんのエントリに最終的な状況についての詳細が書いてありますので、ぜひそちらもどうぞ。sugyanは自…
https://atnd.org/events/57038 YAPC::Asia Tokyo 2014 ベストスピーカー2位ということで地方pmに3回行かせてもらえる権利のうち1回目を行使しました。ありがとうございます。 主催の @aloelight さん、会場を提供してくださったクリプトン・フューチャー・…
