たごもりすメモ

コードとかその他の話とか。

fluent-plugin-mysql released!

FluentdからMySQLにデータを挿入するためのプラグイン fluent-plugin-mysql を公開しました。

tagomoris/fluent-plugin-mysql · GitHub
fluent-plugin-mysql | RubyGems.org | your community gem host

機能としては以下のどちらかを指定してDBにデータを突っ込む、というようなものになっております。

  • 指定したフィールドの値を指定したカラムに挿入(INSERT)
  • メッセージ全体をJSONにして指定したカラムに挿入

JSONで突っ込む場合には奥一穂さんの mysql_json を使うとたいへん便利になると思います。
基本的に現在は性能面のことは(ほとんど)考えておらず、そのまま大量のデータをこれを使ってmysqlに入れようとすると間違いなく酷いことになると思います。どうしても頑張りたい場合には blackhole engine などを使ったハックに血道を上げると良いのではないでしょうか。さすがにオススメできませんが。

また fluent-plugin-mongo がサポートする tag_mapped などの機能も現時点では持っていません。メッセージのタグ/時刻を保存対象にする方法も現時点ではありません。このあたりはそのうちどうにかしたいなーというか、pullreqをお待ちしていますというか、そういう状態です。

MySQLへの抑えられない思いを存分に表現したいという方は使ってみるといいんではないかと思います。