mackerel-plugin-accesslog

Mackerel User Group meeting #3

Aug 23th, 2017

Profile

• id: Songmu (ソンムー)
• Masayuki Matsuki
• おそらくはそれさえも平凡な日々 http://www.songmu.jp/riji/
• https://metacpan.org/author/SONGMU
• はてな東京オフィス チーフエンジニア
• Mackerel プロダクトオーナー
• 50+ CPAN Modules
• 3 Times ISUCON Winner
• 「みんなのGo言語」共著者

【宣伝】本が出ます

• 各種プラグインの作り方も詳しく載っています

mackerel-plugin-accesslog

• アクセスログを定期的に舐めて集計してくれる

様子

• Apacheログ対応
• LTSVログ対応
  • LTSVログが本命
  • Latency集計とかやってくれる

動機

• ステータスコード集計は結構大変
• fluentdとか
• Nginx Plusはベンリ

作ったもの

postailer

• https://github.com/Songmu/postailer
• ログを定期的に舐めるために、前読み終わった位置を覚えておく
• inode対応

axslogparser

• https://github.com/Songmu/axslogparser
• アクセスログパーサー
  • Apache/LTSV
• Apacheログを結構本気でパースしている
  • Goであんまいいやつが無かった
  • 恐らくそれなりに正確なGoのApacheログパーザーを書いた
  • 参考 Apacheログパーサ書いた by tagomoris

go-ltsv

type Log struct {
    VirtualHost  string `ltsv:"vhost"`
    Host         string
    User         string
    Time         time.Time `ltsv:"-"`
    TimeStr      string    `ltsv:"time"`
    Request      string    `ltsv:"req"`
    ...

• https://github.com/Songmu/go-ltsv
• reflect芸なのでもはや読めない

おまけ (blogsync)

• blogsync
  • https://github.com/motemen/blogsync
• はてなブログ用のGoで書かれたCLIクライアント
• Mackerelのブログ・ヘルプは、はてなブログでホストされています
  • blogsyncでMarkdownをバージョン管理して運用
• 最近ドキュメントとかバイナリとか整えたのでご利用下さい！
  • 悪用厳禁