MackerelによるデータビジュアライゼーションとGraphite

GREE TECH TALK #10

Mar 24th, 2016

Profile

• id: Songmu (ソンムー)
• Masayuki Matsuki
• おそらくはそれさえも平凡な日々 http://www.songmu.jp/riji/
• https://metacpan.org/author/SONGMU
• 趣味はCPANizeでした
• はてな東京オフィス チーフエンジニア
• Mackerel ディレクター

とにかくサーバー状況を可視化・アラート設定

• Go製のmackerel-agent
• ホストの色々なメトリックをよしなに収集

Mackerelによる可視化

テーマ機能

• 色覚サポートテーマも

線グラフ

積み上げグラフ

Alert

プラグインはSensu互換出力形式

% mackerel-plugin-uptime
uptime.seconds  1573858.000000  1458815736

API完備

http://help-ja.mackerel.io/entry/spec/api/v0

curl https://mackerel.io/api/v0/services/test/tsdb -H 'X-Api-Key: xxxxxxxx' -H 'Content-Type: application/json' -X POST -d '[{"name": "Sample.foo", "time": '$(date +%s)', "value": 30}, {"name": "Sample.bar", "time": '$(date +%s)', "value": 100}]'

コマンドラインツール

mkr throw

% cat <<EOF | mkr throw --host <hostId>
<name>  <value> <time>
<name>  <value> <time>
EOF

% cat <<EOF | mkr throw --service My-Service
<name>  <value> <time>
<name>  <value> <time>
EOF

最近のアップデート

• 式機能
  • http://help-ja.mackerel.io/entry/advanced/advanced-graph

mamcachedのhitrate

alias(
    divide(
      host('HostIdXXXXX', 'custom.memcached.hitmiss.get_hits'),
      host('HostIdXXXXX', 'custom.memcached.cmd.cmd_get')
  ),
  'hitrate'
)

一週間前の値との比較

group(
  alias(
    avg(
      timeShift(
        roleSlots('some:app','loadavg5'),
        '1w'
      )
    ),
    'avg-lastweek'
  ),
  alias(
    avg(
      roleSlots('some:app','loadavg5')
    ),
    'avg'
  )
)

graph builder

https://gist.github.com/stanaka/eae027169de6a35dd76a

Graphite

• Python製の時系列データベース
  • Mackerelを支える時系列データベース技術

Graphiteの構成

• Carbon (twisted daemon)
  • シンプルなtcpテキストプロトコル
  • % echo "local.random.diceroll 4 $(date +%s)" | nc localhost 2003
• whisper (tsdb file)
• Webapp (Django)
  • JSON
  • ブラウザでグラフ表示(あまり使われない)

実はLogoがあった

• https://github.com/graphite-project/graphite-web/pull/1426

I acknowledge that most people are probably consuming Graphite with a nice frontend like Grafana so they'll probably never notice this change, but it bothers me so I'm going to fix it anyways.

公式サイト

http://graphite.readthedocs.org/en/latest/

線形回帰

→ 将来予測機能の足がかりに

https://github.com/graphite-project/graphite-web/pull/1447

将来予測機能作成中

連続リリース継続中

We are Hiring

• はてなではエンジニアを募集しています
• 東京でも絶賛採用中
• もちろん京都にもおいでやす