Grafana の便利な使いかた • IoT ソフトウェア設計のファームロジックス [相模原]

Found some pros in Grafana though I impressed cons on it a few days ago.

先日せんじつ Elasticsearch Kibana と比較ひかくして Grafana の欠点けってんをいくつか挙あげましたが、Grafana にもいくつか活用かつよう方法ほうほうがあることが分わかってきましたので、公平こうへい性せいの点てんからいくつか報告ほうこくさせて頂いただきたいと思おもいます。

Grafana や Kibana など GUI 系けいの「データベース web 可視かし化かツール」には、プログラマ的てき人種じんしゅには「痒かゆいところに手てが届とどかない」欠点けってんがある一方いっぽうで、プログラマでない方々かたがたが「20% の労力ろうりょくで 80% の効果こうかを得えられる」メリットがあります。また、Kibana の全ぜん機能きのうを利用りようしようとすると有償ゆうしょうサービスを利用りようせざるを得えませんが、Grafana は基本きほん的てきに無償むしょうで全ぜん機能きのうを使つかえそうですので、Grafana も活用かつようしていきたいところです。（特とくに、無償むしょう版ばんの Kibana にはセキュリティ機能きのうがないので、デモサイト等とうを公開こうかいするには有償ゆうしょうサービスを使用しようせざるを得えません。もちろん、一番いちばん安価あんかな選択肢せんたくしを選えらぶと US$ 15/月つきくらいから利用りようできそうですので、小しょう企業きぎょうにとっても投資とうし額がくとして十分じゅうぶん安価あんかだとは思おもいますが。）

ちょっと脱線だっせん

実じつは Dash + Plotly を勉強べんきょうしようとして、こんなサイトを読よんでいました。（Dash の紹介しょうかいだけでなく、世よの中なかの動向どうこうを非常ひじょうによくサーベイしてらっしゃいますので、業界ぎょうかい関係かんけい者しゃの方ほうには御ご一読いちどくをお勧すすめします。）

Introducing Dash

特とくに印象いんしょう的てきなのは、

… But when it comes to data transformation and analytics, （これらの BI ツールは） it’s hard to beat the breadth and flexibility of programming languages and communities like Python…

というところで、GUI 的てきな BI（Business Intelligence という分野ぶんやがあるそうです）ツールと、Dash + Plotly のようなソフトウェアフレームワークは共存きょうぞんしていくことになるのかなあ、という印象いんしょうを持もちました。

閑話休題かんわきゅうだい?

さて、Dash + Plotly のチュートリアルを読よんでいて、以前いぜんからの疑問ぎもんが再ふたたび頭あたまをよぎりました。Kibana や Grafana を活用かつようしていくとして、時とき系列けいれつデータを蓄たくわえるのに（当面とうめん）どんなデータベースを活用かつようしていくべきなのだろうか、という点てんです。Kibana は Elasticsearch を前提ぜんていとしています。また、Python には Elasticsearch を利用りようするライブラリがありますので、例たとえば Pandas のデータフレーム作成さくせいに利用りようできそうです。

人間にんげん弱よわいもので、このような時ときにどうしても考かんがえてしまうのは、「世よの中なかでは何なにか主流しゅりゅうなのだろうか」ということです。つまり寄よらば大樹たいじゅの陰かげ的てきな考かんがえになってしまう訳わけです。さっそく Google でトレンドを調しらべてみました。

まずは、Grafana と関連付かんれんづけてトレンドを見みてみます。

Grafana のコミュニティでは、InfluxDB の人気にんきが高たかいようです。次つぎに、pandas と関連付かんれんづけて見みてみます。

pandas のデータフレームとしては、Elasticsearch のほうが優勢ゆうせいのように見みえます。せっかく Elasticsearch を勉強べんきょうしていることですし、しばらくは Elasticsearch で行おこなってみようと思おもいます。（というか、Kibana は Elasticsearch の専用せんようコンパニオンツールなので、Elasticsearch でしか利用りようできない。）

本当ほんとうの閑話休題かんわきゅうだい

前回ぜんかい、Grafana で MongoDB を利用りようしようとして（プラグインを探さがしたりして）苦労くろうしたのですが、Elasticsearch はデフォルトで Grafana に対応たいおうしているので簡単かんたんです。

まずは、データソースを追加ついかします。

私わたしのサイト（iotserv）では、件けんの PM 2.5 データを demo_sps30 というインデックスに格納かくのうしているので、Index name に demo_sps30 と入力にゅうりょくします。時間じかん軸じくフィールドは datetime なので、そのように変更へんこうします。Min time interval は「1分ふん」としました。（データベースもそうなっています。）

次つぎに、ダッシュボードの設計せっけいです。MongoDB の時ときは苦労くろうしたのですが、Elasticsearch では簡単かんたんです。

ここで驚おどろいたのは、グラフの表示ひょうじが極きわめて速はやいということです。これは正確せいかくに言いうと、グラフの表示ひょうじが速はやいというよりもデータベースへの query が効率こうりつ的てきで速はやいということでしょう。

データベースへの query をインスペクタで覗のぞいてみました。まだ Elasticsearch の REST API に不慣ふなれなので読よむのがしんどいのですが、エイっ。

{
  "search_type": "query_then_fetch",
  "ignore_unavailable": true,
  "index": "demo_sps30",
  "max_concurrent_shard_requests": 256
}
{
  "size": 0,
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "datetime": {
              "gte": "1552271738843",
              "lte": "1552293338844",
              "format": "epoch_millis"
            }
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "location:veranda"
          }
        }
      ]
    }
  },
  "aggs": {
    "2": {
      "date_histogram": {
        "interval": "1m",
        "field": "datetime",
        "min_doc_count": 0,
        "extended_bounds": {
          "min": "1552271738843",
          "max": "1552293338844"
        },
        "format": "epoch_millis"
      },
      "aggs": {
        "1": {
          "avg": {
            "field": "mass_pm2_5"
          }
        }
      }
    }
  }
}

やや冗長じょうちょうな query に見みえるのですが、ポイントは

      "date_histogram": {
        "interval": "1m",
        "field": "datetime",
        "min_doc_count": 0,
        "extended_bounds": {
          "min": "1552271738843",
          "max": "1552293338844"
        },

というところと、

      "aggs": {
        "1": {
          "avg": {
            "field": "mass_pm2_5"
          }
        }
      }

ところのようです。前者ぜんしゃでは Elasticsearch の aggregation 機能きのうを使つかって、時間じかん軸じく上じょうにヒストグラムを作成さくせいして複数ふくすうの bucket（Elasticsearch の用語ようごです。一般いっぱんにヒストグラムの bin と呼よばれる概念がいねんと同おなじかと思おもいます）に分割ぶんかつし、後者こうしゃではその結果けっかである各かく bucket の中なかで、 avg（平均へいきん値ちを計算けいさんする）という aggregation を実行じっこうし、それらをパイプラインで連結れんけつしています。

上記じょうき query 要求ようきゅうをしてみると、（まだドキュメント数すう（つまりレコード数すう）が 11万まんほどと小ちいさなデータベースではありますが）Intel Celeron J3455（1.5GHz, ESXi 仮想かそうメモリ 2GB）のサーバー（localhost）への問とい合あわせで 25ミリ秒びょう程度ていどで結果けっかが返かえってきます。十分じゅうぶんに高速こうそくなのではないか、と思おもいます。

今日きょうのまとめ

というわけで、まずはお客様きゃくさまにデモをお見みせして、反応はんのうを探さぐってみたいと思おもっています。

ダッシュボード全景ぜんけい

リアルタイムグラフ（iframe）

以下いかのリアルタイムグラフでは、マウスでドラッグすることで時間じかん軸じくを拡大かくだいできます。ダブルクリックで縮小しゅくしょうもできます。

お客様きゃくさまの反応はんのうが気きになります…

もし「いいね 😎 」という反応はんのうが返かえってきたら嬉うれしいですね。それでもダメなら Dash + Plotly でしょうか。「いやあ、うちは Excel で十分じゅうぶんですよ」とか言いわれると悲かなしいところですが、最初さいしょに引用いんようした Introducing Dash でも、

… I like this example a lot because Excel still reigns supreme, even in technical computing and quantitative finance. I don’t think that Excel’s dominance is just a matter of technical ability. After all, there are legions of spreadsheet programmers who have learned the nuances of Excel, VBA, and even SQL…

と書かかれていましたし、しようがないのかな、と複雑ふくざつな心境しんきょうではあります。

今日きょうはここまで。

Grafana の便利べんりな使つかいかた