TWSNMP FC:TWPCAPで取得したネットワークの情報を分析する機能追加を開始

今朝は、かみさんが猫をお世話している音で目が覚めました。５時過ぎです。昨日は３時半に起きたのでかなりゆっくり寝たように思いました。
さて、昨日まででTWPCAPの開発は一段落しました。今日からTWSNMP　FCにTWPCAPで取得したネットワークの情報を分析する機能をつける開発を始めました。作りたい機能は沢山あります。

＊TWPCAPのログから情報を取得する抽出パターンの追加
＊TWPCAPのログをデバイス、フロー、サーバーレポートに反映させる
＊TWPCAPのログからEthernetタイプ別のパケット数を集計する
＊TWPCAPのログからDNSの問い合わせを集計する
＊TWCAPのログからTLSの通信フローを分析する

などです。
まず、抽出パターン（Grok)の追加からはじめようと思いましたが、組み込みのデフォルトパターンを増やしても、反映させる手段がないので、抽出パターン（Grok)の設定画面に、＜デフォルト＞ボタンを追加して、

組み込みのパターンを後から反映できるようにしました。
この開発は、

デフォルトのGrokを追加読み込み可能にした · twsnmp/twsnmpfc@8c7d79a

です。TWPCAPに関連した抽出を２つ追加して、この機能を試してみました。
TWPCAPの統計情報のログ

2021/07/18 06:49:40.040 info:local5 twpcap type=Stats,total=265577589,count=621830,ps=10363.83

を

	{
		ID:    "TWPCAP_STATS",
		Name:  "TWPCAPの統計情報",
		Descr: "TWPCAPで処理したパケット数などの統計情報を抽出",
		Pat:   `type=Stats,total=%{BASE10NUM:total},count=%{BASE10NUM:count},ps=%{BASE10NUM:ps}`,
	},

のような設定で抽出できるようにしてみました。

３Dのグラフで表示すると

IPアドレスとMACとアドレスの関係のログ

2021/07/18 07:14:40.040 info:local5 twpcap type=IPToMAC,ip=240d:2:6306:6700:d048:a63a:bbfc:2dab,mac=48:b0:2d:2e:29:19,count=2941,change=0,dhcp=0,ft=2021-07-17T07:34:42+09:00,lt=2021-07-18T07:14:25+09:00

を

	{
		ID:    "TWPCAP_IPTOMAC",
		Name:  "TWPCAPのIPとMACアドレス",
		Descr: "TWPCAPで収集したIPとMACアドレスの情報を抽出",
		Pat:   `type=IPToMAC,ip=%{IP:ip},mac=%{MAC:mac},count=%{BASE10NUM:count},change=%{BASE10NUM:chnage},dhcp=%{BASE10NUM:dhcp}`,
	},

のような設定で抽出して、

のようにリストアップできました。
しかし、このGrokで抽出する方法では集計できないログなどいくつか課題が見つかりました。

明日に続く