TWSNMP FC:Syslogの検索にパイプラインフィルターを組み込んだ

昨夜は、かみさんが遅くまで起きていたのに猫もお付き合いしていたそうです。私が４時半に自力で起きた時も猫は寝ていました。
昨日寝る時にSyslogの検索にパイプラインフィルターを組み込みたいというアイデアを思いつきました。さっそく今朝組み込んでみることにしました。
パイプラインフィルターは検索の条件をパイプのようにつなぎ合わせて絞るこむためのものです。Unixのgrepコマンドをパイプでつなげて検索するイメージです。本業でログの調査をする時に使っているGravwell

Gravwell - Home

やSplunkでも対応しています。
ログの調査は、

It's like looking for a needle in the haystack.
干し草の山から針を探す

ような作業です。検索条件の指定でズバリ針の条件に一致するものを指定するのは思ったより簡単ではありません。条件を変えならが試行錯誤することになります。この時一致する条件を指定する方法だけだと不便です。針に見える干し草を除外できたほうが格段に効率がよくなります。（私の個人的感想）
例えば、sessionという文字列が含まれるログを検索したいと思います。

の条件で検索して、

４６１件の結果がでます。ざっと眺めてimapとかclosedが含まれるログは不要だと思ったら、

のようにcloseとimapを除外する条件（フィルター）を追加します。その結果 

のように１２件まで絞り込みできます。除外するフィルターがないと４６１件のほとんどを見る必要がでてきます。沢山のリストから少ない必要なものを見つけるより、多く目につく不要なものを見つけて除外していくほうが簡単だと思います。
というわけで今日の開発は、

syslogの検索でパイプラインフィルターに対応 · twsnmp/twsnmpfc@3116bb2

です。うまく作れたので満足しています。
NetFlowの受信停止問題の面倒な調査は明日にしようと思います。明日に続く。