マガジンのカバー画像

TWLogAIANで始めるログ分析

10
毎日ログ分析する人のための便利なツールを作りました。AIアシストにより貴方を助けてくれます。組み込んだAIはプログラマー探偵の助手を長い間務めた猫の知恵が生かされています。このマ… もっと読む
運営しているクリエイター

記事一覧

固定された記事

はじめてのTWLogAIAN

便利なAIアシスト付きログ分析ツールTWLogAIANをインストールして使い始めるまでの説明です。TWLogAIANはソフトウェアの開発やサポートを行っている人が問題の調査のためにログ分析をすることに特化したツールです。 「ログを簡単に集めて、検索が楽になるインデックスを作成し、検索結果をリッチな表現で分析でき、終わったら簡単に片付ける」という考えで作っています。TWLogAIANの構造は のような感じです。全文検索エンジンにログを読み込んで検索しAIのアシストや可視化によ

スキ
4

ログ分析ツールTWLoGAIANを作っている理由

今朝はバナーの写真のような雪のある所にいます。自宅の近くでは桜が咲きそうなのに北のほうでは、こんな感じです。開発用のMac miniを離れているので、ここでTWLogAIANを開発している理由を整理しようと思います。 このツールの開発は2022年の元日からはじめました。 最初は という考えではじめました。Splunkとの連携ができていませんが他は実現できました。 このツールを開発している一番の目的は私自身が実務で使うことです。 開発や保守しているソフトの問題を調査するための

スキ
3

TWLogAIANが読み込めるログファイル

便利なログ分析ツールTWLogAIANはいろいろな場所にあるログを読み込むことができます。圧縮ファイルの中にあるログファイルも直接読み込むことができます。Windowsのイベントログにも対応しています。 赤枠の部分の説明です。 ログの読み込み元を指定するためには、ログ分析の設定画面の「ログを読み込む場所」のリストにある<+>ボタンをクリックします。 ログ読み込み元(ソース)の編集画面が表示されます。 まずは、タイプを選択します。タイプには、 のようなものがあります。W

スキ
7

TWLogAIANのインデックス作成のための設定

TWLogAIANはログファイルを読み込んで全文検索エンジンのインデックスを作成をします。インデックス作成するための設定について説明します。 の図の赤枠の部分です。 インデックス作成の流れログを読み込んだら行単位で意味のなる情報を抽出してインデックスに登録します。例えば、 114.119.136.254 - - [03/Apr/2022:00:39:21 +0900] "GET /wiki/index.php?title=Must_Know_Mlm_Concepts_F

スキ
4

TWLogAIANでログを検索する

ログを読み込んで全文検索エンジンのインデックスを作成できたらログを検索することができます。この記事は検索についての説明です。 赤枠の部分です。 ログ検索の基本インデックスの作成が終わった直後は、 のような画面になります。インデックスに読み込んだログの件数や処理時間が右上に表示されます。ログ検索の基本は上のほうにある検索文の欄に の構文で検索文を入力して<検索>ボタンをクリックします。空欄で検索すると全件検索する*を入力したのと同じ動作にしています。 検索条件を指定す

スキ
4

TWLogAIANのレポート機能

ログ分析結果をグラフやリストで表示するレポート機能の説明です。 TWLogAIANでログを検索すると画面の下のほうに、レポートメニューが表示されます。 クリックすると、 のような項目が表示されます。クリックすると対応するレポート画面を表示します。 メモログ検索の画面でメモに追加したログに関するメモを表示するレポートです。 タイムオンリー画面、異常スコア画面でログを選択して<メモ>ボタンで追加できます。 「レポート」メニューの「メモ」をクリックすると のような画面を表

スキ
3

TWLogAIANの玄人向けログ種類拡張機能

ログ分析ツールTWLogAIANを分析するログに合わせて拡張するための機能についての説明です。自分好みのツールにすることができます。 ログの種類のカスタマイズ組み込まれているログの種類以外で情報を抽出したい場合には、カスタムタイプを選択します。 抽出パターンをGrokの構文で記述します。Grokのパターンは がわかりやすいと思いました。このパターンを理解できれば多くのログ分析ツールで応用できるのでログ分析をするエンジニアのスキルアップにつながると思います。でも、覚える基

スキ
4

TWLogAIAN v1.2.0リリース

便利なログ分析ツールTWLogAIAN v1.2.0をリリースしました。 ログを選択してメモに追加できるようになりました。 調査結果にエビデンスをつけてメールなどでレポートする時に役に立つと思います。 その他、細々したバグ修正と改善を行いました。

スキ
2

ログ分析ツールTWLogAIAN v1.1.0 リリース

ログ分析ツールTWLogAIAN v1.1.0をリリースしました。 追加した機能は TWSNMP FCからsyslogを検索して読み込む Gravwellからログを検索して読み込む Windowsのイベントログをevtx形式ファイルから読み込む Windowsのイベントログをコマンド実行で読み込む Windowsのイベントログ対応の検索画面 ログの件数や数値データをヒートマップでレポートする ログの数値を回帰分析する ログの数値を単位時間で集計して平均、最大

スキ
6

AIアシストログ分析ツールTWLogAIAN v1.0.0 リリース

AIアシストログ分析ツールTWLogAIANの最初のお試し版をリリースしました。 Windows版とMac OS版です。それぞれインストラー形式です。 ダウンロードしてインストールできると思います。 詳しいマニュアルは後日書きますが、簡単な使い方を書いておきます。 Webview2 Runtimeのインストール Windowsの場合初回の「スタート」メニューから起動で のようにWebview2 Runtimeのインストールが実行される場合があります。インストールして

スキ
4