マガジンのカバー画像

TWSLA/TWLogAIANで始めるログ分析

13
毎日ログ分析する人のための便利なツールを作りました。AIアシストにより貴方を助けてくれます。組み込んだAIはプログラマー探偵の助手を長い間務めた猫の知恵が生かされています。このマ…
運営しているクリエイター

2022年4月の記事一覧

はじめてのTWLogAIAN

便利なAIアシスト付きログ分析ツールTWLogAIANをインストールして使い始めるまでの説明です。TWLogAIANはソフトウェアの開発やサポートを行っている人、セキュリティーインシデントの対応を行う人、ホワイトハッカーになりたい人のためにログ分析をすることを楽しくするツールです。 「ログを簡単に集めて、検索が楽になるインデックスを作成し、検索結果をリッチな表現で分析でき、終わったら簡単に片付ける」という考えで作っています。TWLogAIANの構造は のような感じです。全文

TWLogAIANが読み込めるログファイル

便利なログ分析ツールTWLogAIANはいろいろな場所にあるログを読み込むことができます。圧縮ファイルの中にあるログファイルも直接読み込むことができます。Windowsのイベントログにも対応しています。 赤枠の部分の説明です。 ログの読み込み元を指定するためには、ログ分析の設定画面の「ログを読み込む場所」のリストにある<+>ボタンをクリックします。 ログ読み込み元(ソース)の編集画面が表示されます。 まずは、タイプを選択します。タイプには、 のようなものがあります。W

TWLogAIANのインデックス作成のための設定

TWLogAIANはログファイルを読み込んで全文検索エンジンのインデックスを作成をします。インデックス作成するための設定について説明します。 の図の赤枠の部分です。 インデックス作成の流れログを読み込んだら行単位で意味のなる情報を抽出してインデックスに登録します。例えば、 114.119.136.254 - - [03/Apr/2022:00:39:21 +0900] "GET /wiki/index.php?title=Must_Know_Mlm_Concepts_F

TWLogAIANでログを検索する

ログを読み込んで全文検索エンジンのインデックスを作成できたらログを検索することができます。この記事は検索についての説明です。 赤枠の部分です。 ログ検索の基本インデックスの作成が終わった直後は、 のような画面になります。インデックスに読み込んだログの件数や処理時間が右上に表示されます。ログ検索の基本は上のほうにある検索文の欄に の構文で検索文を入力して<検索>ボタンをクリックします。空欄で検索すると全件検索する*を入力したのと同じ動作にしています。 検索条件を指定す

TWLogAIANのレポート機能

ログ分析結果をグラフやリストで表示するレポート機能の説明です。 TWLogAIANでログを検索すると画面の下のほうに、レポートメニューが表示されます。 クリックすると、 のような項目が表示されます。クリックすると対応するレポート画面を表示します。 メモログ検索の画面でメモに追加したログに関するメモを表示するレポートです。 タイムオンリー画面、異常スコア画面でログを選択して<メモ>ボタンで追加できます。 「レポート」メニューの「メモ」をクリックすると のような画面を表

TWLogAIANの玄人向けログ種類拡張機能

ログ分析ツールTWLogAIANを分析するログに合わせて拡張するための機能についての説明です。自分好みのツールにすることができます。 ログの種類のカスタマイズ組み込まれているログの種類以外で情報を抽出したい場合には、カスタムタイプを選択します。 抽出パターンをGrokの構文で記述します。Grokのパターンは がわかりやすいと思いました。このパターンを理解できれば多くのログ分析ツールで応用できるのでログ分析をするエンジニアのスキルアップにつながると思います。でも、覚える基