TWSLA/TWLogAIANで始めるログ分析

本

毎日ログ分析する人のための便利なツールを作りました。AIアシストにより貴方を助けてくれます。組み込んだAIはプログラマー探偵の助手を長い間務めた猫の知恵が生かされています。このマ…

運営しているクリエイター: twsnmp

#ログ分析

はじめてのTWLogAIAN

便利なAIアシスト付きログ分析ツールTWLogAIANをインストールして使い始めるまでの説明です。TWLogAIANはソフトウェアの開発やサポートを行っている人、セキュリティーインシデントの対応を行う人、ホワイトハッカーになりたい人のためにログ分析をすることを楽しくするツールです。「ログを簡単に集めて、検索が楽になるインデックスを作成し、検索結果をリッチな表現で分析でき、終わったら簡単に片付ける」という考えで作っています。TWLogAIANの構造はのような感じです。全文

はじめてのTWSLA(すごいログ分析ツール）

はじめに言っておきたいことTWSLAは、英語でTWSNMP`s Simple Log Analyzerの略ですが、日本語ではTWSNMPの作者が作った、すごい(S)ログ(L)分析ツール（ア(A)ナライザー）の略です。２年前にを作りました。これを本業のログ分析に活用していますが、機能が多すぎるのとGUIの操作が煩雑になってしまうので、もう少し改善したいと思っていました。そこで、自分がログを分析する時に何が必要かを考え抜いて作ることにしました。思い立ったら、すぐ使え

ログ分析ツールの検索文の書き方

自分でも忘れるのでログ分析ツールのヘルプで表示するための記事です。入力する検索文の横のヘルプボタンから、この記事を表示できるようにします。 2023/1/14に検索文のモードを追加したので追記します。検索文のモード切り替え検索の詳細設定を開くと検索文モードの切り替えメニューがあります。ここで切り替えます。シンプルモードシンプルモードは、以下のルールだけです。キーワードをスペースで区切るとAND条件キーワードの最初に!を付けるとNOT条件キーワードの最後

ログ分析ツールTWLoGAIANを作っている理由

今朝はバナーの写真のような雪のある所にいます。自宅の近くでは桜が咲きそうなのに北のほうでは、こんな感じです。開発用のMac miniを離れているので、ここでTWLogAIANを開発している理由を整理しようと思います。このツールの開発は2022年の元日からはじめました。最初はという考えではじめました。Splunkとの連携ができていませんが他は実現できました。このツールを開発している一番の目的は私自身が実務で使うことです。開発や保守しているソフトの問題を調査するための

TWLogAIANが読み込めるログファイル

便利なログ分析ツールTWLogAIANはいろいろな場所にあるログを読み込むことができます。圧縮ファイルの中にあるログファイルも直接読み込むことができます。Windowsのイベントログにも対応しています。赤枠の部分の説明です。ログの読み込み元を指定するためには、ログ分析の設定画面の「ログを読み込む場所」のリストにある＜＋＞ボタンをクリックします。ログ読み込み元（ソース）の編集画面が表示されます。まずは、タイプを選択します。タイプには、のようなものがあります。W

TWLogAIANのインデックス作成のための設定

TWLogAIANはログファイルを読み込んで全文検索エンジンのインデックスを作成をします。インデックス作成するための設定について説明します。の図の赤枠の部分です。インデックス作成の流れログを読み込んだら行単位で意味のなる情報を抽出してインデックスに登録します。例えば、 114.119.136.254 - - [03/Apr/2022:00:39:21 +0900] "GET /wiki/index.php?title=Must_Know_Mlm_Concepts_F

TWLogAIANでログを検索する

ログを読み込んで全文検索エンジンのインデックスを作成できたらログを検索することができます。この記事は検索についての説明です。赤枠の部分です。ログ検索の基本インデックスの作成が終わった直後は、のような画面になります。インデックスに読み込んだログの件数や処理時間が右上に表示されます。ログ検索の基本は上のほうにある検索文の欄にの構文で検索文を入力して＜検索＞ボタンをクリックします。空欄で検索すると全件検索する*を入力したのと同じ動作にしています。検索条件を指定す

TWLogAIANのレポート機能

ログ分析結果をグラフやリストで表示するレポート機能の説明です。 TWLogAIANでログを検索すると画面の下のほうに、レポートメニューが表示されます。クリックすると、のような項目が表示されます。クリックすると対応するレポート画面を表示します。メモログ検索の画面でメモに追加したログに関するメモを表示するレポートです。タイムオンリー画面、異常スコア画面でログを選択して＜メモ＞ボタンで追加できます。「レポート」メニューの「メモ」をクリックするとのような画面を表

TWLogAIANの玄人向けログ種類拡張機能

ログ分析ツールTWLogAIANを分析するログに合わせて拡張するための機能についての説明です。自分好みのツールにすることができます。ログの種類のカスタマイズ組み込まれているログの種類以外で情報を抽出したい場合には、カスタムタイプを選択します。抽出パターンをGrokの構文で記述します。Grokのパターンはがわかりやすいと思いました。このパターンを理解できれば多くのログ分析ツールで応用できるのでログ分析をするエンジニアのスキルアップにつながると思います。でも、覚える基

TWLogAIAN v1.2.0リリース

便利なログ分析ツールTWLogAIAN v1.2.0をリリースしました。ログを選択してメモに追加できるようになりました。調査結果にエビデンスをつけてメールなどでレポートする時に役に立つと思います。その他、細々したバグ修正と改善を行いました。

ログ分析ツールTWLogAIAN v1.1.0 リリース

ログ分析ツールTWLogAIAN v1.1.0をリリースしました。追加した機能は TWSNMP FCからsyslogを検索して読み込む Gravwellからログを検索して読み込む Windowsのイベントログをevtx形式ファイルから読み込む Windowsのイベントログをコマンド実行で読み込む Windowsのイベントログ対応の検索画面ログの件数や数値データをヒートマップでレポートするログの数値を回帰分析するログの数値を単位時間で集計して平均、最大

AIアシストログ分析ツールTWLogAIAN v1.0.0 リリース

AIアシストログ分析ツールTWLogAIANの最初のお試し版をリリースしました。 Windows版とMac　OS版です。それぞれインストラー形式です。ダウンロードしてインストールできると思います。詳しいマニュアルは後日書きますが、簡単な使い方を書いておきます。 Webview2　Runtimeのインストール Windowsの場合初回の「スタート」メニューから起動でのようにWebview2 Runtimeのインストールが実行される場合があります。インストールして