TWLogAIAN:異常ログを機械学習で検知する処理のbbolt対応途中
今朝は５時から開発開始です。昨日も異常ログを機械学習で検知する処理のテストプログラムを作りました。
Local Outlier Factorアルゴリズムによる方法を
で試しましたがあっけなく失敗でした。１００万件のログで計算したところメモリを使用量が６４GBを越えてプログラムが終了しました。ソースコードを読んでみましたが、メモリ使用量を減らせそうもないので深追いするのはやめることにしました。メモリを贅沢に使えない環境ではデータを分割して学習するなど一工夫必要な感じです。Tensorflow.jsを使ったAutoEncoderによる方法は分割して学習できるので、いずれ試してみようと思います。
まずは、昨日までに動作してIsolation ForestをTWLogAIAN組み込むための準備です。メモリ不足にならないように、読み込んだログ、特徴量、計算したスコアをディスクに保存する仕組みが必要です。いつも使っているbbolt
で作ってみることにしました。速度的に厳しいようならば最近見つけた
を試してみようと思います。
今、昨日まで作ったテストプログラムをbbolt対応に書き直していますが、今朝は時間切れです。
明日に続く
開発のための諸経費（機材、Appleの開発者、サーバー運用）に利用します。 ソフトウェアのマニュアルをnoteの記事で提供しています。 サポートによりnoteの運営にも貢献できるのでよろしくお願います。