記事一覧
データからのノイズ除去
はじめにすごく作業密度が濃くて疲れているので、note 用に新しく文書を書く元気がありません…というわけで、よそで見た感じの文章になるかもしれませんが、生暖かく見守っていただけますと幸いです。
というわけで本文です先日、Machine Learning Data Checker をリリースしましたが、実際の性能についての紹介が十分に出来ていませんでした。
今回は、実例を踏まえてこのソフトウェアの
機械学習用のデータ品質チェックツールをリリースしました
はじめに皆様お忘れかと思いますが、私は一応データサイエンティストの端くれです。というわけで、色々と技術についても考えていて、今日はそれに関連したアプリケーションのリリース紹介となります。
ちなみに、今朝方、Microsoft の審査を通過しました。
どんなアプリ？まぁ、定型的な文書で書きますね。
ソフトウェア名
Machine Learning Data Checker
実装機能
Da
間違いを指摘するときの間違った方法
はじめに今日、とある場所でのこと。
あることをしようとしているんだけど行く場所が違っているという人に対して向こうですよと伝えている人を見たんですよ。で、言われた人はきょとんとしている。つまり、伝わっていない。
というわけで、今日はこれについて書きたいと思います。
なんで伝わらないのか？まず、間違えている人に何かを伝えないといけないというケースで、何を伝えるべきか？を考えないといけません。
上に
ベクトルデータのクラスタリングツールをリリースしました
作成したAI関連ツールが無事に Microsoft の審査を通過しました。
この場で簡単に説明させて頂きたく思います。
なお、今回は珍しく真面目な文体で書いた記事となります。
公開ソフト名Machine Learning Clustering Tool
概要LLM 等が利用する高次元のベクトルデータを既存ツールより短時間でクラスタリングを行うツール。
対応言語英語・日本語
対応環境Wind
EBt3 Link Memo Tool 最新版公開
EBt3 Link Memo Tool の最新版を公開しました。
今回は大きな修正を行いましたので、しっかりと情報を展開させていただきます。
EBt の特徴テキストメモを効率的に管理することを目的としたツールです。データ管理のために、ツリーではなくリンク構造を採用しているのが特徴です。
また、テキストに付帯する情報として、以下のもが登録可能です。
タグ情報
URL (Webブラウザ機能もを内
独りよがりになってはいないか？
今日はふと思ったことを書きたいと思います実は、先日とある舞台を見に行ってきたんですよ。それ自体は大した問題ではないのですが、問題はチケット代。16,000円だったんですよ。
もちろん、舞台はとても素晴らしいものでした。確かに値段にも頷けます。
でも、こんな値段の舞台をおいそれと見に行くことは出来ません。高いから。それが今日のテーマです。
お金がかかるから高くするまぁ、わかりやすい。良いものを作る
EBt の機能について考える
今日は EBt ネタですまぁ、定期的に自分の思っている事を書いていかないと忘れちゃったりとか色々問題があるんで、note つかってその辺も書いていきます。
今までの EBt (無印、EBt V2) からの大きな変化点今までは、データ共有はおまけ機能でした。ですが、EBt3 からは、データ共有にかなりフォーカスしています。だからデータ同期機能もかなり改善しました。
あとは、今までのファルベースのデ
クラスタリングだって進化する
今日はデータサイエンティストとしての話題です私はデータサイエンティストです。なので、もちろんそっちのことも日々考えているんですよ。あんまりそうとはみえないんですが。
というわけで、今日はちょっと毛色の変わったクラスタリングの話題です。
クラスタリングはとても重要な技術ですそれはそうなのですが、ちょっと使いにくい状況だったりします。
使いにくい理由はというと、k-means 以降、なんかこれと言っ
EBt の暗く深いバグのトンネルから抜け出しました！
ご無沙汰しております実は、体調を崩しておりました。それと前後して結構きついバグも見つけてしまいまして。んで、その辺直さないとリリースできないよな…って思っているうちに時間がどんどん過ぎてしまいました。
でも、何とか動くようになりましたので、近々リリースできそうです。
そりゃ色々直しましたもん一応、DBもバグをすっきりさせたくて、かなり手を加えました。また、そして、DB内のデータの偏りを直す処理が
生成AIにコードを書かせることについて思う
便利ですよねうん、便利です。とっても便利。でも、全ての点においてパーフェクトなものでもない。このことをしっかり認識していないといけないのですよ。
というわけで、今日はその辺を書きたいと思います。
コード作成と文章作成は似ている同じではないですが、似ていると私は考えています。結局は、大量のテキストを作り上げていく作業。だから、大雑把に言えば似ている。
そして、文章にせよプログラムにせよ、違う人が作
だから機械学習モデルで外挿するときは注意しないといけない
たまにはデータサイエンティストみたいなことを書こうかと思う一応、私は密かにデータサイエンティストです。なので、たまにはそれっぽいことを書いたりします。
というわけで、今日は何かみんな忘れているなと思っていることを書きたいと思っています。
まぁ、ネタはありきたりな話。外挿の話なんですけどね。
機械学習モデルで知らないといけないそもそもの問題点まぁ、回帰問題でも分類問題でもなんだったら外れ値の検出問
EBt にバグがあったのです
ごめんなさいバグがありました。なんか、検索結果がいまいちおかしいなーと思って調べていたら、検索スコアの計算式がバグってました。
なんで気がつかないんだろう、自分…
というわけで、一応直りましたが次のバージョンの修正も入っており、現在コードが混沌としております。ブランチ切っておけば良かった…プロダクトごとにブランチ分けているんだけど、それだけじゃ足りないよね…反省中。
今入れている修正ですが基本的
クラウドサービスを極力使わないようにしたいのです
唐突ですが今日のネタは、クラウドサービスを使わないでデータを連係しようという EBt の狙いについてです。この辺は、凄まじく偏った私の主張になりますので、ほとんどの人にはくらだないことでしかない…はお断りしておきます。でも、私はこのこだわりを捨ててはいけないと強く思っているので、これについて今日は書いてみたいと思います。
クラウドサービスの是非そんなもの、使うことは当然だろう？って多くの人は考え
EBt の最新版がストアで公開されました
長かったなんちゅうか、色々長かったなーという感覚ですが、EBt の最新版が Microsoft Store (Win) と Play Store (Android) に公開されました。
もうダウンロードできる状況ですので、気分が向いたらお試し下さいませ。
それはともかく、今回のリリースは結構大変でした。その理由としては、そろそろ EBt のマルチユーザー対応に向けた下準備と、EBt Server
EBt の最新版を明日ストアに提出します
しばらく潜伏していましたちょっときつめのバグが出ていたので、EBt の開発に専念していました。そのため、note の更新も出来ていませんでした。非常に悔やまれることです。
とはいえ、なんとか動く形になってので、明日 MS と Google のストアにアプリを提出する予定です。
今回の修正点は？目立つところとしては、ChatGPT 対応です。今回、プロンプトも入力できるようにしたのでかなり自由度が