おかだ@野良DS

おかだ@野良DS

最近の記事

ベクトルデータのクラスタリングツールをリリースしました

作成したAI関連ツールが無事に Microsoft の審査を通過しました。 この場で簡単に説明させて頂きたく思います。 なお、今回は珍しく真面目な文体で書いた記事となります。 公開ソフト名Machine Learning Clustering Tool 概要LLM 等が利用する高次元のベクトルデータを既存ツールより短時間でクラスタリングを行うツール。 対応言語英語・日本語 対応環境Windows10, 11 (Windows11Pro を推奨) 機能高次のベクトルデ

    • EBt3 Link Memo Tool 最新版公開

      EBt3 Link Memo Tool の最新版を公開しました。 今回は大きな修正を行いましたので、しっかりと情報を展開させていただきます。 EBt の特徴テキストメモを効率的に管理することを目的としたツールです。データ管理のために、ツリーではなくリンク構造を採用しているのが特徴です。 また、テキストに付帯する情報として、以下のもが登録可能です。 タグ情報 URL (Webブラウザ機能もを内蔵しています。) 画像ファイル(Jpeg, Png ファイルは画像データとして

      • 独りよがりになってはいないか?

        今日はふと思ったことを書きたいと思います実は、先日とある舞台を見に行ってきたんですよ。それ自体は大した問題ではないのですが、問題はチケット代。16,000円だったんですよ。 もちろん、舞台はとても素晴らしいものでした。確かに値段にも頷けます。 でも、こんな値段の舞台をおいそれと見に行くことは出来ません。高いから。それが今日のテーマです。 お金がかかるから高くするまぁ、わかりやすい。良いものを作るのはお金がかかる。だから、その分をチケット代に転嫁するのは正しい。でも、そこには

        • EBt の機能について考える

          今日は EBt ネタですまぁ、定期的に自分の思っている事を書いていかないと忘れちゃったりとか色々問題があるんで、note つかってその辺も書いていきます。 今までの EBt (無印、EBt V2) からの大きな変化点今までは、データ共有はおまけ機能でした。ですが、EBt3 からは、データ共有にかなりフォーカスしています。だからデータ同期機能もかなり改善しました。 あとは、今までのファルベースのデータ管理から、自前のDBを使うようにしました。自前のDB作った理由は、コンパクト

        ベクトルデータのクラスタリングツールをリリースしました

          クラスタリングだって進化する

          今日はデータサイエンティストとしての話題です私はデータサイエンティストです。なので、もちろんそっちのことも日々考えているんですよ。あんまりそうとはみえないんですが。 というわけで、今日はちょっと毛色の変わったクラスタリングの話題です。 クラスタリングはとても重要な技術ですそれはそうなのですが、ちょっと使いにくい状況だったりします。 使いにくい理由はというと、k-means 以降、なんかこれと言ってすごいアルゴリズムが出てきていないということかなーって思っています。 私が知ら

          クラスタリングだって進化する

          EBt の暗く深いバグのトンネルから抜け出しました!

          ご無沙汰しております実は、体調を崩しておりました。それと前後して結構きついバグも見つけてしまいまして。んで、その辺直さないとリリースできないよな…って思っているうちに時間がどんどん過ぎてしまいました。 でも、何とか動くようになりましたので、近々リリースできそうです。 そりゃ色々直しましたもん一応、DBもバグをすっきりさせたくて、かなり手を加えました。また、そして、DB内のデータの偏りを直す処理が結構重かったのですが、そこも思い切って速くしました。 あとは、EBt のサーバー

          EBt の暗く深いバグのトンネルから抜け出しました!

          生成AIにコードを書かせることについて思う

          便利ですよねうん、便利です。とっても便利。でも、全ての点においてパーフェクトなものでもない。このことをしっかり認識していないといけないのですよ。 というわけで、今日はその辺を書きたいと思います。 コード作成と文章作成は似ている同じではないですが、似ていると私は考えています。結局は、大量のテキストを作り上げていく作業。だから、大雑把に言えば似ている。 そして、文章にせよプログラムにせよ、違う人が作ったら基本的に同じものはできない。それぐらい自由度が高い。これも似ている。プログ

          生成AIにコードを書かせることについて思う

          縮小する世界の中で

          しばらくおやすみしてましたちょっと体調が良くなくて、しばらく note の記事投稿だけでなく、色々な活動を控えていました。今日ぐらいからぼちぼち再開していくつもりです。 縮小する世界の中で今日のテーマは縮小する世界の中でというものです。昔書いたような気がするのですが、土日は自由なことを書くという方針なので、今日はちょっと毛色の違う話を書きます。 私は別に経済学者でも何でもないのですが、私が思っている世界経済の縮小に関連することをちょろっと書いてみたいと思います。 なお、正し

          縮小する世界の中で

          だから機械学習モデルで外挿するときは注意しないといけない

          たまにはデータサイエンティストみたいなことを書こうかと思う一応、私は密かにデータサイエンティストです。なので、たまにはそれっぽいことを書いたりします。 というわけで、今日は何かみんな忘れているなと思っていることを書きたいと思っています。 まぁ、ネタはありきたりな話。外挿の話なんですけどね。 機械学習モデルで知らないといけないそもそもの問題点まぁ、回帰問題でも分類問題でもなんだったら外れ値の検出問題でも全て一緒なのですが、機械学習は外挿領域について回答を出すことがとても苦手で

          だから機械学習モデルで外挿するときは注意しないといけない

          EBt にバグがあったのです

          ごめんなさいバグがありました。なんか、検索結果がいまいちおかしいなーと思って調べていたら、検索スコアの計算式がバグってました。 なんで気がつかないんだろう、自分… というわけで、一応直りましたが次のバージョンの修正も入っており、現在コードが混沌としております。ブランチ切っておけば良かった…プロダクトごとにブランチ分けているんだけど、それだけじゃ足りないよね…反省中。 今入れている修正ですが基本的には、EBt Server 用の修正がメインだったりします。今私の手元で動いてい

          EBt にバグがあったのです

          クラウドサービスを極力使わないようにしたいのです

          唐突ですが今日のネタは、クラウドサービスを使わないでデータを連係しようという EBt の狙いについてです。この辺は、凄まじく偏った私の主張になりますので、ほとんどの人にはくらだないことでしかない…はお断りしておきます。でも、私はこのこだわりを捨ててはいけないと強く思っているので、これについて今日は書いてみたいと思います。 クラウドサービスの是非そんなもの、使うことは当然だろう?って多くの人は考えていると思います。それはその通り。今あるほとんどのサービスはクラウドサービスが前

          クラウドサービスを極力使わないようにしたいのです

          EBt の最新版がストアで公開されました

          長かったなんちゅうか、色々長かったなーという感覚ですが、EBt の最新版が Microsoft Store (Win) と Play Store (Android) に公開されました。 もうダウンロードできる状況ですので、気分が向いたらお試し下さいませ。 それはともかく、今回のリリースは結構大変でした。その理由としては、そろそろ EBt のマルチユーザー対応に向けた下準備と、EBt Server への対応にむけた準備をしたことですね。 まぁ、どっちも見た目はあんまり変化はあ

          EBt の最新版がストアで公開されました

          EBt の最新版を明日ストアに提出します

          しばらく潜伏していましたちょっときつめのバグが出ていたので、EBt の開発に専念していました。そのため、note の更新も出来ていませんでした。非常に悔やまれることです。 とはいえ、なんとか動く形になってので、明日 MS と Google のストアにアプリを提出する予定です。 今回の修正点は?目立つところとしては、ChatGPT 対応です。今回、プロンプトも入力できるようにしたのでかなり自由度が上がりました。 でも、これだけだと時間が刈る理由にはなりませんよね。今回、これか

          EBt の最新版を明日ストアに提出します

          若い人を認めよう

          よくきくあの台詞。最近の若い者は…というものについて、ちょっと考えてみたいと思う。 記録を遡ると2000年以上前からそんな記録があるらしいので、別に若い者に問題があるわけではないと思う。そもそも、次の世代が今ある世代よりも劣っているのであれば、文明は進歩しないはずだ。だから、最近の若い者は…というものは、若い者が前の世代に比べて劣っているという指摘ではない。 世の中は変化し続けている。だから、次の世代が育ってきた環境が前の世代が育ってきた環境とは異なるのは当然。だから、考

          若い人を認めよう

          命について

          今日、鳥山明先生の逝去のニュースを聞いた。 気がついたら、自分と近い世代の人たちの訃報をきく歳になってしまった。自分も歳を重ねてきたということだ。そして、自分にもその時がやがて来ることもかなり確かな感覚として持つようになってきた。これも人の定めだとは思う。 長生きは人にとって良いことなのだろうか、悪いことなのだろうか。私にはよくわからない。瀬戸内寂聴先生はあまり長生きをするもんじゃないという趣旨のことを言っていた。私が生きている間にその域に達することが出来るのだろうか。難

          ChatGPT 系の機能追加をしました

          やっぱりそこそこの自由は必要かなと思いますというわけで、EBt から ChatGPT を呼び出すときにプロンプトが自由に設定できるようにしました。 これで、ChatGPT を使うときの自由度が上がります。 なんで作ったのかというと使って思ったんですよ。もちょっと違うことがしたいなって。でも、今のままだとそれが出来ない。じゃあ、作るしかないよね。というわけで作りました。 プロンプトは決まったらあんまり修正しないのと、お気に入りのプロンプトは何度も使うよね?というわけで、複数の

          ChatGPT 系の機能追加をしました