小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイ。最近は生成AIコンサル会社の起業を模索中。h…

小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイ。最近は生成AIコンサル会社の起業を模索中。https://www.nekoboko.com。Kindle本にも挑戦中:https://www.amazon.co.jp/kindle-dbs/entity/author/B09Q2TTRQX

記事一覧

固定された記事

新GPUデータセンター訪問の顛末記

 会社で「そうだ、新GPUデータセンターへ行こう!」ということになったので、今回はその顛末記。ちなみに出張報告は不要なので顛末記を書くことにしたけれども、今ではこ…

[オタク機器日記] Ubuntu画面操作をMP4化する方法

 何とかUbuntu Linux 22.04画面操作の実況中継を、Youtube動画として投稿することに成功した。  今回は『犬も全力で走れば棒に当たることがある…かもしれない』という話…

OpenVINOで生成AI(LLM)を利用する

 某社サマがOpenVINO LLM RAGハンズオンを開催して下さり、参加する機会を得た。「おうちに帰ってブログを書くまでがハンズオン」ということで、少し遅くなってしまったけ…

孤独のグルメ化しつつある生成AI

 さて先記事では、当面の生成AI案件は数億円以上が動くような大規模案件ではなくて、身近なところにアシスタント的に導入する形でお客様に食い込むツールとしての役割を担…

生成AI近況分析:変わりつつあるITハードウェアベンダのビジネス戦略

 さて生成AIに関係するようになってから、一年が経過した。表向きはGoogleやMicrosoftのようにGAFAMと呼ばれる5社とOracleがNVIDIA GPUを買いまくって話題になっているけ…

生成AI侮るべからず:佐賀の織田病院の事例

「サルも木から落ちる」ということわざがある。どうも佐賀の織田病院の事例が軽く見られているようだ。  今回は「餅は餅屋」というか、実は佐賀の織田病院の生成AI事例は…

人工知能(LLM)はダジャレを言えるか試してみた:生成AIの学習能力?

 けっこう真面目な話。  実は生成AIというのは大量の言葉の繋がるパターンを学習し、人間がプロンプトで入力した内容から出力を作成する。逆に言うとパターン化した出力…

[オタク機器日記] 我が家で稼働中の人工知能(LLM)はフリーザ様のデスビームを知っていた件

 最近はクラウドの向こうにある超大規模GPUクラスタに頼らずとも、社内とか自宅に設置されたマシンでローカル生成AI(LLM)が使い物になりつつある。大きくは数百Bパラメ…

Intel GPUとNVIDIA GPUを実機検証で性能比較してみる

 記事名は受け狙い。本当に比較してみたら、両陣営の関係者へ盛大な薪を投入するような、盛大な炎上案件となってしまう。  今回はWindows環境でLlama.cppでNVIDIA GPUを…

[オタク機器日記] Intel GPUでLlama.cpp for SYCLを実行した時の出力内容

 今回は某ブログに投稿した構築作業後の出力結果に関する補足記事。  さてInte GPUであるARC A770は、ともかく出力(生成)することは可能となっている。4bit版Command R+…

[オタク機器日記] ローカルLLMに必要となるCPUメモリの話

 今回もローカルLLMの話  さて先日の記事で、こんなウワサに流されてしまったことを報告した。  そもそもCPUメモリはOS等でも使用されているから、メインメモリとロー…

Intel版GPUやNPUでのLLM利用事例

 Intel版GPUやNPUでのLLM利用事例まとめ。もともと技術革新の早い生成AI業界だけれども、最近のIntelは「男子三日会わざれば、刮目して見よ」状態。恐ろしいほどに進行が…

[オタク機器日記] Intel GPUでローカルLLMを動かす

 兼業作家は作家業だけでは生計が立たないで、本業も頑張る必要がある。さてその本業に生成AIを活かそうとすると立ち塞がるのが、NVIDIA GPU納期問題である。Supermicroの…

生成AI導入を阻害する壁があると説明する人々に2パターンがあるという個人的感想

 SNSで何回も流れて来て、ちょっと何だなあと感じたので自分的感想を掲載しておくことにする。  えっ、こんな記事を書いている暇があったら、さっさとIntel Arc GPU関連…

[オタク機器日記] 160B化されたCommand R+を動かしてみた件

 生成AI方面だと知らぬ人はいない(だろうと思われる)nitkyさんがCommand R+を160Bパラメータ版化すると同時に、量子化したGGUF版も提供して下さっている。今回はそれ(4bit…

[オタク機器日記] さらばWindows環境の生成AI (LLM)

 先日の記事でもコメントしたように、Windows環境のローカル生成AI (LLM) というのは今一つな状況である。もちろん一般的な使い方であれば問題ないけれども、少し変則的な…

新GPUデータセンター訪問の顛末記

新GPUデータセンター訪問の顛末記

 会社で「そうだ、新GPUデータセンターへ行こう!」ということになったので、今回はその顛末記。ちなみに出張報告は不要なので顛末記を書くことにしたけれども、今ではこの顛末記のデータさえあれば生成AIに「出張報告を作成して」と言えば済む。便利な世の中になってきたものです、はい。
(下記のMetaブログ記事によると5万個近いNVIDIA H100を活用して開発中のLlama 3登場も近いようであり、それ

もっとみる
[オタク機器日記] Ubuntu画面操作をMP4化する方法

[オタク機器日記] Ubuntu画面操作をMP4化する方法

 何とかUbuntu Linux 22.04画面操作の実況中継を、Youtube動画として投稿することに成功した。
 今回は『犬も全力で走れば棒に当たることがある…かもしれない』という話。

Zoomだけでは無理だった 実際にそんなことを言ったのかは現場にいなかったのでわからないけれども、「パンがなければお菓子を食べれば良いじゃない」という逸話は有名だ。(再現性があるとか、査読済み論文を確認しない

もっとみる
OpenVINOで生成AI(LLM)を利用する

OpenVINOで生成AI(LLM)を利用する

 某社サマがOpenVINO LLM RAGハンズオンを開催して下さり、参加する機会を得た。「おうちに帰ってブログを書くまでがハンズオン」ということで、少し遅くなってしまったけれども報告させて頂くことにする。それにしても気軽にRAG付き生成AIを試せたことには、大いに驚いた次第。

そもそもOpenVINOとは何か? OpenVINOツールキットとは、「推論アプリケーションの開発を手軽に始められる

もっとみる
孤独のグルメ化しつつある生成AI

孤独のグルメ化しつつある生成AI

 さて先記事では、当面の生成AI案件は数億円以上が動くような大規模案件ではなくて、身近なところにアシスタント的に導入する形でお客様に食い込むツールとしての役割を担うことが増えそうだ… と書いたつもりだ。
 今回は、それを実現するのが実は結構大変なのだという体験記である。

自分にとって理想形の織田病院 言ってしまえば「孤独のグルメ」のように、ちょっとしたところで感動を得るような使い方である。生成A

もっとみる
生成AI近況分析:変わりつつあるITハードウェアベンダのビジネス戦略

生成AI近況分析:変わりつつあるITハードウェアベンダのビジネス戦略

 さて生成AIに関係するようになってから、一年が経過した。表向きはGoogleやMicrosoftのようにGAFAMと呼ばれる5社とOracleがNVIDIA GPUを買いまくって話題になっているけど、その裏でHPEやDellは随分と様変わりしてきた。
 一年前は「我々も大規模システムを次々と受注できるかもしれない」という夢が膨らんだけれども、結局のところはマッキンゼーなどのコンサルティング企業や

もっとみる
生成AI侮るべからず:佐賀の織田病院の事例

生成AI侮るべからず:佐賀の織田病院の事例

「サルも木から落ちる」ということわざがある。どうも佐賀の織田病院の事例が軽く見られているようだ。
 今回は「餅は餅屋」というか、実は佐賀の織田病院の生成AI事例は業界人から見ると大したことなので、関係者ではないけれども紹介させて頂くことにしたい。

間違いではない(正解でもない) 今回の発端は、このX(Twitter)ツイートだ。これを見て、「病院は個人情報を保護することを最優先にするのか…」と思

もっとみる
人工知能(LLM)はダジャレを言えるか試してみた:生成AIの学習能力?

人工知能(LLM)はダジャレを言えるか試してみた:生成AIの学習能力?

 けっこう真面目な話。
 実は生成AIというのは大量の言葉の繋がるパターンを学習し、人間がプロンプトで入力した内容から出力を作成する。逆に言うとパターン化した出力になる。コンサルティングでアイディア(特定の条件を付けて適当なフレーズを拾ってくる)を求めるとか長文要約は得意だけれども、駄洒落のように非定型パターン&単語決め打ちのように数学計算に近いような処理能力は気になるところだ。
 東大の入試問題

もっとみる
[オタク機器日記] 我が家で稼働中の人工知能(LLM)はフリーザ様のデスビームを知っていた件

[オタク機器日記] 我が家で稼働中の人工知能(LLM)はフリーザ様のデスビームを知っていた件

 最近はクラウドの向こうにある超大規模GPUクラスタに頼らずとも、社内とか自宅に設置されたマシンでローカル生成AI(LLM)が使い物になりつつある。大きくは数百Bパラメータ版の汎用型と数Bパラメータ版の目的特化型の二系統に分かれているが、我が家で稼働しているCommand R Plus 104B版の場合は、何も教えなくてもフリーザ様のデスビームを知っていることが判明した。
 今回は「なんでそんなこ

もっとみる
Intel GPUとNVIDIA GPUを実機検証で性能比較してみる

Intel GPUとNVIDIA GPUを実機検証で性能比較してみる

 記事名は受け狙い。本当に比較してみたら、両陣営の関係者へ盛大な薪を投入するような、盛大な炎上案件となってしまう。
 今回はWindows環境でLlama.cppでNVIDIA GPUを使う方法を模索している時に見かけたブログがあり、そこで「CPUのみ」と「GPU利用(cuBLAS)」で数値比較している記事があったので、ド素人が真似をしてみたというだけの話。実はIntel GPUも、2024年4月

もっとみる
[オタク機器日記] Intel GPUでLlama.cpp for SYCLを実行した時の出力内容

[オタク機器日記] Intel GPUでLlama.cpp for SYCLを実行した時の出力内容

 今回は某ブログに投稿した構築作業後の出力結果に関する補足記事。

 さてInte GPUであるARC A770は、ともかく出力(生成)することは可能となっている。4bit版Command R+ 104B版は実現できていないが、とりあえず4bit量子化版の出力結果を貼っておく。-n や-eを取り除くことにより、とりあえず途中で停止するような事象は発生していない。
(Command R+を使えなくて

もっとみる
[オタク機器日記] ローカルLLMに必要となるCPUメモリの話

[オタク機器日記] ローカルLLMに必要となるCPUメモリの話

 今回もローカルLLMの話
 さて先日の記事で、こんなウワサに流されてしまったことを報告した。

 そもそもCPUメモリはOS等でも使用されているから、メインメモリとローカルLLMのモデルサイズというのが、今一つ意味不明である。その記事で報告したように、別に64GBメモリしか搭載していない拙者の貧弱PCでも、4bit量子化版Command R+ 改造版160B版は問題なく動作してくれたでござるよ。

もっとみる
Intel版GPUやNPUでのLLM利用事例

Intel版GPUやNPUでのLLM利用事例

 Intel版GPUやNPUでのLLM利用事例まとめ。もともと技術革新の早い生成AI業界だけれども、最近のIntelは「男子三日会わざれば、刮目して見よ」状態。恐ろしいほどに進行が速いので要注意。 (2024年5月25日更新)

第12世代インテル Core i7 12700H(Alder Lake)での検証例2024年5月26日最終更新

Intel ARC A770 (Intel GPU)での

もっとみる
[オタク機器日記] Intel GPUでローカルLLMを動かす

[オタク機器日記] Intel GPUでローカルLLMを動かす

 兼業作家は作家業だけでは生計が立たないで、本業も頑張る必要がある。さてその本業に生成AIを活かそうとすると立ち塞がるのが、NVIDIA GPU納期問題である。Supermicroのような存在があるので、納期をお伝えした瞬間に「今日は有意義な打ち合わせでした。それではごきげんよう」で諸々の話は立ち消えとなってしまいかねない。(弊社経由だと納期は…)

 そうすると僕としてはNVIDIAさんとは長年

もっとみる
生成AI導入を阻害する壁があると説明する人々に2パターンがあるという個人的感想

生成AI導入を阻害する壁があると説明する人々に2パターンがあるという個人的感想

 SNSで何回も流れて来て、ちょっと何だなあと感じたので自分的感想を掲載しておくことにする。
 えっ、こんな記事を書いている暇があったら、さっさとIntel Arc GPU関連の検証結果をレポートしたり小説を書けって? 全くその通りだと思う。

放置しておけば良いじゃないか 大体この手の記事を書く人の半分くらいは、生成AIコンサルタントを名乗る方々だったりする。だから「あ、そうですか」で加齢に、い

もっとみる
[オタク機器日記] 160B化されたCommand R+を動かしてみた件

[オタク機器日記] 160B化されたCommand R+を動かしてみた件

 生成AI方面だと知らぬ人はいない(だろうと思われる)nitkyさんがCommand R+を160Bパラメータ版化すると同時に、量子化したGGUF版も提供して下さっている。今回はそれ(4bit量子化版)を動かすことに成功したという話。
 僕の場合は開発元のCohere社が提供する104B版の4bit量子化版を、VRAM 16GBで主メモリ 64GB環境で利用している。だから別に動作させることに成功

もっとみる
[オタク機器日記] さらばWindows環境の生成AI (LLM)

[オタク機器日記] さらばWindows環境の生成AI (LLM)

 先日の記事でもコメントしたように、Windows環境のローカル生成AI (LLM) というのは今一つな状況である。もちろん一般的な使い方であれば問題ないけれども、少し変則的な使い方 (小説を評価するための長文プロンプト利用など) をすると、すぐに不安定な状態となってしまう。
 そうでなくてもマルチタスクではないので、画面操作なども固まってしまう。これでは画面のスナップショットを取ることが難しくな

もっとみる