小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイ。最近は生成AIコンサル会社の起業を模索中。h…

小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイ。最近は生成AIコンサル会社の起業を模索中。https://www.nekoboko.com。Kindle本にも挑戦中：https://www.amazon.co.jp/kindle-dbs/entity/author/B09Q2TTRQX
  • 固定された記事

新GPUデータセンター訪問の顛末記

　会社で「そうだ、新GPUデータセンターへ行こう！」ということになったので、今回はその顛末記。ちなみに出張報告は不要なので顛末記を書くことにしたけれども、今ではこの顛末記のデータさえあれば生成AIに「出張報告を作成して」と言えば済む。便利な世の中になってきたものです、はい。 (下記のMetaブログ記事によると5万個近いNVIDIA H100を活用して開発中のLlama 3登場も近いようであり、それに間にあって何より、何より) 事の始まり　今回はいきなりな展開なので、まずは背

小野谷静@オノセー

    • [オタク機器日記] Ubuntu画面操作をMP4化する方法

      　何とかUbuntu Linux 22.04画面操作の実況中継を、Youtube動画として投稿することに成功した。 　今回は『犬も全力で走れば棒に当たることがある…かもしれない』という話。 Zoomだけでは無理だった　実際にそんなことを言ったのかは現場にいなかったのでわからないけれども、「パンがなければお菓子を食べれば良いじゃない」という逸話は有名だ。(再現性があるとか、査読済み論文を確認しないと信頼しないが『正しいエンジニア』というものだ) 　それはさておき、Ubuntu

      小野谷静@オノセー

      • OpenVINOで生成AI(LLM)を利用する

        　某社サマがOpenVINO LLM RAGハンズオンを開催して下さり、参加する機会を得た。「おうちに帰ってブログを書くまでがハンズオン」ということで、少し遅くなってしまったけれども報告させて頂くことにする。それにしても気軽にRAG付き生成AIを試せたことには、大いに驚いた次第。 そもそもOpenVINOとは何か？　OpenVINOツールキットとは、「推論アプリケーションの開発を手軽に始められる汎用的な推論エンジン」である。 　たぶん過去にどこかで接したと思うけれども、今

        小野谷静@オノセー

        • 孤独のグルメ化しつつある生成AI

          　さて先記事では、当面の生成AI案件は数億円以上が動くような大規模案件ではなくて、身近なところにアシスタント的に導入する形でお客様に食い込むツールとしての役割を担うことが増えそうだ… と書いたつもりだ。 　今回は、それを実現するのが実は結構大変なのだという体験記である。 自分にとって理想形の織田病院　言ってしまえば「孤独のグルメ」のように、ちょっとしたところで感動を得るような使い方である。生成AIに100%確実なアウトプットを期待するのは難しいので、今のところはアシスタント

          小野谷静@オノセー
        • 固定された記事

        新GPUデータセンター訪問の顛末記

        小野谷静@オノセー

          生成AI近況分析：変わりつつあるITハードウェアベンダのビジネス戦略

          　さて生成AIに関係するようになってから、一年が経過した。表向きはGoogleやMicrosoftのようにGAFAMと呼ばれる5社とOracleがNVIDIA GPUを買いまくって話題になっているけど、その裏でHPEやDellは随分と様変わりしてきた。 　一年前は「我々も大規模システムを次々と受注できるかもしれない」という夢が膨らんだけれども、結局のところはマッキンゼーなどのコンサルティング企業やIDC/Gartnerといったコンピュータシステム系な調査会社の予想が正しかった

          小野谷静@オノセー

          生成AI近況分析：変わりつつあるITハードウェアベンダのビジネス戦略

          小野谷静@オノセー

          生成AI侮るべからず：佐賀の織田病院の事例

          「サルも木から落ちる」ということわざがある。どうも佐賀の織田病院の事例が軽く見られているようだ。 　今回は「餅は餅屋」というか、実は佐賀の織田病院の生成AI事例は業界人から見ると大したことなので、関係者ではないけれども紹介させて頂くことにしたい。 間違いではない(正解でもない)　今回の発端は、このX（Twitter）ツイートだ。これを見て、「病院は個人情報を保護することを最優先にするのか…」と思った人は、商売には向いているとは言えないかもしれない。 　日経xtech誌はお

          小野谷静@オノセー

          生成AI侮るべからず：佐賀の織田病院の事例

          小野谷静@オノセー

          人工知能(LLM)はダジャレを言えるか試してみた：生成AIの学習能力？

          　けっこう真面目な話。 　実は生成AIというのは大量の言葉の繋がるパターンを学習し、人間がプロンプトで入力した内容から出力を作成する。逆に言うとパターン化した出力になる。コンサルティングでアイディア(特定の条件を付けて適当なフレーズを拾ってくる)を求めるとか長文要約は得意だけれども、駄洒落のように非定型パターン＆単語決め打ちのように数学計算に近いような処理能力は気になるところだ。 　東大の入試問題を解かせてみても英語は良好なものの、数学は一般的に低スコアである。小説を書いて貰

          小野谷静@オノセー

          人工知能(LLM)はダジャレを言えるか試してみた：生成AIの学習能力？

          小野谷静@オノセー

          [オタク機器日記] 我が家で稼働中の人工知能(LLM)はフリーザ様のデスビームを知っていた件

          　最近はクラウドの向こうにある超大規模GPUクラスタに頼らずとも、社内とか自宅に設置されたマシンでローカル生成AI（LLM）が使い物になりつつある。大きくは数百Bパラメータ版の汎用型と数Bパラメータ版の目的特化型の二系統に分かれているが、我が家で稼働しているCommand R Plus 104B版の場合は、何も教えなくてもフリーザ様のデスビームを知っていることが判明した。 　今回は「なんでそんなことを聞いているのか？」とか、どうして二系統が存在するのかを解説させて頂くことにし

          小野谷静@オノセー

          [オタク機器日記] 我が家で稼働中の人工知能(LLM)はフリーザ様のデスビームを知っていた件

          小野谷静@オノセー

          Intel GPUとNVIDIA GPUを実機検証で性能比較してみる

          　記事名は受け狙い。本当に比較してみたら、両陣営の関係者へ盛大な薪を投入するような、盛大な炎上案件となってしまう。 　今回はWindows環境でLlama.cppでNVIDIA GPUを使う方法を模索している時に見かけたブログがあり、そこで「CPUのみ」と「GPU利用（cuBLAS）」で数値比較している記事があったので、ド素人が真似をしてみたというだけの話。実はIntel GPUも、2024年4月にLlama.cppがLlama.cpp for SYCLで対応開始したのだ。

          小野谷静@オノセー

          Intel GPUとNVIDIA GPUを実機検証で性能比較してみる

          小野谷静@オノセー

          [オタク機器日記] Intel GPUでLlama.cpp for SYCLを実行した時の出力内容

          　今回は某ブログに投稿した構築作業後の出力結果に関する補足記事。 　さてInte GPUであるARC A770は、ともかく出力(生成)することは可能となっている。4bit版Command R+ 104B版は実現できていないが、とりあえず4bit量子化版の出力結果を貼っておく。-n や-eを取り除くことにより、とりあえず途中で停止するような事象は発生していない。 (Command R+を使えなくても既存NVIDIA GPU並みの性能を出せたら、自分的には二枚刺しにして32GB

          小野谷静@オノセー

          [オタク機器日記] Intel GPUでLlama.cpp for SYCLを実行した時の出力内容

          小野谷静@オノセー

          [オタク機器日記] ローカルLLMに必要となるCPUメモリの話

          　今回もローカルLLMの話 　さて先日の記事で、こんなウワサに流されてしまったことを報告した。 　そもそもCPUメモリはOS等でも使用されているから、メインメモリとローカルLLMのモデルサイズというのが、今一つ意味不明である。その記事で報告したように、別に64GBメモリしか搭載していない拙者の貧弱PCでも、4bit量子化版Command R+ 改造版160B版は問題なく動作してくれたでござるよ。 　記事を投稿した後で、ウワサの出所が紹介されていた。すごい誠実な御方のようで

          小野谷静@オノセー

          [オタク機器日記] ローカルLLMに必要となるCPUメモリの話

          小野谷静@オノセー

          Intel版GPUやNPUでのLLM利用事例

          　Intel版GPUやNPUでのLLM利用事例まとめ。もともと技術革新の早い生成AI業界だけれども、最近のIntelは「男子三日会わざれば、刮目して見よ」状態。恐ろしいほどに進行が速いので要注意。 (2024年5月25日更新) 第12世代インテル Core i7 12700H(Alder Lake)での検証例2024年5月26日最終更新 Intel ARC A770 (Intel GPU)での検証例2024年5月26日更新 Intel版GPUに拘る背景2024年5月25

          小野谷静@オノセー

          Intel版GPUやNPUでのLLM利用事例

          小野谷静@オノセー

          [オタク機器日記] Intel GPUでローカルLLMを動かす

          　兼業作家は作家業だけでは生計が立たないで、本業も頑張る必要がある。さてその本業に生成AIを活かそうとすると立ち塞がるのが、NVIDIA GPU納期問題である。Supermicroのような存在があるので、納期をお伝えした瞬間に「今日は有意義な打ち合わせでした。それではごきげんよう」で諸々の話は立ち消えとなってしまいかねない。(弊社経由だと納期は…) 　そうすると僕としてはNVIDIAさんとは長年の付き合いだけれども、NVIDIA以外の道を模索せざるを得なくなる。なんだかAM

          小野谷静@オノセー

          [オタク機器日記] Intel GPUでローカルLLMを動かす

          小野谷静@オノセー

          生成AI導入を阻害する壁があると説明する人々に2パターンがあるという個人的感想

          　SNSで何回も流れて来て、ちょっと何だなあと感じたので自分的感想を掲載しておくことにする。 　えっ、こんな記事を書いている暇があったら、さっさとIntel Arc GPU関連の検証結果をレポートしたり小説を書けって？　全くその通りだと思う。 放置しておけば良いじゃないか　大体この手の記事を書く人の半分くらいは、生成AIコンサルタントを名乗る方々だったりする。だから「あ、そうですか」で加齢に、いや華麗にスルーしてしまうのが最適解となる。 　別に日本企業の構造的な課題って、ど

          小野谷静@オノセー

          生成AI導入を阻害する壁があると説明する人々に2パターンがあるという個人的感想

          小野谷静@オノセー

          [オタク機器日記] 160B化されたCommand R+を動かしてみた件

          　生成AI方面だと知らぬ人はいない(だろうと思われる)nitkyさんがCommand R+を160Bパラメータ版化すると同時に、量子化したGGUF版も提供して下さっている。今回はそれ(4bit量子化版)を動かすことに成功したという話。 　僕の場合は開発元のCohere社が提供する104B版の4bit量子化版を、VRAM 16GBで主メモリ 64GB環境で利用している。だから別に動作させることに成功したからといって、驚くようなことではない。しかし今回はボケが進んだのか、妙にドタ

          小野谷静@オノセー

          [オタク機器日記] 160B化されたCommand R+を動かしてみた件

          小野谷静@オノセー

          [オタク機器日記] さらばWindows環境の生成AI (LLM)

          　先日の記事でもコメントしたように、Windows環境のローカル生成AI (LLM) というのは今一つな状況である。もちろん一般的な使い方であれば問題ないけれども、少し変則的な使い方 (小説を評価するための長文プロンプト利用など) をすると、すぐに不安定な状態となってしまう。 　そうでなくてもマルチタスクではないので、画面操作なども固まってしまう。これでは画面のスナップショットを取ることが難しくなるし、地味に不便だ。それで思い切って、もうWindows環境には手を出さないこと

          小野谷静@オノセー

          [オタク機器日記] さらばWindows環境の生成AI (LLM)

          小野谷静@オノセー