マガジンのカバー画像

shi3z note

541
運営しているクリエイター

2023年9月の記事一覧

驚愕の2ビット量子化LLM/GGUF

驚愕の2ビット量子化LLM/GGUF

普段VRAMリッチな人生だったのでよくわかってなかったのだが、俺が機内で会話していたLLMは2ビット量子化されたやつだったらしい。マジかよ。2bitって。

llama.cppで2ビット量子化されたELYZA-7Bと会話したのはこんな感じ

{"prompt": "User:宮崎駿とは? Assistant: ","n_predict": 256}' {"content":"宮崎駿は日本のアニメ

もっとみる
Mistral-7Bを日本語で試す

Mistral-7Bを日本語で試す

フランスのスタートアップが公開したMistral-7Bが、Llama2 13B超えだと言うので日本語で試してみました。

試す前の注意事項としては、transformersがpipにない超最新版じゃないと動かない。

$ pip install git+https://github.com/huggingface/transformers.git

そんで試す。
ちなみに今アメリカにいるのだが、n

もっとみる
AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから

AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから

昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。

市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。

たとえばこんな感じだ。

我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。

Ch

もっとみる
新番組「AI時代の仕事論」

新番組「AI時代の仕事論」

動画配信プラットフォーム「シラス」における僕のチャンネル「教養としてのAI講座」では、平日ほぼ毎日「デイリーAIニュース」としてその日のAIニュースを見つけ、追体験し、毎週末には「ウィークリーAIニュース」として、一週間のニュースをまとめて紹介している。

これらの番組の見どころは、僕がいつどんなニュースにぶつかるかわからないことだ。僕がどこかで仕入れたネタを見せるのではなく、僕がネタを仕入れる現

もっとみる
アイデアに価値はない

アイデアに価値はない

生成AIが流行して、昔の知り合いとか、取引先とかから唐突に「アイデアがあるんだけど聞いてくれ」と言われることが増えてきた。まず大前提として、僕にアイデアを話すのはやめてほしい。時間の無駄だ。

僕は自分のアイデアを実現するのに忙しくて、他人のアイデアに耳を傾けるほど暇を持て余しているわけではない。

また、僕の顧問先は多方面にわたる上、そのなかには上場企業専門のコンサルティングファームもあるので、

もっとみる
無料でGPT4越え!?ついに来たXwin-LM

無料でGPT4越え!?ついに来たXwin-LM

今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。

大先生もまだ試してないというので番組内で一緒に試してみた。
もちろんドスパラ製Memeplexマシン(A6000x2)を使用。

>>> from transformers import AutoToken

もっとみる
VIVANTロスとかしてる場合じゃない。この映画を見るべき

VIVANTロスとかしてる場合じゃない。この映画を見るべき

VIVANT、終わったねえ。
しかし別班とテントが、個人的にはちょっとイメージが違った。
やっぱりこのネタといえば陸軍中野学校でしょう。

そもそも別班なるものの存在が囁かれる根拠は、戦前の陸軍に諜報を主任務とした中野学校が設立されていたという歴史的経緯から。

中野学校の学生の任務は「日本の捨て石となること」
中野学校の卒業生は広くアジア各国に派遣され、現地の住民に完全に溶け込み、基本的には日本

もっとみる
DeciLMを日本語でLoRAファインチューニングしてみた(まだ途中)

DeciLMを日本語でLoRAファインチューニングしてみた(まだ途中)

意外と時間がかかった。時間がかかった理由は主にデータ量がべらぼうに多いから。使用したのはいつものようにドスパラ製Memeplexマシン(A6000x2+256GBRAM)だ。

DeciLMは、AIがアーキテクチャを設計したことで性能が飛躍的に上がった(と言われる)大規模言語モデル。でもソースコードを見てもいまいちどこがAIによる設計なのかはわからないが、AIによるニューラル構造設計が人間の設計者

もっとみる
AIによる再設計でLlama2の15倍高速!?DeciLM登場!

AIによる再設計でLlama2の15倍高速!?DeciLM登場!

Llama2の15倍高速というDeciLMというのが発表された。もう何が何だかわからない。これはデコーダーモデルというやつで、4096トークンに対応

なぜこんなに高速なのかというと、AIが自動設計したから
AutoNAC(自動ニューラルアーキテクチャ構築)というDeci社の技術により、LLMの画期的な高性能化が実現したということらしい。まあ要はLLMは単なるデモに過ぎないということ。

オフィシ

もっとみる
スマートウォッチ/スマホで動くLLM!?サマンサ

スマートウォッチ/スマホで動くLLM!?サマンサ

PhiベースでファインチューニングしたLLM、Samantha-phiは、作者のエリック・ハートフォード氏によれば「スマホやスマートウォッチで動作するLLM」だそうだ。

本当か!?
ということで早速調査してみた。
マシンはいつものようにドスパラ製Memeplexマシンを使用(A6000x2)
いつもありがとうございます。

>>> from transformers import AutoMod

もっとみる
教養としての生成AI、重版決定!

教養としての生成AI、重版決定!

おかげさまで「教養としての生成AI」重版かかりました。
新書だと発売日に重版ということも珍しくないのですが、この本の場合、紙よりも電子の方が売れ行きが良く、なかなか重版がかからないというところに個人的にヤキモキしました。

一般的に電子版は紙に比べて1/10くらいしか売れないそうですが、本書の場合は内容が内容のためか電子の売れ行きが良かったようです。

というわけで最新の情報にあわせて少しだけ加筆

もっとみる
llama2.mojoを試す

llama2.mojoを試す

超高速にllama2が推論できるというllama2.mojoなるものが登場したらしいので、早速試してみた。今朝はtokenizer.binがなくて試せなかったが、さっき見たら2時間前にtokenizer.binが追加されていた。

早速ためしてみる。
まずはデフォルトの15M版のstories

$ mojo llama2.mojonum hardware threads: 36 SIMD v

もっとみる
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる

OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる

凄いものが出てきてしまった。
ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。

Open Interpreterのインストールは簡単。コマンド一発だ

$ pip install open-interpreter

起動も簡単

$

もっとみる
何に使うかわからないがなんだか楽しい7セグLEDディスプレイNanapoを買った

何に使うかわからないがなんだか楽しい7セグLEDディスプレイNanapoを買った

ビットトレードワンが開発したUSB-C接続の7セグLEDディスプレイ、Nanapoを買った。Shigezoneで4900円くらい。

USB-CでMacと繋げると、あとはscreenコマンドでシリアルに繋ぐだけ。
繋ぐときはこのページが参考になった

Pythonからも簡単に使える

>>> s = serial.Serial("/dev/tty.usbmodem101",115200)>>> s

もっとみる