マガジンのカバー画像

shi3z note

541
運営しているクリエイター

2023年7月の記事一覧

新刊「教養としての生成AI」新書ランキング一位を頂きました(一瞬だけ)

新刊「教養としての生成AI」新書ランキング一位を頂きました(一瞬だけ)

いやまあダメってことはないかもしれないけど。嬉しいじゃないですか。一瞬だけでも。

というわけで、Kindle版の新刊「教養としての生成AI」が新書ランキングで一位を頂きました。ありがとうございます!

だいたいこの手のランキングは、誰かが大量購入すると上がったりしがちなのですが、Kindleは大量購入はあり得ないのでガチ。

僕は橘玲さんの大ファンなので、一瞬でも抜けたのがちょっと嬉しかったです

もっとみる
プレ・シンギュラリティ、もう始まってない?

プレ・シンギュラリティ、もう始まってない?

ほぼ毎日、30分間、シラスで「デイリーAIニュース」をやっている。あっという間に三ヶ月が経った。

毎日AIニュースを追いかけていると、当然、波がある。
「今週は落ち着いてるな」とか「今日はやばいな」とか。

今日は、久々に「やばいな」という日だった。
まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。

さらに、Att

もっとみる
ミッション・インポッシぶる!今度の敵はAIだ!

ミッション・インポッシぶる!今度の敵はAIだ!

今回は「AI」がテーマということで、人工知能研究家としては見に行かないわけにはいかない。0時の最速上映を見に行くことも考えたが、そんなに若くもないので大人しく朝8時の回にレッツゴー!3時間もある映画だから見る時間を確保するのが大変だ。

安定のトム・クルーズなので全く危ういところや退屈なところもなくただただ面白い。ご都合主義?細えこたあいいんだよ!という思い切りの良さがいい。

AIに関しては意外

もっとみる
LLaMA2にQLoRAで日本語を教える

LLaMA2にQLoRAで日本語を教える

LLaMA2祭りだ!ワッショイ!
というわけでいてもたってもいられずなんかやってみたい。
ひとまずQLoRA(4bitLoRA)を試してみる

以下のページを参考にしました。

学習には自分で作ったAnthropic Human Feedback日本語版を使いました

使用したコマンド

python qlora.py \ --model_name meta-llama/Llama-2-70

もっとみる
「読めるだけで不思議」おしゃれQRコードの作り方!子供と遊ぼう!

「読めるだけで不思議」おしゃれQRコードの作り方!子供と遊ぼう!

先日、とあるところで小学生の子供たちにAIを教えに行ったのですが、Pythonでプログラミングを教えたり色々やってみたんだけど、一番ウケたのがAIでQRコードを作るというものでした。

今の子供ってQRコード作れることにすごく驚くみたいで、しかもAIを使うと奇想天外なQRコードが「これほんとに読めるの?」というレベルで作れるのでウケが良かったです。

というわけで作り方を紹介します。

以下のサイ

もっとみる
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)

これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)


導入 本当に革命的な技術なのか?

「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。

 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。

これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。

まず、大前提として、「LoRA」という技術について

LoRAは、「Low Rank Adaptation(日

もっとみる
24時間経過して改めて「君たちはどう生きるか」を考える

24時間経過して改めて「君たちはどう生きるか」を考える

昨日の「君生きショック」から24時間が経過した。
以下、ネタバレはしないように気をつけるが、この映画に関してだけは、一切の予備知識がないほうが初見は楽しめると思うので、見てない人は読まないでください。

昨日は朝8時の回を見て、そのまま映画ファンの友人と新宿のフレンチでワインを飲んだ。飲まずにはやっていられなかった。

フレンチに行った理由は、単に手っ取り早く酒が飲める店が時間帯的にたまたまそこし

もっとみる
「君たちはどう生きるか」初見感想

「君たちはどう生きるか」初見感想

本日は全てを投げ打って、宮﨑駿最新作「君達はどう生きるか」を見に行ってきた。

事前情報なしの映画を見るのがこんなに怖いことだとは。
終始、次に何が起きるかわからずハラハラした。

映像はもちろん凄い。メッセージも凄い。
けれどもこれは一度では受け止めきれないなあ。

事前宣伝がないというのはものすごく贅沢な仕掛けなんだなと改めて気づいた。

平日の朝八時なのに映画館が満杯というのもすごかった。

もっとみる
宮崎駿最新作!いよいよ明日公開!楽しみすぎる

宮崎駿最新作!いよいよ明日公開!楽しみすぎる

宮崎駿は凄い。
その凄さは歳を取れば取るほどわかるようになってくる。

その理由は、子供向けのアニメーションという題材を扱いながら、その実、「人間の在り方」を全身全霊で伝えようとしているからだと僕は思う。

どんな大監督も大芸術家、晩年はちょっとやばい感じのものや、「何がしたかったんや」という謎めいた作品を作ってやらかしてしまうことが少なくない。

しかし、宮崎駿監督だけはずっと真っ直ぐにド直球の

もっとみる
学生起業で絶対に失敗しない方法(増補版)

学生起業で絶対に失敗しない方法(増補版)

増補版前書き

一年も前に書いたエントリが、昨日になって急に100部以上売れた。
東京藝大の八谷和彦先生がXで紹介してくれたおかげだろう。

一年前の内容であることと、僕自身もあの後会社を数社作り、最近はAIを社長にした会社(https://free-ai.ltd)を作ったりしていて、個人的にもアップデートがあるので今売れてることだし増補版を書くこととする。また、僕のnoteの特徴でもあるが、売れ

もっとみる
これぞ10万トークン!Anthropicの最新LLM「Claude2」を早速試す!

これぞ10万トークン!Anthropicの最新LLM「Claude2」を早速試す!

持つべきものはアメリカ在住の友達!
OpenAIを抜けた人たちが作ったAnthropic社が、ChatGPTに対抗しうる強力なAIをリリースした

Anthropicの最新LLMであるClaude2は、ベンチマークでGPT-3以上GPT-4未満と言われている。しかしその特徴は、10万トークンという長大なトークンを扱えると主張されていることにある。

ちなみに大規模言語モデルでトークン数を沢山扱える

もっとみる
スピルバーグはこう生きた。俺たちはどう生きるか!?

スピルバーグはこう生きた。俺たちはどう生きるか!?

遅ればせながら、映画「フェイブルマンズ」を見た。
久しぶりにラストシーンで一人で部屋で叫んでしまった。

「なんだこりゃ!?」

人生の終盤でとんでもねえ映画をぶち込んできたぜ。スピルバーグ。

これはスピルバーグの自伝的映画で、しかもスピルバーグの子供の頃の黒歴史を全てぶち込んで、映画との出会い、カメラとの出会い、そして自分の逢ったいじめ、自分の失恋から家庭のゴタゴタまで克明に描き出すというほと

もっとみる
最近の大規模言語モデルはDNAのシーケンスを解析できるらしい

最近の大規模言語モデルはDNAのシーケンスを解析できるらしい

今朝のラジオに出た

GPTのようなTransformerモデルは処理量がN^2に比例して大きくなるという欠点がある。

この欠点を解消し、さらに長いシーケンスを学習できるようにしたHyenaというモデルがある(logNに比例する)。なぜかHyenaを用いた自然言語モデルはあまり大きいものが作られていないのだが、DNA解析をするモデルが公開された。

ヒトゲノムのような長大なシーケンスを大規模言語

もっとみる
AIで人類が滅ぶとか冗談だろと思っていたのだが

AIで人類が滅ぶとか冗談だろと思っていたのだが

昨日、ひょんなことからピープロ作品のフィルムをデジタルアーカイブにして保存するプロジェクトを見に行くことになった。

ちなみに僕はピープロ作品はマグマ大使以外見たことがない。
ライオン丸やザボーガーは生まれる前に終わっていた。

今、ピープロ作品はなぜか株式会社カラーが権利を持っているらしく、冒険王という雑誌のために撮影された当時の作品の6x6判のカラーポジフィルムが発掘されたので、そのデジタルア

もっとみる