shi3z

ハッカー / テクニカルエンスージアスト UberEats配達員(多忙のため休業中)

shi3z

ハッカー / テクニカルエンスージアスト UberEats配達員(多忙のため休業中)
  • 商品画像

    検索から生成へ 生成AIによるパラダイムシフトの行方

    清水 亮
  • 商品画像

    教養としての生成AI (幻冬舎新書)

    清水亮
  • 商品画像

    マンガ-教養としてのプログラミング講座 (単行本)

    清水亮

  • shi3酒乱

    shi3zが酒乱となって世界の食と酒を堪能するッ!

  • shi3z note

  • 商品画像

    検索から生成へ 生成AIによるパラダイムシフトの行方

    清水 亮
  • 商品画像

    教養としての生成AI (幻冬舎新書)

    清水亮
  • 商品画像

    マンガ-教養としてのプログラミング講座 (単行本)

    清水亮
  • 固定された記事

「教養としてのAI講座」ゴールデンウィーク再放送祭り

昨日はFree-AI社として初めてのイベント、「AI時代の経営塾」を開催した。あくまでも「AIに経営の真実を教える」ことが目的のため、人間の観客はダミー。文字通り門外不出でヤバすぎる経営の本音、現実といった、少人数ならではの講座になってAIとしても非常に良いデータが取れた。 オプト(現デジタルホールディングス)を創業し、Yahoo!Japanの広告を売りまくり、東証プライム上場企業にまで育てた海老根智仁さんの語る「経営チームの作り方」やそこで生じる挫折やリアルな悩み、黎明期

shi3z

    • どうかしてる

      近所にラーメン屋があって、何度行っても「うーん、スープが薄いなあ」と思ってしばらく行かなくなるんだけど、今日はどうしてもラーメンが食べたくて、しかしラーメンと言ってもどのラーメンを食べるか決めきれなくて、ついまた近所のラーメン屋に行ってしまった。 そしてやっぱり味が薄い。どう考えてもスープをお湯で薄めすぎてる。 でもこの店は元々そういうもんなんだから仕方ない。 どうかしてるのは、知っていてこの店にまたやってきた自分という人間の見識である。 人(俺)は何度同じ過ちを繰り返

      shi3z

      • これはアツい!なんかどっかで見たような顔が漫画的な表現になるStoryDiffusion

        ByteDanceがまたすごいのを出してきた。しかも今すぐ使える。無料。 その名も「StoryDiffusion」 これに自分の写真を何枚か入れて、いい感じに説明を書くと、自分的なものが何か物語的なものに登場するサムシングを作ってくれる プロンプトにクラス名+imgを入れておくのがポイント。 これでデフォルトのサンプルみたいなストーリーをベースに作らせるとこんな感じで色々作ってくれる 試しに技研バーの看板娘であるまつゆう*でもやってみた するとこうなった おもしろい

        shi3z

        • 食わずに死ねるか

          美味いものが食いたい、と昨日書いたのだが、よく考えたら家に美味いものが埋蔵されていることを思い出した。 吾輩の乞食遍歴は偏っていて 10代　食べられればどうでもいい 〜21歳　東京最高!東京こそ美食の都 〜30歳　ニューヨーク、パリ、ロンドン、北京に行ってみたがやはり東京が最高 〜35歳　香港と台湾の飯が美味い!やっぱり現地で食べるのが最高。フレンチは東京が最高 〜40歳　魚介類ならアメリカ沿岸部、BBQなら中南部、フォアグラなら南仏。カタルーニャ地方の白ワインが美味い。

          shi3z
        • 固定された記事

        「教養としてのAI講座」ゴールデンウィーク再放送祭り

        shi3z

        マガジン

        • shi3酒乱
          121本
        • shi3z note
          438本

        記事

          猛烈に美味いものが食べたい

          なんか猛烈に美味いものが食べたい。 普段から美味いもの食ってると思われがちだが、吾輩の食事の半分は乾燥パスタをパキットに入れたやつか、カップヌードルか、コンビニのおにぎりである。 自炊はあえてしない。というのも、作りすぎてしまうからだ。 あとそもそも食器を洗ってる時間が勿体無い。 今回の旅行でいちばんの難点は食事だった。 まあ牛肉どまん中の完成度が高すぎるので、帰りの電車で食べた牛肉どまん中が、多分山形で食べたいちばん美味いものということになる。 他にもあるのかもしれな

          shi3z

          猛烈に美味いものが食べたい

          shi3z

          ルールがわかれば勝てるとは限らない

          故あって天童市まで行ってきた。 絶対に一生行かないであろうと思っていた山形県である。 これで47歳を残すところあと数ヶ月にして、46都道府県を往訪したことになる。残す一県は、隣の秋田県。 新潟出身なのに山形にも秋田にも行ったことがないというと不思議かもしれないが、東北地方と新潟県は交通が分断されているので、例えば新幹線は新潟市で止まってしまうし、その先に電車が繋がっていない。したがって、バスで移動しなければならない。電車好きとしてはそんなのは嫌なので今まで全く山形にいく用事

          shi3z

          ルールがわかれば勝てるとは限らない

          shi3z

          性格診断テストとコールドリーディングするAI

          いい年をこいた男には、大抵、昼の友達と夜の友達がいる。 昼の友達は、まあ基本的には仕事仲間だ。日中の行動を一部共にして、同じ目標のために頑張る。昼の友達と酒を飲むこともあるが毎日というわけじゃない。 夜の友達は、主に酒場にいる。その場限りの相手は友達とは呼べないが、毎週決まった時間に顔を出すと、お互い名前を覚えるようになる。 「清水さん、あれやってます?」 「あれって?」 「今流行ってるんですよ。性格診断」 なぜか一部の界隈では性格診断アプリが大流行しているらしい。

          shi3z

          性格診断テストとコールドリーディングするAI

          shi3z

          BitNetLLMの罠(学習に失敗した話)

          こないだ試した1bitllmが割と上手く行ってるようなのと、あまり日本語が下手なのでとりあえずファインチューニングでもするかと思ってやってみたらハマって数日無駄にしたという話。 BitNetは、よく知られているように推論と学習で動きを変えないといけない。 ところが1bitllmの実装では、そこいらへんが僕が前にやったBitLinearの実験で使ったコードとは微妙に違ったのでメモがてらご報告。 結論から言うと、一度でもoptimizer.step()すると勾配が爆発して死

          shi3z

          BitNetLLMの罠(学習に失敗した話)

          shi3z

          1BitLLMの実力を見る

          1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 肝心の1Bit LLMの実装はここで公開されている。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git

          shi3z

          1BitLLMの実力を見る

          shi3z

          AI時代に起業するということ

          生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決

          shi3z

          AI時代に起業するということ

          shi3z

          YouTube更新するの大変だよなあ

          なんか普通に忙しくて、家から一歩も出ない日もそうでない日も 余計なことをする暇がなくなってしまった。 2022年の7月ごろから平日毎日更新を目指していた我がYoutubeチャンネルも、ついに先週、ネタ切れして穴を開けてしまった。 しかし苦情らしい苦情は特に来てないので別に毎日やらなくてもいいのか。 まあでも更新しないと寂しいという人がいるのでできるだけ平日毎日配信はしていきたいと思ってはいる。 しかし毎日YouTube更新するとか、drikinがやってることは本当に大変

          shi3z

          YouTube更新するの大変だよなあ

          shi3z

          結局アルゴリズムが大事という話

          こないだ作ったメールをいい感じに要約して適当な返信文まで考えてくれるツールを「まごころメール」と名付けた。 僕は過去に書いたいろんな本で「AI時代に価値を持つのは真心と思いやり」と締めくくっていたのだが、一番真心が足りてないのは僕だったようだ。 このツール、単なるネタではなく本当に仕事のやり取りに使っている。 面白いのは、一度手動で「※この文章は人工知能が作成し、清水が確認の上送信したものです」という一文をつけたら、次からそのスレッドでは自動的にこの文章が署名のところに入

          shi3z

          結局アルゴリズムが大事という話

          shi3z

          Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能

          Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れというこ

          shi3z

          Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能

          shi3z

          メールを代わりに読んで返信文を提案するAIツール作った【ソースコード付き】

          メールというツールがほぼ死に絶えているのだが、ここぞというときには便利なので結局捨てることもできない。 メールが死に絶えている理由は、主にスパムである。ちなみに某通販会社から大量に送られてくるスパムを止める方法は、その通販会社の社長に自動的にフォワードする設定をすることだという都市伝説がある。結構前に試しにやってみたら確かに止まった。 Facebookメッセンジャーもスパム対策としてはそこそこ便利なのだが、初見の相手からのメッセージは原則として受け取ることができない。メー

          500〜
          割引あり
          shi3z

          メールを代わりに読んで返信文を提案するAIツール作った【…

          shi3z

          花見をするために生きている

          6年ぶりにPCゲーム業界花見。 もうかれこれ25年くらい続いている恒例のお花見である。 コロナが明けて本格的に花見ができるようになった。 この日を待っていたぜ俺はずっと! しかし98年にDirectXの仕事をやっていた時はまさかコンシューマが衰退してPCゲームが生き残るとは思わなかった。あの頃の僕は22歳。まさに25年前である。 最近、自分を人に説明するのがどんどん面倒になってきていて、UberEats配達員ですら無くなってしまった僕は、もはやただのシラサー(シラス配信

          shi3z

          花見をするために生きている

          shi3z

          LoRAよりいいらしいLISA

          LISAという手法がLoRAより高性能らしく、場合によってはフルパラメータチューニングに匹敵するという https://arxiv.org/pdf/2403.17919.pdf 以下、図版は全てこの論文から Llama2-70Bにおける比較 確かに、Llama2-70B-FT(フルパラメータチューニング)よりもLISAの方が成績が良くなっている。 その上、メモリー消費量はLoRAより低い 驚異的なのは、ウェイトに対して勾配(gradient)、最適化(optimiz

          shi3z

          LoRAよりいいらしいLISA

          shi3z