shi3z

ハッカー / テクニカルエンスージアスト UberEats配達員(多忙のため休業中)

shi3z

ハッカー / テクニカルエンスージアスト UberEats配達員(多忙のため休業中)
  • 商品画像

    検索から生成へ 生成AIによるパラダイムシフトの行方

    清水 亮
  • 商品画像

    教養としての生成AI (幻冬舎新書)

    清水亮
  • 商品画像

    マンガ-教養としてのプログラミング講座 (単行本)

    清水亮

  • shi3z note

  • shi3酒乱

    shi3zが酒乱となって世界の食と酒を堪能するッ!

  • 商品画像

    検索から生成へ 生成AIによるパラダイムシフトの行方

    清水 亮
  • 商品画像

    教養としての生成AI (幻冬舎新書)

    清水亮
  • 商品画像

    マンガ-教養としてのプログラミング講座 (単行本)

    清水亮

    • shi3z note

    • shi3酒乱

  • 固定された記事

無償LLM 日本語能力ベンチマークまとめ(23/11/15)

日々新しいオープンソースのLLMまたはllama2のような無償使用可能なLLMが出てくるので定期的にベンチマークをとって性能評価をまとめておきます。新しい日本語対応LLMが出るたびに更新していきます。 23/11/15Japanese-MT-BenchRWKV-V5-World-1.5Bを追加。他の3Bモデルと遜色ない性能 RWKV-V5-World-v2-3Bを追加 23/11/9Japanese-MT-BenchGPT-4-Turbo-1106のベンチマークを追加。

shi3z

    • llama2-13Bを日本語マルチターンデータセットで訓練したモデルを公開しました

      MeZOを使ってllama2-13Bを日本語マルチターンデータセットで訓練しました データセットを新しいものに対応させるためにtasks.pyとtemplate.pyとmezo.shに変更を加えています。 tasks.py class ChatDataset(Dataset): metric_name = "f1" generation = True def __init__(self, subtask=None, **kwargs) -> None:

      shi3z

      • AIスーパーコンピュータ「継之助」 試運転 34Bモデルを動かしてみる

        よし、A100 80GB単体では動作できなかった34Bモデルをいよいよ動かしてみるぞ! と意気込んだものの、ダウンロードにガッツリ時間がかかるので二日寝かせた。 いよいよ試運転開始。A100 80GBx8が火を吹くぜ。 でもまだ本気は出さない。 A100 80GBx8の20%も使ってない。このくらいだと温度も高くならない。 shi3z@tsuginosuke:/mnt/hdd$ nvidia-smiWed Nov 29 04:01:24 2023 +----

        shi3z

        • AIスーパーコンピュータ「継之助」爆誕!とりあえずRAID0で12TBのディスクをインストールする

          ついにA100 80GBx8のマシンが稼働した。ここまで長かった。 まずGPUだけ先に届いて、次にNVLINKだけ届いて、さらに1.5ヶ月待ってやっとシャーシが届いて、その間にデータセンターとなる部屋を契約して、電気工事して、200V電源を用意して、机と椅子を組み立てて・・・朝から晩まで汗だくになりながら作業を行なった。 純正品はケチケチ仕様で発注したので1TBしかNVMeを入れてなかった。 VRAM640GBのマシンなので、HDDの方がVRAMとあまり変わらない容量になっ

          shi3z
        • 固定された記事

        無償LLM 日本語能力ベンチマークまとめ(23/11/15)

        shi3z

        • llama2-13Bを日本語マルチターンデータセットで訓練したモデルを公開しました

          shi3z

        • AIスーパーコンピュータ「継之助」 試運転 34Bモデルを動かしてみる

          shi3z

        • AIスーパーコンピュータ「継之助」爆誕!とりあえずRAID0で12TBのディスクをインストールする

          shi3z

        マガジン

        マガジンをすべて見る すべて見る
        • shi3z note
          shi3z
        • shi3酒乱
          shi3z

        記事

        記事をすべて見る すべて見る

          日本語Wikipediaのマルチターン会話データセット10万個を作りました

          GPT-3.5-Turboを使って、約一ヶ月かけて日本語のWikipediaの項目をもとに先生と生徒が会話するマルチターンデータセットを作りました。 GPT-3.5を使っているため取り扱いには注意が必要ですが、とりあえず「日本語の高性能LLM」を作ってみる実験はできるはずです。 GPT-4でもやってみようかなと思っていますが、GPT-3.5でも一ヶ月でかなりの出費があり、GPT-4で同じ分量のデータセットを作るとなると数十万円から数百万円かかりそうです。また、単純にGPT

          shi3z

          日本語Wikipediaのマルチターン会話データセット10万個を作りました

          shi3z

          こんなに旨いレタスって有り得んの!?カマタ農園のカカオ栽培レタス

          指宿の起業塾みたいなところに呼ばれて、電車が好きなので電車で行ってきた。飛行機とかね、嫌なんだよね。なんか結構な頻度で遅れるし。細かい決まり事は多いし。極力乗りたくない。 そんなときに電車ですよ。 新幹線ってすごい乗り物で、今や全線WiFiが使えるし、乗車券と特急券を別々に買えば途中下車もできる。 指宿に行くのに名古屋で途中下車して山本家総本家で味噌煮込みうどんを食べ、新大阪駅では改札から出ずにネギ焼きを食べ、姫路では姫路城をちょっとだけ見て、岡山では青鰻を食べて、博多で

          shi3z

          こんなに旨いレタスって有り得んの!?カマタ農園のカカオ栽培レタス

          shi3z

          一人でマーダーミステリー!AIゲームエンジンを作った #GPTハッカソン24耐

          ゲームを画像を通して自動的に作るシステムは開発に失敗したので、考え方を変えてゲームシナリオを半分だけ与えて、そのさきは自分で何とかするAIマダミスゲームエンジンを開発した。 プレイヤーは刑事に疑いをかけられた容疑者の立場で、色々と上手いことを言いながらうまく言い逃れることができるか考える。これもやはりGPT-4-1106によってコンテキスト長が長くなった今だからこそ一貫性のあるやり取りが可能になったと言えるだろう。 これに対して、警視正の新畑豪三郎となったAIと色々とやり

          shi3z

          一人でマーダーミステリー!AIゲームエンジンを作った #GPTハッカソン24耐

          shi3z

          めちゃ雑なラクガキから超美麗イラストをリアルタイム生成するWebサイト(無料)

          表題の通り。最近話題のLCM-LoRAを使ったWebサービスが公開されました。 オープンソースなのでソースも見れる。 プロンプトに「girl」と入れれば女の子が、「robot」と入れればロボットが出てくる。別に何を入れてもいいし、いつものStableDiffusionのプロンプト芸みたいにしても良い。 新時代来たね サム・アルトマンは解任されても、AIの進化は止まることを知らない。 GPTハッカソンでもなんとか応用できないかなー

          shi3z

          めちゃ雑なラクガキから超美麗イラストをリアルタイム生成するWebサイト(無料)

          shi3z

          作りたいゲームを指示すると概念図を作ってから概念図に基づいてゲームの開発計画を立て、自動的にプログラミングするアプリを作ろうとした #GPTハッカソン24耐

          tldrawに影響されて、なんとかこの性質を応用できないか考えたところ、言葉から概念図をまず作り、それに基づいて計画を立て、長いプログラム(128Kトークンを活用)を書かせるようなアプリを作りました。 GPT4でDALL-Eのプロンプトを書き、DALL-Eが概念図を描き、それをGPT-4Vが読み込んで開発計画を立て、GPT-4がゲーム本体を生成するという段取りです。 例えばブロック崩しだとまず以下のようなプロンプトが生成されます。 そこからDALL-E3で概念図が生成さ

          shi3z

          作りたいゲームを指示すると概念図を作ってから概念図に基づいてゲームの開発計画を立て、自動的にプログラミングするアプリを作ろうとした #GPTハッカソン24耐

          shi3z

          写真とプロフィールから将来の運命を予測するシンギュラリティ占いを作った #GPTハッカソン24耐

          GPT4Vを使って写真とプロフィールを与えるとその人物の20年後の人生を想像し一日の物語を描く「シンギュラリティ占い」を作りました。 こんな感じのプロンプトを入れると ついでに20年後の姿も描いてくれます 事務所の都合で写真は出せないが、知人の35歳経済キャスターでもやってみた。 なんか面白いやんけ

          shi3z

          写真とプロフィールから将来の運命を予測するシンギュラリティ占いを作った #GPTハッカソン24耐

          shi3z

          GPT4で漫画みたいなものを自動生成させる #GPTハッカソン24耐

          さっきの絵コンテ生成をもっと細かく画像生成するようにして、漫画っぽい表現ができるようにしてみた。 一行ごとに画像生成させてみる。 ロボットアニメを作らせたら結構ロボットアニメっぽくなった。 ソースコードは以下

          shi3z

          GPT4で漫画みたいなものを自動生成させる #GPTハッカソン24耐

          shi3z

          GPT4を使って雑な絵を描くだけでロジックも入ったコードを書いてくれるOSS

          tldrawというオープンソースを魔改造して、雑な絵からロジックも入ったコードを生成してくれる頭のおかしいツールが今流行っている。 要するに こんな適当な絵を描いて「Make Real」ボタンを押すと・・・ Number Count Upは自動的にカウントが上がり、Clockはリアルタイムな時計になり、「Picture of girl」はインド風の少女を出している。すごい。 しかもこれ、完全にスタンドアロンで動作するHTMLなのである。 <!DOCTYPE html

          shi3z

          GPT4を使って雑な絵を描くだけでロジックも入ったコードを書いてくれるOSS

          shi3z

          GPTハッカソン24耐で絵コンテ自動生成ツールを作った

          ZETA株式会社の10万円の賞金を賭けてnote社のオフィスを借りたGPTハッカソン24耐。 僕もちょろっとプログラムを書いてみた。やっぱり周りでわちゃわちゃやってると捗る。 GPT4の最大の特徴だと僕が思っているのが、128Kコンテキスト長対応。 これがあれば極端な話、本一冊書けるはず。しかもDALL-Eもあるから挿絵付き。 というわけで一行だけテーマを入れたらお話を作ってくれる物語自動生成システムを作った。 ソースコードはこちら。開発期間は30分 以下はGPT-

          shi3z

          GPTハッカソン24耐で絵コンテ自動生成ツールを作った

          shi3z

          Copilot Studioを使ってみた。注意点と実際にかかるお金の話など

          Copilot StudioはMicrosoft 365 E5というお高いパッケージに入らないとプレビュー版すら使えないらしい。 仕方ないので会社で入りましたよ。会社に所属してるのは3人だけど、E5だと25人分のアカウントがついてくる。 しかし!!! 金さえ払えば使えるというほどイージーなものではなかったので皆さんにお伝えします。ちなみにE5に入っただけで月額45000円(1800円x25で)になりました(ただし七日間の試用期間中にキャンセルすれば無料に)。 まずMic

          shi3z

          Copilot Studioを使ってみた。注意点と実際にかかるお金の話など

          shi3z

          200Kトークン対応34BモデルNous-Capybaraをローカルで試す

          Nous-CapybaraはNous社によるYi 34Bのファインチューニングモデルだ。 RedditでGPT-4やGoliath120B(ゴリアテ)などとさまざまな比較が行われていて興味が出たので試してみた。 このスレ主はドイツのウルフラム・レイブンウルフ氏で、結論だけ言えば、さまざまな言語モデルを「ドイツ語の」専門的なデータセットによって試験した結果、1位がGPT-4 API、二位が2ビット量子化されたGoliath-120b-GGUF、三位がNous-Capybara

          shi3z

          200Kトークン対応34BモデルNous-Capybaraをローカルで試す

          shi3z

          ELYZAのJapanese-CodeLlama-Instruct-7Bを試す

          ELYZAがCodeLlama2を日本語化していたのでどの程度賢いか試してみました。 エラトステネスの篩(ふるい)は、素数表を求めるための古典的なアルゴリズムです。 些細な最適化はしてる。 最適化させてみる 何も変わってないように見える そこで試しに実行してみる。1から1億の間の素数表 def eratosthenes(n): sieve = [True] * (n + 1) sieve[0] = sieve[1] = False for i in rang

          shi3z

          ELYZAのJapanese-CodeLlama-Instruct-7Bを試す

          shi3z