要約「JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～」

https://www.youtube.com/watch?v=TVaB5R4-uOE&ab_channel=日本ディープラーニング協会

• スケール則、学習データ増やせば性能が上がる

• gpt3で学習に数十億円

• gpt3ですごいことは研究者たちはわかっていた、chatGPT出現

• facebookよりinstaよりtiktokより最速で普及

  • 1億人のユーザ

  • 世界で活用方法を探している

  • 学校：chatGPTで宿題禁止、論文：chatGPTで投稿禁止

• なぜ流行っているか

  • 炎上しないつくり

  • 技術の蓄積＋ソーシャルな相互作用

• 検索がなくなる

• officeの製品がすべて変わる（MS有利

• 炎上しないようにトレーニングで〇×をつけている

  • 〇×のつけ方で業界特化につかえる

• 壁打ちに使いたい

• いっぱい使おう

• すごいことがおこっている

  • double desenct、grokking：過学習後の精度向上

• プロンプトが大事（再学習、ファインチューニングは大変

  • 再学習

  • ファインチューニング

  • プロンプトエンジニアリング

• 思考連鎖を使おう（chain of thought

  • Let’s think step by step

  • 大規模モデルじゃないと発現しない（原因不明

  • 外部知識との接続

  • GPT Blockly by Zelpm

• ワイゼンバウム症候群

  • LLMにも限界があるはず

• いろんな倫理問題が

  • 著作権

  • 肖像権

• ネット上にはゴミ記事がたくさん増える

  • 学習データにゴミが混ざる

  • 人間の記事が重要になる

    • 有料

    • 高額になるはず

• とにかく、まずはみんなで使ってみよう