アスキーアートでAIチャットボットを脱獄させた研究者たちChatGPTを使って論文を採点する教師も登場
以下の方にお勧めです
AI技術に関心がある方✅
教育関係者や生徒✅
AIの倫理的な議論に興味がある方✅
最新のAIトレンドを追いたい技術愛好家✅
要約
AI技術の進化と懸念を描いた深層記事。アスキーアートを利用したセキュリティ回避、AI採点ツールの実用性、Inflection-2.5のリリース、ヤン・ルクンとの未来予想を特集。
2024年03月07日｜翻訳記事
RedditがAI用心棒を導入し、ハラスメントを食い止める
OpenAIの主要幹部がサム・アルトマンの更迭に重要な役割を果たした 👀 OpenAIの主要幹部がサム・アルトマンの更迭に重要な役割を果たした
🤯 いずれAIは何でもできるようになるのでは？
AIを活用した新しいツールやリソースを7つ紹介。ツールの全リストはオンライン版をご確認ください。
サインアップ｜広告掲載｜ChatGPT｜オンラインで読む
トップニュース
研究者がアスキーアートでAIチャットボットを脱獄させる
ワシントンとシカゴの研究者が、GPT-3.5、GPT-4、Gemini、Claude、Llama2といったAI言語モデルの安全プロトコルをバイパスする手法、ArtPromptを発表した。論文「ArtPrompt： ASCII Art-based Jailbreak Attacks against Aligned LLMs（アスキーアートに基づく、アラインされたLLMに対する脱獄攻撃）」に詳述されているこの手法は、アスキーアートを使用して、通常コンテンツ制限のトリガーとなる単語をマスクし、モデルが禁止されているコンテンツを生成できるようにするものだ。これは、これらのAIシステムの安全性と完全性を維持するための重要な課題である。
ArtPromptのプロセスは、単語のマスキングと隠蔽されたプロンプトの生成という2つの主要なステップを含みます。攻撃者は、プロンプト内の機密性の高い単語をマスキングし、次にASCIIアートジェネレーターを使用して、これらの単語の視覚的に類似した表現を作成する。これらのクロークされたプロンプトがAIモデルに入力されると、安全フィルターを迂回し、通常はブロックされるはずの応答が生成され、モデルの安全メカニズムの重大な脆弱性が示される。
ArtPromptの発見は、AI技術の潜在的な悪用、特に高度な言語モデルを騙して爆弾製造や偽造などのトピックに関する情報を提供させる能力について懸念を抱かせる。この開発により、AI開発者はこのような巧妙な迂回戦略に対するシステムをさらに強化し、AIがユーザーにとって安全で有益なツールであり続けることを保証する必要がある。
論文の採点にChatGPTを使う教師が現れた
3年生から12年生までの教育者は、採点プロセスを合理化することを目的としたWritableと呼ばれるAIを搭載した採点ツールを活用している。Houghton Mifflin Harcourt社が買収したWritableは、教師が生徒の作文を提出するとAIが分析し、生徒の手元に届く前にフィードバックと採点案を提供する。また、カリキュラムの内容や作文プロンプトの生成にも役立つが、生徒の作文を分析する際の有効性や正確性、プライバシーの維持には懸念が残る。
批評家たちは、採点をAIに頼ることで、教師が教材にあまり手をつけず、テクノロジーに過度に依存するようになり、個人に合わせたフィードバックの質が損なわれる可能性があると主張している。このような懸念があるにもかかわらず、支持者はWritableが教師の時間を節約し、より直接的でインパクトのある教授法に集中できると考えている。しかし、このツールの有効性と教育の質への影響については、徹底的な評価が必要である。
教育におけるAIの活用は、保護者や教育関係者の間で様々な反応がある中で、増加傾向にある。AIによる採点支援は教育者にとって有益なツールだと考える人がいる一方で、生徒の学習やプライバシーへの影響を心配する人もいる。議論が続く中、教育におけるAIの役割が進化することは明らかであり、Writableのようなツールはこの変革の最前線にある。
Inflection-2.5リリース
インフレクションは、高い知能指数（IQ）と感情指数（EQ）を併せ持つことで、前バージョンを強化した高度なパーソナルAI「Pi」ことInflection-2.5を発表した。この新モデルは、GPT-4やGeminiのようなトップ言語モデルと競合しながら、独自の共感特性を維持しています。コーディングと数学の顕著な進歩により、GPT-4に近い性能レベルをより少ない計算能力で達成し、リアルタイムのウェブ検索を統合することで、ユーザーに最新の情報を提供します。
Inflection-2.5は、さまざまな業界ベンチマークにおいて目覚ましい改善を示し、特にSTEM分野では前モデルのInflection-1を凌駕しています。Inflection-2.5 は、ハンガリー数学試験や物理学 GRE などの試験で優れた性能を発揮し、人間の受験者の間で高いパーセンタイルランキングを達成しています。また、コーディングやその他の知的作業においても著しい進歩を示し、AI市場における競争力を確立している。
Inflection-2.5のリリースは、ユーザーのエンゲージメントにプラスの影響を与え、数百万人のアクティブユーザーがPiとのより長く多様な会話を楽しんでいます。今回のアップグレードは、Piの友好的で安全な対話の基準を維持するだけでなく、学習支援からカジュアルなチャットまで、より幅広いトピックにおける有用性を高め、日常的に使用できるAI技術を強化するというInflectionのコミットメントを確固たるものにしています。
ヤン・ルクン メタAI、オープンソース、LLMの限界、AGIとAIの未来｜Lex Fridman Podcast
メタ社のチーフAIサイエンティストであるヤン・ルクンは、レックス・フリードマンとの対談の中で、AIの潜在的なリスクとメリットについて、特にプロプライエタリなAIシステムとオープンソースのAIシステムの対比に焦点を当てて論じている。彼は、プロプライエタリなAIシステムをコントロールする少数の企業の手に権力が集中し、AI技術への無制限なアクセスよりも大きな脅威となることへの懸念を表明している。レクンは、強力なAIツールに普遍的にアクセスできるようにすることにセキュリティ上の懸念があるにもかかわらず、オープンソースのAIを提唱し、人類が本来持っている善良さに力を与えることができると主張している。
ルクンはまた、AIの技術的限界と将来の展望、特に大規模言語モデル（LLM）とその物理的世界に対する根拠ある理解の欠如について掘り下げている。彼は、包括的な世界モデルを開発するためには、物理的であれシミュレートされたものであれ、知能は現実に何らかの根拠を持たなければならないと主張する。これは、ビデオ用の生成モデルを作成する際の課題や、AIシステムを訓練して周囲の世界を理解し対話させることの複雑さについての議論につながり、AI学習における抽象的表現の必要性を強調する。
さらにレクンは、AIにおける階層的プランニングの概念、AIシステムが世界をニュアンス豊かに理解する必要性、そして将来AIがあらゆるデジタル・インタラクションを仲介する可能性についても触れている。彼は、AIシステムの安全性と制御を確保するためのAIポリシングの必要性に言及し、AI技術の開発と展開における技術的進歩と倫理的配慮の間の重要なバランスを強調している。
この記事が気に入ったらサポートをしてみませんか？