アプリから有害コンテンツを簡単に弾く方法

New for Amazon Comprehend – Toxicity Detection | Amazon Web Services

要約

Amazon Comprehendはテキストからの洞察を抽出するサービスで、新たに有害コンテンツの検出機能を追加しました。この機能は、コメントのような外部からの投稿を受け入れるアプリケーションの安全性を高めるのに役立ちます。また、大規模言語モデルからの入力プロンプトや応答を監視するために、生成AIと共に使用することも可能です。有害コンテンツ検出機能はAWSコマンドラインインターフェース（CLI）およびAWS SDKを通じて利用できます。具体的には、AWS CLIの新しいdetect-toxic-contentサブコマンドを使用してテキスト内の有害性を特定し、分析された各テキストセグメントに対してラベルのリストとスコアを提供します。

GPT-4よりも実装は楽そう

確かにGPT-4を使えば解決できると言われればそうなのですが実装の手間などを考えればAmazon Comprehendで有害なコンテンツをフィルターするのはありだと思う。

実際に今後実装してみようと思う。