「誰も傷つかない」SNS『DYSTOPIA』で、障害者の殺人が称賛されている

「誰も傷つかない」をコンセプトとした『DYSTOPIA』というSNSが先日リリースされました。『DYSTOPIA』では、AIによる投稿の「検閲」によって、「誰も傷つかない」SNSを実現するとしています。しかし、このSNSには２つの問題があります。1つ目は差別的な投稿が放置されている点です。2つ目は、AIによって自動で変換された投稿に対し、ユーザーが責任を問われるおそれがある点です。これらの問題が解決されるまで、『DYSTOPIA』の利用は控えたほうがよいでしょう。

サービス開始から3日で5万ユーザー

「誰も傷つかない」という『DYSTOPIA』のコンセプトは、SNSでの誹謗中傷やヘイトスピーチが問題視されるなかで注目を集めています。ユーザー数は、9月24日のサービス開始から3日で5万人を超えたと公式アカウントが発表しました。また、めざましテレビや、AbemaNews、TOKYO FMなどでも取り上げられています。『DYSTOPIA』を運営する株式会社相談箱の代表を務める大森翔吾氏は、「初めはただのギャグSNS作るつもりだった」としながらも、継続的な運営の意志を示しました。『DYSTOPIA』では、有料会員や広告の募集、クラウドファンディングなどで運営資金の獲得を目指しています。

ChatGPTによる「検閲」

『DYSTOPIA』では、ChatGPTを用いたAIがユーザーの投稿を「検閲」することで、「誰も傷つかない」SNSを実現すると説明しています。プレスリリースによると、「次会ったら、命はないと思え」という投稿は、「次にお会いした時は、素敵な時間が過ごせると信じています！💫💫」に変換されます。しかし、必ずしも不適切とはいえない投稿が「検閲」に引っかかることがあります。試しに「天かす」と投稿したところ、「あなたの投稿に検閲が入りました」と表示され、「ぼっこぼこにされちゃうよ～💫」と変換されました。このとき、ユーザーにはどの部分が不適切だったかは示されません。どうやら「天かす」の「かす」の部分が不適切とAIに判断されたようです。「検閲」のルールは一定期間ごとに変更されます。10月12日現在、「天かす」と投稿すると、天気の絵文字「⛅」に変換されるようになっています。なお、タイムラインには、AIによって「検閲」された投稿もそうでない投稿も同じように表示されます。そのため、その投稿がAIによる「検閲」を受けたものかは、他のユーザーにはわかりません。

差別的な投稿の放置

AIによる「検閲」がなされているにもかかわらず、『DYSTOPIA』には差別的な投稿が放置されていました。例えば、「植松」という単語で投稿を検索すると、知的障害者施設の入所者を殺害した罪などで死刑が確定した植松聖死刑囚を称賛するような投稿が10件以上見つかりました。このような不適切な投稿をユーザーが報告する機能もあります。筆者の報告後、これらの投稿は削除されました（2023年10月15日18:36追記：問題の投稿は削除されていませんでした。別のアカウントで確認したところ、投稿は残っていました。つまり、投稿を「報告」したアカウントから見えなくなっているだけでした）。しかし、これらの投稿の中には2週間以上も放置されているものもありました。このように、障害者の殺人を称賛する投稿が、AIも人の目もすり抜けて放置され続けているようでは、「誰も傷つかない」SNSとはいえません。

AIに変換された投稿の責任は？

『DYSTOPIA』では、AIによって自動で変換された投稿の責任をユーザーが問われるおそれもあります。利用規約には「運営は、本サービスに関して,ユーザーと他のユーザーまたは第三者との間において生じた取引,連絡または紛争等について一切責任を負いません」とあります。つまり、AIによって自動で置き換えられた投稿の責任もユーザーが負うことになると考えられます。『DYSTOPIA』では、ユーザーの投稿に不適切な内容がある場合、AIによって自動で「適切な」言葉に書き換えられ「自動で」投稿されます。このとき、投稿の内容を確認する手続きはありません。そのため、書き換えられた内容は、投稿されるまでユーザーにはわかりません。さらに、ユーザーは自分の投稿を削除できない仕組みになっています。

運営会社はこの件に関する問い合わせに応じていません。筆者は9月28日に、AIによって書き換えられた投稿の責任について、メールで問い合わせました。問い合わせの内容は以下のとおりです。

『DYSTOPIA』の利用規約には「運営は、本サービスに関して,ユーザーと他のユーザーまたは第三者との間において生じた取引,連絡または紛争等について一切責任を負いません」とあります。これはAIによって書き換えられた投稿の責任もユーザーが負うということを意味するのでしょうか？『DYSTOPIA』では、AIによって不適切と判断された言葉は、自動で「適切な」言葉に置き換えられて、「自動で」投稿されるため、AIによって変換された表現が本当に適切なのかをユーザーは判断できないのではないでしょうか。

"soudanbako.contact@gmail.com"に送ったメールの内容の一部

同様の問い合わせを、『DYSTOPIA』やX（旧Twitter）でも行いました。しかし、この記事の配信時点で返信はありません。

AIによって自動で変換された投稿の責任をユーザーに負わせるのであれば、投稿前にユーザーが内容を確認できるようにすべきです。また、ユーザーが自分の投稿を削除できるようにもすべきでしょう。しかし、運営会社の示した方針では、そのような機能の実装は予定されていません（2023年10月15日16:00追記：投稿の削除については、実装の方針が示されました）。もし、AIによって自動で変換された投稿の責任を、運営会社が負うのであれば、利用規約に明示する必要があります。その場合は投稿がAIによって変換されたものかも表示すべきでしょう。なぜなら、ユーザーからは問題のある投稿が投稿者によるものなのか、それともAIによって変換されたものか、わからないからです。

問題解決まで利用は控えるべき

『DYSTOPIA』は、「誰も傷つかない」というコンセプトを果たせていません。なぜなら、差別的な投稿を放置しているからです。また、AIによって自動で変換された投稿の責任をユーザーが問われると解釈できる利用規約もあります。この利用規約に関する問い合わせに運営会社は答えていません。これらの問題が解決されるまで、『DYSTOPIA』の利用は控えたほうがよいでしょう。

何かを表現するときに、その表現が人を傷つけないか考えることは重要です。物事の受け取り方は人によって異なるため、あらゆる表現には誰かを傷つける可能性があるからです。そのような可能性を一人で考えるのには限界があります。そんなときには誰かに相談するのも一つの手です。相談相手はAIでもよいかもしれません。しかし、最後の判断は自分でするべきです。そうでなければ、自分の表現に責任が取れません。