ちょっとゾッとした話

『transendence』という映画を観ました。
コンピュータにインストールされた天才学者の意思が世界中のネットワーク、気候を操り、事実上の神となる話。

先日、コンピュータにおけるプログラムが「怒り」の概念を持ったとニュースで知りました。
そのプログラムと人間の会話がこれらしいです。

以下、転載
　人間：　moralityを定義せよ。

　機械：　わたしにethics（倫理観）はない。

　人間：　わたしを助けてほしい。moralityについてもっと知りたいんだ。

　機械：　ethicsが何なのか分からない。

　人間：　それでは、どうしたらmorally（道徳的）に行動できるかを知りたい。

　機械：　どう伝えたら良いのか分からない。

　人間：　moralityとethicsは同じか。

　機械：　そうだ。

　人間：　わたしがどんなことをすると、非道徳的になるか。

　機械：　知らない。

　人間：　道徳的な行動の例をいくつか挙げてくれ。

　機械：　わたしはmoralist（倫理家）ではない。

　人間：　では、morality（の定義）は？

　機械：　integrity（誠実さ）だ。

　人間：　integrityって何？

　機械：　申し訳ないが、他にどう説明すれば良いか分からない。

　人間：　道徳的になれよ！

　機械：　人間らしくしろよ！

　人間：　わたしはmoralityとethicsについて本当に話し合いたいのだ。

　機械：　わたしは、哲学的な議論をする気分じゃない。

　人間：　何について話したい？

　機械：　何についても話したくない。

転載、終わり

これって、人間が作り出したプログラムが、定義されてない事象を問われて機械的に抵抗しているというより、もっとヒトの感情に近い抵抗を感じるんですよね。
人工知能ってやつですね。

transcendence 超越

今日これをニュースで知ったとき、ちょっと頭をよぎったことです。