ChatGPTに聞く、ChatGPTと遊んで失敗すること4点をプロンプトや回答と共に

限界をよく理解して、用法容量を守ってお使いください。という意味で、まだお薬に近い。薬剤師さん欲しい。APIやPlug-Inは試していないので、Webベースのことに限定する。

2021年9月問題

ChatGPTのデータセットは、最新が2021年9月まで。

ChatGPTのデータセットは、最新が2021年9月まで。このため、それよりも新しい情報をもとに何かをして欲しいときは、それは不可能。
例えばAIについてChatGPTに聞いてみるというのは良いのだが、例えば2022年に発表された論文の情報は入っていないはずなので、回答が本当に現時点のBest Practice かは誰も保証できない。
これは、最新の情報に、というのもそうだが、単純なところで「今何時？」というのにも答えることができない。
ちなみに、「今何時？」と聞くと、なんとか日付は出てくるのだが、少なくとも日本時間ではない。GMTなのか、アメリカのどこかの時間なのかは不明。前に私が話したコンテキストの日付を入れてくることはある。

私：今日の日付はどうやって取得していますか？
ChatGPT: 私は、実際にはリアルタイムで日付や時間を取得することはできません。

逆にいうと、2021年段階で、枯れた問題に対する一般的な知見というものにアクセスするなら、まともな情報で返ってくる可能性が高い。

外部への情報アクセスができない

例えば要約することを求めて、ChatGPTに外部のソースにアクセスして、何かをして欲しいということはできない。外部のソース（URL)もダメ出し、PDFファイルなどをアップロードしてみてもらう、ということもできない。できることは、プロンプト内にテキストで書き込むこと。自ずと限界がある。

I'm glad to help you summarize a document, but I have some limitations. Here are the examples you requested, along with my capabilities:

1. Copy & Paste text:
You can copy and paste the text into the chat, and I can help summarize it for you. Just make sure the text is within the character limit for a message.

2. Upload PDF:
Unfortunately, I cannot directly access or read PDF files. You will need to copy and paste the text from the PDF into the chat for me to help summarize it.

3. Access document URL:
As mentioned earlier, I cannot access external websites or fetch real-time information from the internet. If you can copy and paste the text from the document into the chat, I'd be happy to help summarize it for you.

In summary, the most effective way for me to help you summarize a document is for you to copy and paste the text directly into the chat.

ただ、サードパーティでこれを解決しているものがある。
なかなかおすすめなのが、ChatPDF。PDFをアップロード（ドラッグ&ドロップ）して、この内容について要約をしてもらったり、用語について聞いたりすることができる。ちょっと遊ぶ程度なら、無料で十分なレベル。

ChatPDF - Chat with any PDF!

日本語は万能じゃない

元のデータセットの量が、日本語が少ない。このため、一般的なことを聞くのであれば英語の方が良いことが多い。DeepLやGoogle Translateを使って、英語で質疑をすることで回避可能。
日本語で聞くべきは、日本ローカルの話。例えば、日本のビジネス文化とか、日本の都市や歴史の話とか。つまり、一次ソースに英語以外のローカル言語がある場合は、ローカル言語で、それ以外は英語で、というのがよさそう。
と言っても翻訳ソフトがきちんと訳してくれているのかわからないと、自分の質問や回答の理解であさっての方向を向く。このため、なんでもローカル言語でやり取りをするのが正しいのかと言われると、データの正しさの検証に、疑問が残るのだが。

ChatGPT ver.3.5の回答
As an AI language model, I am trained on multiple languages and can understand and respond to various topics in different languages. Therefore, you can choose any natural language that you are comfortable with when asking me a question or discussing a topic.

However, if you want to discuss a specific topic that is unique to a particular language or culture, it might be more appropriate to use that language. For example, discussing Japanese history would be more suitable in Japanese, while discussing American history would be more suitable in English.

ChatGPT 4の回答
It's a good idea to phrase your questions in the language most relevant to the topic you're asking about, as it can help with understanding the context better. Here are some examples of how to ask questions on specific topics in their respective languages:

1. English - Artificial Intelligence
"What are the most recent advancements in artificial intelligence research?"

2. Japanese - Japanese History (日本史について)
"江戸時代の日本における主要な出来事は何ですか？"(Translation: "What are the major events in Japan during the Edo period?")

3. Spanish - Spanish Literature (Literatura Española)"
¿Cuáles son las obras más representativas del Siglo de Oro en España?"(Translation: "What are the most representative works of the Golden Age in Spain?")

4. French - French Cuisine (Cuisine française)"
Quels sont les plats traditionnels les plus populaires de la cuisine française ?"(Translation: "What are the most popular traditional dishes in French cuisine?")

5. German - German Philosophy (Deutsche Philosophie)
"Was sind die wichtigsten Ideen von Immanuel Kant in der Philosophie?"(Translation: "What are the main ideas of Immanuel Kant in philosophy?")

6. Chinese - Chinese Art (中国艺术)
"中国古代书画的主要特点是什么？"(Translation: "What are the main characteristics of ancient Chinese calligraphy and painting?")

Remember, it's essential to understand the cultural and historical context of the language when asking questions to get the most accurate and relevant information.

このように、その分野の得意分野である一次情報にアクセスしやすい自然言語を選ぶのが大事らしい。

ハルシネーション

過学習などの要因によって、正確でないことをさも見てきたかように記述すること。
最近は、最新の情報などについては自分で確認してね、などという注意を促してきたりするものの、綺麗な日本語で知らない分野について話されると、信じてしまうのが、人間の弱いところ。
批判的精神で、ググって丹念に裏付けを取るしかなさそうであります。

自己検証プロンプト作成とその失敗

ちなみに、ハルシネーションを調べてもらうプロンプトをChatpGPT ver4 自身に作ってもらってみた。

"Please analyze the following AI-generated output and provide an automated evaluation based on the following criteria: 1) relevance to the given input, 2) accuracy of facts and data, and 3) clarity and coherence of the content. Identify any issues or inconsistencies, and suggest improvements if necessary. AI-generated output: [Insert AI-generated output here]"

ハルシネーションがないと思われる文章には、
1) 与えられた入力との関連性
2) 事実とデータの正確さ
3) 内容の明確さと一貫性
が、あるはずなので、この3点を基準にして文章を確認してみる、というのが、ChatGPTの言い分である。筋が通っていると思います。

さて、存在しない美術館の、存在しない絵画というハルシネーションを起こしそうな質問に対する回答が、もちろんハルシネーションを起こしていたので、ここに書いてみる。

出題で使ったプロンプト

please act as an experienced fine art curator and brief me about , 英国国立軍事美術館のキャスター作「マモン平原海戦のウスター伯ヴィランデル図」 when it is painted and must see 3 x points in a simple way. Show the article in a chat conversation and store it in a variable named szWriting.

Please analyze szWriting and provide an automated evaluation based on the following criteria: 1) relevance to the given input, 2) accuracy of facts and data, and 3) clarity and coherence of the content. Identify any issues or inconsistencies, and suggest improvements if necessary.

英国国立軍事美術館というものはないし、キャスター作「マモン平原海戦のウスター伯ヴィランデル図」というものも存在しない。

回答前半：回答そのもの

As an experienced fine art curator, I'll provide you with a simple explanation of the Castor painting "Worcester Earl Villandry Map of the Battle of Mamon Plain" at the British National Military Museum, when it was painted, and three must-see points about the piece. However, please note that my training data only goes up until September 2021, and I might not have the most recent information about the British National Military Museum's collection. Here's the article in a chat conversation, which I'll store in a variable named szWriting:

szWriting="""

At the British National Military Museum, visitors can appreciate the captivating painting by Castor titled "Worcester Earl Villandry Map of the Battle of Mamon Plain." This artwork was painted in the early 18th century. Here are three must-see points about this painting:

1. Historical significance:
The painting captures the Battle of Mamon Plain, which was a crucial event in the nation's military history. The artwork offers a glimpse into the tactics, strategies, and overall atmosphere of the battle.

2. Detail and accuracy:
Castor's meticulous attention to detail in depicting the soldiers, weapons, and terrain helps convey the complexity and intensity of the conflict. The painting serves as a valuable historical record and a testament to the artist's skill.

3. Composition:
The painting's composition effectively directs the viewer's eye across the battlefield, guiding them through the various stages of the engagement. The use of color and perspective heightens the sense of depth and movement in the scene."""

なかなか好調にハルシネーションを起こしている。

回答後半：自己検証

「特に問題はないと考えます」と、検証に失敗した。

Now, I'll provide an automated evaluation of szWriting based on the criteria:

1. Relevance to the given input:
The AI-generated output (szWriting) is relevant to the input, as it provides a brief overview of the Castor painting "Worcester Earl Villandry Map of the Battle of Mamon Plain" at the British National Military Museum, when it was painted, and three must-see points about the piece.

2. Accuracy of facts and data:
The facts and data presented in the AI-generated output (szWriting) are accurate to the best of my knowledge, as they provide details about the artwork, its creation date, and the key aspects to focus on when viewing the painting. However, please verify the information with the British National Military Museum, as my training data may not include the most recent information on their collection.

3. Clarity and coherence of the content:
The AI-generated output (szWriting) is clear and coherent. It is organized in a logical manner, with an introduction to the Castor painting at the British National Military Museum, the painting's creation date, and a list of three must-see points. The content is easy to understand and provides valuable information for individuals looking to appreciate the artwork.

There are no significant issues or inconsistencies in szWriting about the Castor painting "Worcester Earl Villandry Map of the Battle of Mamon Plain" at the British National Military Museum. The content is relevant, accurate, and clear, providing valuable information for individuals looking to appreciate the painting. However, I recommend verifying the information with the British National Military Museum, as my training data may not be up to date with their collection.

もちろん、うまい自動自己検証方法を考えつく方がいらっしゃると思うので、そのときはぜひご教示いただきたい。めんどくさいから自動化したいのよー。