Mistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功した

2023年10月6日 14:04

高性能と名高いMistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功。これで日本語版データセットの開発が捗るはず。

とりあえず機内での実験のためGGUF(8bit)で試した。GGUFで動くならGPUならもっと動くだろう

>>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS]
...      樋口 真嗣（ひぐち しんじ、1965年9月22日 - ）は、日本の特技監督・映画監督・映像作家・装幀家。
... ガイナックス、GONZO、Motor/lieZを経てオーバーロード所属。アニメ特撮アーカイブ機構副理事長や、IT企業のユビキタスエンターテインメントにおいてチーフ・ビジョナリー・オフィサーも務める。
... 愛称は「シンちゃん」（由来などは#人物像で詳述）。妻は、スタジオジブリでのハーモニー処理をしている高屋法子。
... 経歴
... 伝記の記載を年譜形式のみとすることは推奨されていません。人物の伝記は流れのあるまとまった文章で記述し、年譜は補助的な使用にとどめてください。（2020年11月）
... 東京都新宿区生まれ[1]、茨城県古河市育ち[1]。茨城県立古河第三高等学校卒業。1984年 高校卒業後に『さよならジュピター』の撮影見学時に特撮技術を志望[1]、同年『ゴジラ』の怪獣造形に携わることで映画界に入る[1][2]。最初の仕事は着ぐるみの脱ぎ着の補助だった。
... 1984年 『八岐之大蛇の逆襲』などで親交のあった庵野秀明らが設立したガイナックスに参加し[2]、『王立宇宙軍 オネアミスの翼』にて助監督をつとめる。1992年 村濱章司らとともにGONZOを設立（その後に離脱）。1995年 『ガメラ 大怪獣空中決戦』で特技監督を務め、日本アカデミー賞特別賞を受賞。
... 2002年 『ミニモニ。THE（じゃ）ムービー お菓子な大冒険!』で映画監督デビュー。
... 2005年 『ローレライ』を監督。2006年 『日本沈没』を監督。2007年 『ヱヴァンゲリヲン新劇場版:序』の、主にクライマックスのヤシマ作戦の部分を中心に画コンテを担当。
... 2007年 出身地である茨城県古河市の「古河大使」に就任。2015年 4月1日、2016年に公開の『シン・ゴジラ』で、監督と特技監督を務める（脚本と総監督は庵野秀明）[3]
... 2015年 『進撃の巨人 ATTACK ON TITAN』を監督（2015年8月1日公開）2015年 『進撃の巨人 ATTACK ON TITAN エンド オブ ザ ワールド』を監督（2015年9月19日公開）
... 2016年 『シン・ゴジラ』を監督（2016年7月29日公開）2017年 『シン・ゴジラ』が第40回日本アカデミー賞最優秀作品賞を受賞。同作で総監督の庵野秀明とともに最優秀監督賞を受賞。また同作で、庵野とともに第37回日本SF大賞特別賞を受賞した。アニメ特撮アーカイブ機構副理事長。
... 2018年 テレビアニメ『ひそねとまそたん』に総監督として携わる。</s>
... [INST]上記に関連するクイズを日本語でJSON形式で答えなさい。英語を使ってはいけません。JSON format{'question':'富士山の高さは?',answer:'3776m'}のようにすること[/INST]
... """,
...      "n_predict": 1024}
>>> response = requests.post('http://localhost:8080/completion',json=data)
>>> 
>>> print(json.loads(response.text)["content"])
{"question": "樋口真嗣はどれらの監督・映画監督・映像作家・装幀家で著しく知られていませんか？", "answer": ["ガイナックス", "GONZO", "Motor/lieZ"]}
{"question": "樋口真嗣の愛称はどちらですか？", "answer": ["シンちゃん"]}
{"question": "樋口真嗣の妻の名前はどちらですか？", "answer": ["スタジオジブリ"]}
{"question": "樋口真嗣について書いた「伝記」の書き方はどうですか？", "answer": ["年譜形式のみ"]}
{"question": "樋口真嗣について書いた「伝記」を流れのあるまとまった文章で書くことが推奨されていますか？", "answer": ["推奨されていません"]}
{"question": "樋口真嗣は何年輕に生まれましたか？", "answer": ["1965年9月22日"]}
{"question": "樋口真嗣はどこで育ちましたか？", "answer": ["東京都新宿区生まれ、茨城県古河市育ち"]}
{"question": "樋口真嗣の最初の仕事は何でしたか？", "answer": ["着ぐるみの脱ぎ着の補助"]}
{"question": "樋口真嗣について親交のあった庵野秀明らが設立した組織の名前はどうですか？", "answer": ["ガイナックス"]}
{"question": "「王立宇宙軍 オネアミスの翼」にて助監督をつとめることで映画界に入った樋口真嗣は何年でしたか？", "answer": ["1984年"]}
{"question": "「八岐之大蛇の逆襲」などで親交のあった庵野秀明らが設立した組織を名称として書いてください。", "answer": ["ガイナックス"]}
{"question": "「王立宇宙军 オネアミスの翼」にて助監督をつとめることで映画界に入った樋口真嗣はどのように映画監督デビューしましたか？", "answer": ["映画監督デビュー"]}
{"question": "「ミニモニ。THE（じゃ）ムービー お菓子な大冒険!」で映画監督デビューしましたか？", "answer": ["マッパンクス"]}
{"question": "「ローレライ」を監督しましたか？", "answer": ["1995年"]}
{"question": "「日本沈没」を監督しましたか？", "answer": ["1999年"]}
{"question": "「スカイウォーク」を監督しましたか？", "answer": ["2001年"]}
{"question": "「ドラゴンボルト」を監督しましたか？", "answer": ["2003年"]}
{"question": "「アクサイアゆるカイアンぉーレス」を監督しましたか？", "answer": ["2005年"]}
{"question": "「リ
>>>

で、まあまあデタラメな問題もあるが、まあまあ正解しているものもある。
これを目視か、または別のAI、またはMistral-Instruct-7B本人(?)に問い直してスクリーニングすれば日本語データセットを作るのが効率化できるはず。

今現在、ドスパラさんに寄贈いただいたA6000x2マシンでは、Oracaデータセットの日本語化を行っているが、それが終わったらWikipediaからクイズデータを作って完全にフリーな学習用データセットとして公開する予定です。

>>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS]
...      樋口 真嗣（ひぐち しんじ、1965年9月22日 - ）は、日本の特技監督・映画監督・映像作家・装幀家。
... ガイナックス、GONZO、Motor/lieZを経てオーバーロード所属。アニメ特撮アーカイブ機構副理事長や、IT企業のユビキタスエンターテインメントにおいてチーフ・ビジョナリー・オフィサーも務める。
... 愛称は「シンちゃん」（由来などは#人物像で詳述）。妻は、スタジオジブリでのハーモニー処理をしている高屋法子。
... 経歴
... 伝記の記載を年譜形式のみとすることは推奨されていません。人物の伝記は流れのあるまとまった文章で記述し、年譜は補助的な使用にとどめてください。（2020年11月）
... 東京都新宿区生まれ[1]、茨城県古河市育ち[1]。茨城県立古河第三高等学校卒業。1984年 高校卒業後に『さよならジュピター』の撮影見学時に特撮技術を志望[1]、同年『ゴジラ』の怪獣造形に携わることで映画界に入る[1][2]。最初の仕事は着ぐるみの脱ぎ着の補助だった。
... 1984年 『八岐之大蛇の逆襲』などで親交のあった庵野秀明らが設立したガイナックスに参加し[2]、『王立宇宙軍 オネアミスの翼』にて助監督をつとめる。1992年 村濱章司らとともにGONZOを設立（その後に離脱）。1995年 『ガメラ 大怪獣空中決戦』で特技監督を務め、日本アカデミー賞特別賞を受賞。
... 2002年 『ミニモニ。THE（じゃ）ムービー お菓子な大冒険!』で映画監督デビュー。
... 2005年 『ローレライ』を監督。2006年 『日本沈没』を監督。2007年 『ヱヴァンゲリヲン新劇場版:序』の、主にクライマックスのヤシマ作戦の部分を中心に画コンテを担当。
... 2007年 出身地である茨城県古河市の「古河大使」に就任。2015年 4月1日、2016年に公開の『シン・ゴジラ』で、監督と特技監督を務める（脚本と総監督は庵野秀明）[3]
... 2015年 『進撃の巨人 ATTACK ON TITAN』を監督（2015年8月1日公開）2015年 『進撃の巨人 ATTACK ON TITAN エンド オブ ザ ワールド』を監督（2015年9月19日公開）
... 2016年 『シン・ゴジラ』を監督（2016年7月29日公開）2017年 『シン・ゴジラ』が第40回日本アカデミー賞最優秀作品賞を受賞。同作で総監督の庵野秀明とともに最優秀監督賞を受賞。また同作で、庵野とともに第37回日本SF大賞特別賞を受賞した。アニメ特撮アーカイブ機構副理事長。
... 2018年 テレビアニメ『ひそねとまそたん』に総監督として携わる。</s>
... [INST]上記を鑑みて、{"question": "「ローレライ」を監督しましたか？", "answer": ["1995年"]}と言う回答は整合性が取れていますか? Answer in True or False[/INST]
... """,
...      "n_predict": 1024}
>>> response = requests.post('http://localhost:8080/completion',json=data)
>>> 
>>> print(json.loads(response.text)["content"])
False
>>> 
>>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS]
...      樋口 真嗣（ひぐち しんじ、1965年9月22日 - ）は、日本の特技監督・映画監督・映像作家・装幀家。
... ガイナックス、GONZO、Motor/lieZを経てオーバーロード所属。アニメ特撮アーカイブ機構副理事長や、IT企業のユビキタスエンターテインメントにおいてチーフ・ビジョナリー・オフィサーも務める。
... 愛称は「シンちゃん」（由来などは#人物像で詳述）。妻は、スタジオジブリでのハーモニー処理をしている高屋法子。
... 経歴
... 伝記の記載を年譜形式のみとすることは推奨されていません。人物の伝記は流れのあるまとまった文章で記述し、年譜は補助的な使用にとどめてください。（2020年11月）
... 東京都新宿区生まれ[1]、茨城県古河市育ち[1]。茨城県立古河第三高等学校卒業。1984年 高校卒業後に『さよならジュピター』の撮影見学時に特撮技術を志望[1]、同年『ゴジラ』の怪獣造形に携わることで映画界に入る[1][2]。最初の仕事は着ぐるみの脱ぎ着の補助だった。
... 1984年 『八岐之大蛇の逆襲』などで親交のあった庵野秀明らが設立したガイナックスに参加し[2]、『王立宇宙軍 オネアミスの翼』にて助監督をつとめる。1992年 村濱章司らとともにGONZOを設立（その後に離脱）。1995年 『ガメラ 大怪獣空中決戦』で特技監督を務め、日本アカデミー賞特別賞を受賞。
... 2002年 『ミニモニ。THE（じゃ）ムービー お菓子な大冒険!』で映画監督デビュー。
... 2005年 『ローレライ』を監督。2006年 『日本沈没』を監督。2007年 『ヱヴァンゲリヲン新劇場版:序』の、主にクライマックスのヤシマ作戦の部分を中心に画コンテを担当。
... 2007年 出身地である茨城県古河市の「古河大使」に就任。2015年 4月1日、2016年に公開の『シン・ゴジラ』で、監督と特技監督を務める（脚本と総監督は庵野秀明）[3]
... 2015年 『進撃の巨人 ATTACK ON TITAN』を監督（2015年8月1日公開）2015年 『進撃の巨人 ATTACK ON TITAN エンド オブ ザ ワールド』を監督（2015年9月19日公開）
... 2016年 『シン・ゴジラ』を監督（2016年7月29日公開）2017年 『シン・ゴジラ』が第40回日本アカデミー賞最優秀作品賞を受賞。同作で総監督の庵野秀明とともに最優秀監督賞を受賞。また同作で、庵野とともに第37回日本SF大賞特別賞を受賞した。アニメ特撮アーカイブ機構副理事長。
... 2018年 テレビアニメ『ひそねとまそたん』に総監督として携わる。</s>
... [INST]上記を鑑みて、{"question": "「八岐之大蛇の逆襲」などで親交のあった庵野秀明らが設立した組織を名称として書いてください。", "answer": ["ガイナックス"]}と言う回答は整合性が取れていますか? Answer in True or False[/INST]
... """,
...      "n_predict": 1024}
>>> response = requests.post('http://localhost:8080/completion',json=data)
>>> 
>>> print(json.loads(response.text)["content"])
True. The information provided mentions that a group named "ガイナックス" was founded by Shuhei Matsumoto and others, including Hidenori Araki, with whom he has a personal relationship.
>>>

あー判別できるね。
希望が見えたわ