はじめに
日本語のテキスト処理技術が急速に進化している現代。中でも、LINE が公開した japanese-large-lm という36億パラメータという大規模言語モデルは、多くの関心を集めています。このモデルは、日本語テキストの精緻な処理を目的として開発され、優れた生成や解析能力を持っています。そこで、この記事では、Google Colab を活用し、実際にネット記事の生成がどれほど上手く行えるのかを検証してみます。結論としてはネット記事を書くの難しいです。
Google Colab で LINE の japanese-large-lm を試す
ほぼこちらの記事の焼き回しですが、japanese-large-lm-3.6bを使って本当に使えるようなネットの記事を書くことができるのということを検証して行きます。
今回はcolab v100 GPUを使いました。(ランタイムタイプの変更=>
v100)
それでは実際私がネットの記事を書こうと思っていたchatgptと仕事について書いてもらいたいと思います。コードは上記のサイトと同じくこちらを使わせていただきます。チャットGPTのようにほにゃららなな記事を書いてと言ったら書いてくれるタイプのものではなく続きの文章を書くタイプのAIのようです。(GPT2がそんな感じでした。)
prompt = "この記事では、chatgptと仕事について詳しく解説します。"
このようにお願いしてみます。
prompt = "この記事では、chatgptと仕事について詳しく解説します。"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(
input_ids.to(device=model.device),
max_length=300,
temperature=1.0,
do_sample=True,
pad_token_id=tokenizer.pad_token_id,
)
output = tokenizer.decode(tokens[0])
print(output)
出力がこちら
ChatGPTの話が突然チャットワークに変換されて話が進んで行きます。この店はきついですね。おそらくChatGPTという言葉が学習されていないんじゃないかと思いました。せっかくなので別の言葉で置き換えて記事を書いてもらいます。ChatGPTではなくAIという言葉を使ってもう一度試してみましょう。
prompt = "この記事では、AIと仕事について詳しく解説します。"
ちょっと修正しなくてはいけないけどもギリギリ使えそうな文章ですね。
まだ続きがありそうだったので
max_length=500
にして再実行。出力はこちら、
パッと見使えないことはないんですが、文章にまとまりがないというか全体的なまとめを人間がしないと記事としては使えなそうなレベルです。
この辺もちょっと文章がおかしい感じがします。
prompt = "この記事では、AIとシンギュラリティについて詳しく解説します。"
max_length=700,
出力はこちら、
ChatGPT3.5レベルのものにこういう文章はなかなか出てこないなと絶望しました。
シンギュラリティを使ったりはしないですね。正直、ChatGPT3.5を使っている私たちからすると文章生成の精度がまだまだ足りないなと思ってしまいます。文章の要約の性能とかがあまり良くないのですかね。文章全体もまとまっていない感じがします。
モデル自体は無料ですがcolab v100GPUを使ったら,
上記の4つの文章を出力したら、
利用可能なコンピューティング ユニット数: 87.21になりました。1200円くらいで100ユニットのうち約13ユニットを使いました。ざっくり150円分。
結論、3.6Bのモデルでもまだネット記事を書くのは少し厳しいようです。言葉がおかしい部分や間違えて話が進む部分など少し言葉の理解が足りていないように感じられます。まとまりのない文章が生成されています。まだChatGPT3.5のほうが使い勝手がいいですね。