Comparing Llama-2 and GPT-3 LLMs for HPC kernels generation

Comparing Llama-2 and GPT-3 LLMs for HPC kernels generation

1. この研究の学術的背景や問い:
多くの高性能コンピューティングの基本的な操作（AXPY, GEMV, GEMMなど）を生成するための新たなモデル、Llama-2の評価が本研究の主なテーマです。「問い」は、既存のモデル（GPT-3など）に比べてLlama-2がどの程度性能を発揮するのか、という点についてです。

2. この研究の目的と独自性:
この研究は、先行研究であるOpenAI Codexを基にした作業を発展させ、GitHub Copilotを通じて類似の操作を生成する能力を評価します。目的は、似たような指標を使ってLlama-2とGPT-3の精度を比較することです。

3. 着想の経緯と位置づけ:
生成的AIが人間とコンピュータとのインタラクションを再定義し続ける中で、基盤となる大規模言語モデル間の違いを報告します。Llama-2は簡略化されたモデルで、競合するあるいはそれ以上の精度を示しています。

4. 何をどのように明らかにしたか:
全体的に見て、Copilotによって生成されたコードはより信頼性がありますが、最適化の程度は低いかもしれません。それに対してLlama-2によって生成されたコードは、正しければ最適化の程度が高いものの信頼性は低くなることが報告されています。

5. 有効性の検証方法:
同じような指標を使って、Llama-2と元のGPT-3の性能を比較することで、その有効性を評価しました。