Llama-cpp-python研究: StableBeluga2用 Terminalスクリプト

Llama-cpp-pythonのドキュメントを読んでもピンとこないので、githubにあるコードを見取り学習してます。 こちらは難しくてよくわからなかった。 わかりやすい感じだったのはこちら。 特に参考になったのは、こちら とくに、これを参考 してストリーミングで出力させるあたりを活用させてもらいます。 def chat( model_name: Annotated[str, typer.Option(help="Model name")] = "go-br