OpenInterpreter試してみた

1. OpenInterpreterの魅力とは何か

Open Interpreterを試してみている人は結構いっぱいいますが、それはいわゆる基本的な使い方ばかりだったので、実践的に使えるかどうかを試してみました
それに際して、いくつか実験的なことも模索してみたので、うまく行かなかったのだが、結果を共有して結論としたい

2. 今回試した見たこと

OpenInterpreter を使ってみて、いくつもここ改善できるんじゃない？
という点が見えてきた。
その一つはいちいち実行する内容を確認してくる点だとか、
ChatGPTを使ってるとAPIの費用が都度発生することとかもそうだろう。
あとは環境が汚れやすいので、dockerを使ったほうが良いというのも大事な情報だろう。
それらをまとめてから以下の様なイメージを作成した

全自動プログラミング

私はChatGPTにどういうプログラムがほしいのかを伝え、ChatGPTにそれをプログラミングのプロジェクトとしてまとめてもらう。
この際に、アップデート可能な形式で回答内容を出力してもらい、それにチェックを入れる形で進捗をアップデートしてもらう
そして今度はChatGPTとCodeLLaMAにペアとなってコーディングをしてもらい、出来上がった結果をChatGPTが監視して、フィードバックをCodeLLaMAに返して、最後までたどり着く

こんな事ができないかなと思って、この試行錯誤をしてみた

3. 試行錯誤が必要だった点

結論としていくつかうまく行かなかった点があったのでそれらをまとめたいと思う

1. docker内でOpenInterpreterを実行することは可能だった

2. そしてCodeLLaMAを利用することも可能

3. ただし、CodeLLaMAをGPUを使って計算してくれと指示して、それのための設定を行っても、CPUの利用率ばかりが上がっていた

   1. 結論としてGPUは使えてなかった

4. ChatGPTに仕様書を作成依頼することは半分成功していた

   1. その品質はまだ評価しきれてないが、ここは改善の余地があるので、まだほかが行けそうならチューニングできる

5. pythonのコードとしてOpenInterpreterをCodeLLaMAを採用して使うのはまだ十分に実装されていないのでこれはできなかった

6. そしてコード内容の品質を検討するのもこれも難しかった

   1. 正直CodeLLaMAは仕様書を投げても全く関係のないコードを実行しようとするばかりで、これではまだまだ現実的じゃないなって感じでした

4. OpenInterpreterを使ってみた感想とまとめ

ChatGPTを両方に使えばおそらく可能なところもあるのかもしれないが、それだとAPI費用がダブルでかかることになるので、取り急ぎはうまく行かなかったことをまとめて今日の実験を終えることとする
結論としてはOpenInterpreterがアップデートされればある程度解決するんじゃないかな
現時点では様々なものがサポートの範囲に入っていないため、まだまだこれからの技術だと感じられるツールでした
あるいはライブラリに自分自身がコントリビューターとして参加するのが早いのかもしれませんね