Oumuamua-7b-instruct-v2は、mlx環境で動きましたが、Ollamaのライブラリーに以下の４つをpushしました。
Q4_0
Q5_K_M
Q8_0
f16
変換してpushしただけなので、自分もほとんどまだ触っていませんので、ぜひぜひご利用ください。