[技術日誌]モデル別で文章の類似度を判定する
8/9分の技術日誌
モデル別で文章の類似度を判定する環境構築
Google Colabratryを使用してるので、環境構築は不要です。
SentenceTransformers
下記のコマンドでライブラリをインストールします。
!pip install sentence-transformers
データセットの準備
モデルによっては、全く違う文章でも類似度の最大値が1として0.8を超える数値を算出するものもあります。
全く違う文章の類似度は低く、似た文章の類似度