見出し画像

対照学習とは (Contrastive Learning)

対照学習とは


対照学習(Contrastive Learning)は、自己教師あり学習の一つ(機械学習の手法の一つ)で、ラベル付けを行うことなく、データ同士を比較する仕組み用いて、膨大なデータをそのまま学習できる自己教師あり学習の一つです。
似たデータは近くに、異なるデータは遠くになるように特徴量を学習します。


コンピュータービジョン、自然言語処理(NLP)領域で活用が期待されています。代表的な手法に、SimCLR、PCL、BYOLなどがあります。

※詳細な学習方法は論文の5 Trainingをご参考ください。

画像引用元:https://arxiv.org/pdf/2011.00362.pdf

自己教師あり学習とは


ここで突然出てきた自己教師あり学習(Self-supervised Learning)の解説も合わせて行います。

自己教師あり学習とは、Self-supervised Learningの頭文字をとったSSLと略されることもあり、ラベル無しデータを用いた教師なし学習の一種です。

自己教師あり学習は、データ自身から独自のラベルを機械的に作り、学ばせるようなタスクです。そのため、我々はラベルを用意する必要がありません。
ディープラーニングを含む機械学習は教師あり学習、教師なし学習、強化学習の3つに大別されることが一般的ですが、現実社会の問題を解決するにあたって、ラベル付きのデータを大量に用意するのは、骨が折れます。

そこで、ディープラーニングの研究開発が進むにつれ、ラベルが無いデータを用いたディープラーニングの手法が模索されてきています。

自己教師あり学習では、このラベル付けを機械的に行えることから、注目を浴びています。(分類としては教師無し学習の1種になります。)

対照学習論文

対照学習並びに自己教師あり学習に関して説明しましたが、下記から対照学習の論文にアクセスすることが出来ますので、是非チェックしてみてください。

最後に

月額980円で、Pythonを中心に機械学習、データサイエンス、WEB開発、SQL、スクレイピング、Julia、R、Gitなどが学べる「AI Academy」を運営しております。無料登録で100近いコンテンツも見れますので、これから機械学習の勉強をしたい方是非ご活用頂けると幸いです!

【新プラン開始!】

6ヶ月チャットによる質問し放題で動画コンテンツでAI企画立案、Pythonプログラミング、Webスクレイピング、機械学習、深層学習、Web開発、SQLなどなどAIエンジニア、データアナリストに必要なスキルをパッケージ化したプランもかなりお得にご利用頂けるので是非 新プラン(チャットサポート+動画プラン)をご活用してみてください!


参考文献

2020年超盛り上がり!自己教師あり学習の最前線まとめ!

半教師あり学習と自己教師あり学習を体系的に学ぶ

A Survey on Contrastive Self-supervised Learning

この記事が気に入ったらサポートをしてみませんか?