医学分野の論文から日本語言語モデルを構築する
mdxを利用した研究の紹介3
医学分野の論文から日本語言語モデルを構築する言語モデルとは
言語モデルは、膨大な量の文書に含まれている情報をなるべく効率よく圧縮して、いろいろな処理で活用できるようにしたものです。最近、文書の自動要約、対話システム、機械翻訳などの性能が格段に向上していますが、その背景にはここ数年で言語モデルが急激に発展したことがあります。
実際、最近の巨大言語モデルには、文脈を考慮した単語の意味、文法、単語と単語の関係(日本の首都は東京)など、さまざまな知