Newsela コーパスの文アライメントツールを使う

今回は簡単に n-gram ベースの『CATS』使う方法。
[1] CATS: A Tool for Customized Alignment of Text Simplification Corpora
[2] Sentence Alignment Methods for Improving Text Simplification Systems

まずはなんとかして『Newselaコーパス（以下、単にNewsela）』を手に入れる。

Newsela | Request Newsela Data

リクエストしても、返事はなかなか来ないので注意。

ここでは研究室のサーバにあったやつを使います。

$ unzip newsela_article_corpus_with_scripts_2016-01-29.1.zip

$ ls
__MACOSX  newsela_article_corpus_2016-01-29  newsela_article_corpus_with_scripts_2016-01-29.1.zip

$ ls newsela_article_corpus_2016-01-29/
articles  articles_metadata.csv  newsela_data_share-20150302.zip  README.md

$ ls newsela_article_corpus_2016-01-29/articles | less

10dollarbill-woman.en.0.txt
10dollarbill-woman.en.1.txt
10dollarbill-woman.en.2.txt
10dollarbill-woman.en.3.txt
10dollarbill-woman.en.4.txt
17century-selfies.en.0.txt
17century-selfies.en.1.txt
17century-selfies.en.2.txt
17century-selfies.en.3.txt
17century-selfies.en.4.txt
17century-selfies-spanish.es.0.txt
17century-selfies-spanish.es.1.txt
17century-selfies-spanish.es.2.txt
17century-selfies-spanish.es.3.txt
......

「*.en.*」が英語の記事。「*.es.*」がスペイン語の記事。今回は英語の記事を使う。
『Newsela』は 0.txt（元記事）から数字が大きくなるにつれて段階的に平易化（記事の書き換え）が実施されている。なので、「.txt」の前についている数字が大きいほど元記事より平易化されている。

実施したいのは、この平易化前後の「.txt」ファイル間での文アライメント。

専用の自動アライメントツールを git clone 。

$ git clone https://github.com/neosyon/SimpTextAlign
Cloning into 'SimpTextAlign'...
remote: Enumerating objects: 286, done.
remote: Counting objects: 100% (3/3), done.
remote: Compressing objects: 100% (3/3), done.
remote: Total 286 (delta 0), reused 3 (delta 0), pack-reused 283
Receiving objects: 100% (286/286), 38.89 MiB | 16.33 MiB/s, done.
Resolving deltas: 100% (142/142), done.

jar ファイルになっているので、コンパイル不要。
-i オプションを使い、上で unzip していたディレクトリ内の articlesディレを指定。このとき「articles」の直後に「/」を付け忘れるとエラー出るので注意。
-o オプションで出力先ディレクトリを指定している。名前は任意だが、こっちもディレクトリ名の後に「/」付けないとカレントディレクトリに全展開されるので注意。
-l オプションで「en」英語を指定し、あとはデフォルト（下では一応、明示的に書いている）

$ mkdir aligned_files

$ java -jar SimpTextAlign/jars/AlignNewselaDataset.jar -i newsela_article_corpus_2016-01-29/articles/ -o aligned_files/ -l en -s C3G -a sentence -t closestSimStrategy
Calculating IDF...
Aligning...
10/1911
20/1911
30/1911
40/1911
50/1911
60/1911
（略）
1870/1911
1880/1911
1890/1911
1900/1911
1910/1911
Alignment done in 2.683333333333333 minutes.

$ ls aligned_files/ | less

10dollarbill-woman.en.1.txt_ALIGNED_WITH_10dollarbill-woman.en.0.txt
10dollarbill-woman.en.2.txt_ALIGNED_WITH_10dollarbill-woman.en.0.txt
10dollarbill-woman.en.2.txt_ALIGNED_WITH_10dollarbill-woman.en.1.txt
10dollarbill-woman.en.3.txt_ALIGNED_WITH_10dollarbill-woman.en.0.txt
10dollarbill-woman.en.3.txt_ALIGNED_WITH_10dollarbill-woman.en.1.txt
10dollarbill-woman.en.3.txt_ALIGNED_WITH_10dollarbill-woman.en.2.txt
10dollarbill-woman.en.4.txt_ALIGNED_WITH_10dollarbill-woman.en.0.txt
10dollarbill-woman.en.4.txt_ALIGNED_WITH_10dollarbill-woman.en.1.txt
10dollarbill-woman.en.4.txt_ALIGNED_WITH_10dollarbill-woman.en.2.txt
10dollarbill-woman.en.4.txt_ALIGNED_WITH_10dollarbill-woman.en.3.txt
17century-selfies.en.1.txt_ALIGNED_WITH_17century-selfies.en.0.txt
17century-selfies.en.2.txt_ALIGNED_WITH_17century-selfies.en.0.txt
17century-selfies.en.2.txt_ALIGNED_WITH_17century-selfies.en.1.txt
17century-selfies.en.3.txt_ALIGNED_WITH_17century-selfies.en.0.txt
17century-selfies.en.3.txt_ALIGNED_WITH_17century-selfies.en.1.txt
17century-selfies.en.3.txt_ALIGNED_WITH_17century-selfies.en.2.txt
17century-selfies.en.4.txt_ALIGNED_WITH_17century-selfies.en.0.txt
......

$ less aligned_files/10dollarbill-woman.en.4.txt_ALIGNED_WITH_10dollarbill-woman.en.0.txt

0:      WASHINGTON — Pictures of ...（略）... paper mon   ---(0.49985139321131344)--->    0:      WASHINGTON ...（略）... abolitionist. 

1:      It is time for ...（略）... worker said.    ---(0.15835881211518008)--->    10:     A non-profit group called Wome...（略）
......

こんなふうに　平易化後の文->平易化前の文（1対多アライメント）　が格納されたファイルが出来上がっている。
ちなみにPUNCを識別して文分割する機能がこっそり入っていて、日本語の句点でも文末と判断して切るので注意。
.en.4.txt->.en.0.txt だと感覚、0.4 以上のスコアが付いているのが対として採用できる。