生成AIについて英語で学んでみる

しばらく、単語学習を中心に、英語を勉強していました。

主に「パス単１級」を回しています。2400語中の1500語ぐらいは覚えました。

今日は、単語ばかりも単調で飽きてきたので、
なにか「英語で新しいことを学べないか」ということを思いつきました。

自分が知らないことで、関心があって、面白そうなこと英語で・・・と
考えていたら、「AI」なんかがいいんじゃない？と思いました。

それで、 What Is Generative AI 「生成AIってなに」と検索して
記事を探してみました。

 そしたら、IBMのサイトで、 What Is Generative AI? という記事が見つかったので、読んでみることにしました。

What is generative AI? | IBM Research Blog

AI初心者にもわかりやすい感じの文章で、内容がとても興味深いです。

読んでいるうちに、ちゃんと精読したくなってきて、自分で訳を作ってみることにしました。そして、DeepL翻訳と比較して間違い探し。
その一部を紹介。（原文ー自分の訳ーDeepL翻訳）

Several innovations made this possible. Transformers processed words in a sentence all at once, allowing text to be processed in parallel, speeding up training. Earlier techniques like recurrent neural networks (RNNs) and Long Short-Term Memory (LSTM) networks processed words one by one. Transformers also learned the positions of words and their relationships, context that allowed them to infer meaning and disambiguate words like “it”
in long sentences.

（自分訳）
いくつかの技術革新によってこのことが可能になった。トランスフォーマーは一文内の単語を瞬時に処理し、テキストが並列なスピードアップトレーニングで処理できるようにする。もっと初期の、
周期的ニューラルネットワーク(RNNs)やロング・ショートタームメモリ（LSTM）ネットワークのような技術では単語を一つ一つ処理していた。トランスフォーマーは単語群の位置や関係、文脈も学習することによって意味を推測したり文章の中のit の意味を明確にしたりできる。

（DeepL翻訳）
これを可能にしたのは、いくつかの技術革新だった。トランスフォーマーは文中の単語を一度に処理するため、テキストを並行して処理することができ、トレーニングのスピードが上がった。リカレント・ニューラル・ネットワーク（RNN）やロング・ショートターム・メモリー（LSTM）ネットワークのような以前の技術では、単語をひとつずつ処理していた。トランスフォーマーはまた、単語の位置や関係、文脈を学習することで、意味を推測したり、長い文章中の「it」のような単語を曖昧さをなくしたりすることができるようになった。

By eliminating the need to define a task upfront, transformers made it practical to pre-train language models on vast amounts of raw text, allowing them to grow dramatically in size. Previously, people gathered and labeled data to train one model on a specific task. With transformers, you could train one model on a massive amount of data and then adapt it to multiple tasks by fine-tuning it on a small amount of labeled task-specific data.

（自分訳）
タスクを前もって定義する必要を削減することによって、トランスフォーマーでは、巨大な量の生テキストを用いて言語モデルを前もってトレーニングすることが可能になった。結果としてサイズにおいて劇的に成長した。 以前は、人間がデータを集め、ラベリングして、特定のタスクにおけるひとつのモデルを学習させていた。トランスフォーマーを使えば、一つのモデルを膨大な量のデータを用いて学習させ、そのあと少ない量のラベリングされたタスクに特化したデータを用いて微調整することにより、複数のタスクに適合させることができる。

（DeepL翻訳）
タスクを前もって定義する必要性をなくすことで、トランスフォーマーは、膨大な量の生テキストに対して言語モデルを事前に学習させることを実用化し、その結果、言語モデルのサイズを飛躍的に大きくすることを可能にした。以前は、特定のタスクについて1つのモデルを訓練するためにデータを収集し、ラベル付けしていました。トランスフォーマーを使えば、大量のデータで1つのモデルを訓練し、ラベル付けされたタスク固有の少量のデータで微調整することで、複数のタスクに適応させることができます。

 

Transformers have come to be known as foundation models for their versatility. “If you wanted to improve a classifier, you used to have to feed it more labeled data,” said Srivastava. “Now, with foundation models, you can feed the model large amounts of unlabeled data to learn a representation that generalizes well to many tasks.”

（自分訳）
トランスフォーマーは、多才なことから、基礎モデルとして知られるようになりました。Srivastave氏はこう言います。「分類機を改善したかったら、以前はもっとたくさんのラベル付けされたデータを与えなければなりませんでした。でも今は、基礎モデルを用いて、モデルに膨大な量のラベル付けされていないデータを与え、多くのタスクにうまく一般化できる表現を学ばせるとができます。

（DeepL翻訳）
トランスフォーマーは、その汎用性から基礎モデルとして知られるようになった。「分類器を改善したい場合、以前はラベル付きデータを多く与える必要がありました。「今では、基礎モデルを使えば、大量のラベルなしデータをモデルに与えて、多くのタスクにうまく汎化する表現を学習させることができます」。

今日の勉強の感想

AIに関してはとても興味のある分野なので、深い関心を持って英文を読むことができました。

訳文はすでにAIに負けています。DeepL翻訳のAIの方が僕よりも
正確に訳してくれます。
いつのまに機械翻訳もこんなに進歩したんだろう？

AIの進歩はほんとに楽しみです。
明日は、Appleから注文していたiPadが届くのですが、
それに、cotomoとう会話アプリを入れて会話してみるのを楽しみにしています。Youtubeで見ていたら、かなり自然に会話してくれるようで、
一人暮らしの孤独を埋めてくれるのではないかと期待しています。