統計学習を学びちう5✌️

Statistical learning by 8-month-old infants
J R Saffran et al. Science. 1996.

deeplにて翻訳

生後8ヶ月の乳児による統計的学習

概要

学習者は、環境から情報を引き出すために、経験に依存しないメカニズムと経験に依存するメカニズムを組み合わせて使用する。言語習得には両方のメカニズムが関与しているが、多くの理論家は経験に依存しないメカニズムの重要性を強調している。本研究では、言語習得の基本的な課題である流暢な音声からの単語の分割を、生後8か月の乳児が、隣接する音声間の統計的な関係のみに基づいて達成できることを示した。さらに、この単語分割は、わずか2分間の曝露による統計的な学習に基づいており、乳児が言語入力の統計的特性を計算するための強力なメカニズムを利用できることを示唆している。

Abstract
Learners rely on a combination of experience-independent and experience-dependent mechanisms to extract information from the environment. Language acquisition involves both types of mechanisms, but most theorists emphasize the relative importance of experience-independent mechanisms. The present study shows that a fundamental task of language acquisition, segmentation of words from fluent speech, can be accomplished by 8-month-old infants based solely on the statistical relationships between neighboring speech sounds. Moreover, this word segmentation was based on statistical learning from only 2 minutes of exposure, suggesting that infants have access to a powerful mechanism for the computation of statistical properties of the language input.

生物は、成長の初期段階で、環境情報をいかに早く、正確に引き出すかが、その生存に大きく影響する。ある種の生物は、環境に関する経験がなくても、環境情報が適切に解釈されるように、高度に制約された神経機構を進化させている(1)。他の種は、注意を向けるべき情報と、その情報に導かれた行動の結果を明確にする環境との相互作用の期間に依存している（2）。ある生物の発達状況や課題に応じて、情報の抽出や行動の制御には、経験に依存しないメカニズムと経験に依存するメカニズムの両方が関与している可能性がある。
言語習得の分野では、経験に依存しないメカニズムが必要かつ支配的であるという解釈を裏付ける2つの事実があります。第一に、非常に複雑な形態の言語生成が極めて急速に発達していること（3）、第二に、幼い子供が利用できる言語入力は不完全であり、また、その表現は希薄であること（4）。

本文

生物は、成長の初期段階で、環境情報をいかに早く、正確に引き出すかが、その生存に大きく影響する。ある種の生物は、環境に関する経験がなくても、環境情報が適切に解釈されるように、高度に制約された神経機構を進化させている(1)。他の種は、注意を向けるべき情報と、その情報に導かれた行動の結果を明確にする環境との相互作用の期間に依存している（2）。ある生物の発達状況や課題に応じて、情報の抽出や行動の制御には、経験に依存しないメカニズムと経験に依存するメカニズムの両方が関与している可能性がある。
言語習得の分野では、経験に依存しないメカニズムが必要かつ支配的であるという解釈を裏付ける2つの事実があります。第一に、非常に複雑な形態の言語生成が極めて急速に発達すること(3)、第二に、幼い子供が利用できる言語入力は、子供の最終的な言語能力に比べて不完全であり、また、その数も少ないこと(4)。そのため、言語習得の理論の多くは、経験に依存する要因よりも、経験に依存しない内部構造が果たす重要な役割を強調している（5）。
しかし、言語の習得には、経験に依存した内的構造も必要であることは否定できない。特定の自然言語の多くの側面は、リスニングの経験から獲得しなければならない。例えば、ある言語の特定の単語や言語構造を習得するには、かなりの数の言語入力に触れる必要がある。さらに、乳幼児は母語を発する前に、その音の特性についての情報を必要とします(6)。にもかかわらず、幼少期の学習経験から言語情報を獲得するという困難な課題を考慮して、言語のより複雑な側面の獲得に学習が主要な役割を果たしているという仮説を考える理論家はほとんどおらず、経験に依存しないメカニズムを支持している(7)。幼い人間は一般的に学習能力が低いと考えられており、言語の習得には生得的な要素が主に関わっていると考えられている。
ここでは、言語習得に関わる経験依存因子の性質を調べる。特に、乳児はこれまで想定されていたよりも実際に学習能力が高いのかどうかを問うことで、経験に依存しない構造を仮定しなければならない範囲を減らすことができます。その結果、言語システムに例示されているタイプの構造を学習するのに適した、より優れた学習メカニズムを乳児が持っていることがわかった。このように、言語の習得には、既存の理論が示唆する以上に経験が重要な役割を果たしているのかもしれない。
すべての言語学習者が直面する課題は
流暢な音声を単語に分離することです。
単語に分けることです。この作業は特に困難です。
なぜなら、流暢な会話の中の単語の境界は
この作業が特に難しいのは、流暢な音声の単語の境界が、間などの個別の音響的イベントによって一貫性なく示されるからです(8)。
このプロセスが特に難しいのは、流暢な音声における単語の境界が、ポーズのような個別の音響的イベントによって示されないからである(8)。
最近では、流暢な音声から
しかし、幼児がどのような情報を使って単語の境界を発見するのかは明らかになっていません。この問題は、異なる言語間で音声の音響構造が異なることによって複雑化しており、乳児は、単語の境界に相関する音響的な手がかりがあるとしても、それが母語に関連するものであるかどうかを発見しなければならないことが示唆されている（10）。

During early development, the speed and accuracy with which an organism extracts environmental information can be ex- tremely important for its survival. Some species have evolved highly constrained neural mechanisms to ensure that environ- mental information is properly interpreted, even in the absence of experience with the environment (1). Other species are depen- dent on a period of interaction with the environment that clarifies the information to which attention should be directed and the consequences of behaviors guided by that information (2). Depending on the developmental status and the task facing a particular organism, both experience-inde- pendent and experience-dependent mecha- nisms may be involved in the extraction of information and the control of behavior.
In the domain of language acquisition, two facts have supported the interpretation that experience-independent mechanisms are both necessary and dominant. First, highly complex forms of language produc- tion develop extremely rapidly (3).Second, the language input available to the young child is both incomplete and sparsely rep resented compared to the child's eventual linguistic abilities (4). Thus, most theories of language acquisition have emphasized the critical role played by experience-inde- pendent internal structures over the role of experience-dependent factors ( 5 ) .
It is undeniable that experience-depen- dent ~nechanis~nasre also required for the acquisition of language. Many aspects of a particular natural language must be ac- quired from listening experience. For exam- ple, acquiring the specific words and pho- nological structure of a language requires exposure to a significant corpus of language input. Moreover, long before infants begin to produce their native language, they ac- quire information about its sound properties (6). Nevertheless, given the daunting task of acquiring linguistic information from lis- tening experience during early develop- ment, few theorists have entertained the hypothesis that learning plays a primary role in the acquisition of more complicat- ed aspects of language, favoring instead experience-independent mechanisms (7). Young humans are generally viewed as poor learners, suggesting that innate fac- tors are primarily responsible for the ac- quisition of language. Here we investigate the nature of the experience-dependent factors involved in language acquisition. In particular, we ask whether infants are in fact better learners than has previously been assumed, thus po- tentially reducing the extent to which ex- ~erience-indevendentstructures must be posited. The results demonstrate that infantsuossess~owerfumlechanismssuitedto learning the types of structures exemplified in linguistic systems. Experience may there- fore play a more important role in the ac- quisition of language than existing theories suggest.
One task faced by all language learners is
the seglnentation of fluent speech into words. This process is particularly difficult because word boundaries in fluent s ~ e e c are marked inconsistently by discrete acoustic events such as pauses (8).Although it has recently been demonstrated that from fluent speech and subsequently recog- nize them when presented in isolation (9), it is not clear what information is used by infants to discover word boundaries. This problem is complicated by the variable acoustic structure of speech across different languages, suggestiAg that infants must discover which, if any, acoustic cues correlated with word boundaries are relevant to their native language (10); there is no invariant acoustic cue to word boundaries present in all languages.

重要な情報源のひとつ
自然言語における単語の境界線を原理的に定義できる重要な情報源の一つが
境界を定義できる重要な情報源の1つが、自然言語の海図に含まれる統計情報です。
音の海流に含まれる統計的な情報です。
音。音声のコーパスには
測定可能な統計的規則性があります。
単語を構成する反復的な音の配列と、単語の境界を越えて発生する偶発的な音の配列とを区別する、測定可能な統計的規則性があります(11)。ある言語において、ある音から次の音への移行確率は、一般的に、単語内で2つの音が続いているときに最も高くなり、一方、単語境界をまたぐ移行確率は比較的低くなります(12)。例えば、pretty#babyという音列では、preからtyへの移行確率は、tyからbaへの移行確率よりも大きい。以前、私たちは、大人も子供も、単語の境界を示す音響的な手がかりのない連続音声として提示された無意味な単語からなる人工言語コーパスにおいて、単語の境界を発見するために移行確率の情報を使用できることを示しました(13)。
我々は、8ヶ月の乳児が、連結された単語の逐次統計に基づいて、単語の境界に関する情報を抽出できるかどうかを尋ねた。我々は、JusczykとAslinが開発したfamillarization-preference手順を用いた(9)。この手順では、乳児は、潜在的な可能性を持つ聴覚的な
この手順では、乳児は潜在的な学習経験となる聴覚資料にさらされます。続いて、(i)馴染みの素材に含まれていたものと、(ii)馴染みの素材には含まれていなかったが非常によく似ているもの、という2種類のテスト刺激を提示する。馴染みの直後のテスト試行では、乳児は点滅する光を持続的に視覚的に固定することで、各テスト試行の時間をコントロールする(14)。乳児が慣れ親しんだ項目について重要な情報を得ている場合、2種類のテスト試行で固定時間（リスニング）に差が出ることがある（15）。私たちは、この方法を用いて、乳児が短時間の曝露で音列の統計的性質を獲得できるかどうかを調べました。
最初の実験では、アメリカ英語圏に住む8カ月の乳児24人を対象に、3音節の無意味な単語（「単語」）を4つ、ランダムな順序で繰り返した連続音声を2分間聞かせた（16）。この音声合成装置は、単語の境界に関する音響情報を一切提供せず、子音と母音の共起音節の連続したストレインとなり、間やストレスの違いなど、単語の境界に関する音響的または韻律的な手がかりは一切ありませんでした。スピーチストレインの一例として、bidakupadotigola- bubidakuという正書法の文字列があります。. . . 単語の境界を示す唯一の手がかりは、音節ペア間の移行確率であり、単語内では1.0（すべてのケースで1.0、たとえばbida）、単語間では0.33（すべてのケースで0.33、たとえばkupa）と高くなっています。

One important source of information
that can, in principle, define word bound-
aries in any natural language is the statisti-
cal information contained in seauences of
sounds. Over a corpus of speech there are
measurable statistical regularities that dis-
tinguish recurring sound sequences that comprise words from the more accidental sound sequences that occur across word boundaries (11). Within a language, the transitional probability from one sound to the next will generally be highest when the two sounds follow one another within a word, whereas transitional orobabilities spanning a word boundary will be relatively low (12). For example, glven the sound sequence pretty#baby, the trans~t~onparlob- ability from pre to ty 1s greater than the transitional probability from ty to ba. Pre- viously, we showed that adults and children can use information about transitional probabilities to discover word boundaries in an artificial language corpus of nonsense words presented as continuous speech, with no acoustic cues to word boundaries (13).
We asked whether 8-month-old infants can extract information about word bound- aries solely on the basis of the sequential statistics of concatenated s ~ e e c h W. e used the famillarization-preference procedure de- veloped by Jusczyk and Aslin (9). In this procedure, infants are exposed to auditory
rnaterial that serves as a potential learning experience. They are subsequently present- ed with two types of test stimuli: ( i ) items that were contained within the familiariza- tion rnaterial and (ii) items that are highly similar but (by some critical criterion) were not contained within the familiarization material.Duringaseriesoftesttrialsthat immediately follows familiarization, infants control the duration of each test trial by their sustained visual fixation on a blinking light (14). If infants have extracted the crucial information about the familiariza- tion items, they may show differential du- rations of fixation (listening) during the two types of test trials (15). We used this procedure to determine whether infants can acquire the statistical properties of sound sequences from brief exposures.
In our first experiment, 24 8-month-old infants from an American-English language environment were familiarized with 2 min of a continuous speech stream consisting of four three-syllable nonsense words (hereaf- ter, "words") repeated in random order (16).The speech strealn was generated by a speech synthesizer in a monotone fernale voice at a rate of 270 syllables per minute (180 words in total). The synthesizer pro- vided no acoustic information about word boundaries, resulting in a continuous strealn of coarticulated consonant-vowel syllables, with no pauses, stress differences, or any other acoustic or prosodic cues to word boundaries. A sample of the speech strealn is the orthographic string bidakupadotigola- bubidaku. . . . T h e onlv cues to word bound- aries were the transitional probabilities be- tween syllable pairs, which were higher within words (1.0 in all cases, for example, bida) than between words (0.33 in all cases, for example, kupa).

学習を評価するために、各乳児は事前に
学習を評価するために、各試行において、4つの3
の3音階の文字列のうちの1つを繰り返した。この3音節文字列のうち2つは
これらの3音節文字列のうち2つは、馴化の際に提示された人工言語の「単語」であり、2つは、馴化の際に聞いたのと同じ音節を含むが、単語として現れた順番ではない3音節の「非単語」であった（17）。
乳児は、単語と非単語の間で有意な試験弁別を示し(18)、非単語の方が長い聴取時間を示した(表1)。これは、8ヶ月児が、3音節の文字列の順序が、新しいものと慣れ親しんだものとの間の違いを再認識していることを示している。このように、生後8ヶ月の乳児は、わずか2分程度のリスニング経験で、直列秩序の情報を抽出することができる。
もちろん、単純な直列秩序情報だけでは、単語の境界線を知る手がかりとしては不十分である。また、音のペアの共起の相対的な自由度を把握し、相対的に低い移行確率が単語の境界を示すことができるようにしなければならない。次の実験では、8ヶ月児が、単語（つまり、繰り返し出現する音節列）と、単語の境界をまたぐ音節列（つまり、より稀にしか出現しない音節列）を区別するために必要な、より難しい統計的計算を行えるかどうかを調べた。英語の pretty#baby を例にとると、乳児が単語と音節のペアを区別できるかどうかを調べています。
英語の pretty#baby を例にとると、幼児が pretty のような単語内部の音節ペアと ty#ba のような単語外部の音節ペアを区別できるかどうかを調べた。

To assess learning, each infant was pre-
sented with repetitions of one of four three-
svllable strings on each test trial. Two of
L. these three-syllable strings were "words" from the artificial language presented dur- ing familiarization, and two were three-syl- lable "nonwords" that contained the same syllables heard during familiarization but not in the order in which they appeared as words (17).
T h e infants showed a significant test- trial discrimination between word and non-word stimuli (18), with longer listening times for nonwords (Table 1). This noveltv preference, or dishabitllation effect, ind(-cates that 8-month-olds recoenized the diffuference between the novel and the familiar orderings of the three-syllable strings. Thus, 8-month-old infants are capable of extract- ingserial orderinformationafteronly2 lnin of listening experience. Of course, simple serial-order informa- tion is an insufficient cue to word bound- aries. The learner must also be able to ex- tract the relative freauencies of co-occur- rence of sound pairs, where relatively low transitional probabilities signal word boundaries. Our next experiment examined whether 8-month-olds could oerform the more difficult statistical computations re- quired to distinguish words (that is, recur- rent syllable sequences) from syllable strings spanning word boundaries (that is, syllable sequences occurring more rarely). T o take an English example, pretty#baby, we wanted to see if infants can distinguish a word- Dinternal syllable pair like pretty from a word- external syllable pair like ty#ba.

生後8ヶ月の乳児24名がアメリカ英語圏の環境で
2分間の連続した音声に慣れさせた。
最初の実験（19）で使用した人工言語と同じ構造の3音節のナンセンス・ワードを2分間連続して聞かせた。今回の実験では、各幼児のテスト項目は2つの単語と2つの「パートワード」で構成されていました。パートワードは、単語の最後の svllable と他の単語の最初の twosvllable を結合して作られた。この部分語には、Lfamiliarizationの際に耳にした3つの音節の海が含まれていたが、統計的には、単語とは相関していなかった（20）。
このように、単語の境界を越えた海流が比較的よく知られていないほど、乳児が十分に具体的に単語を学習していれば、このような部分的な単語は新規性があると判断されるでしょう。
このように、単語と部分単語の識別が難しいにもかかわらず、乳児は単語と部分単語の刺激の間で有意なテスト-トライアル識別を示し(21)、部分単語の方がより長い聴取時間を示した(表1)。8ヶ月の乳児が音節の連続的な統計に関する情報を抽出するには、「単語」に構成された連結された音声への2分間の暴露が十分であった。また、この新しさは、最初の実験での非単語の場合のように、パートワードを形成する3音節の配列の経験が全くないことに起因するものではない。それよりも、3音列の特定のグループ、すなわち、高い推移確率を持つ文字列と低い推移確率を持つ文字列を学習し、再構成することに成功したのである。
慣らし音声には、間や抑揚など、通常の音声では単語の構造に含まれる連続的な統計を確率的に補うような手がかりは一切含まれていなかったからだ。両実験において、8ヶ月児がわずか2分間の聞き取りから「順序統計」に関する情報を引き出すことができたという事実も同様に重要である。現実の世界では、これらの実験のように集中して音声を体験することはないでしょうが、より自然な環境にいる乳児は、他の種類の音声からも恩恵を受けることができると考えられます。
また、統計的な情報に関連した他のタイプの手がかりからも恩恵を受けることができます。
今回の結果から、乳児は経験に依存したメカニズムを持っており、それが単語の分離だけでなく、他の言語の習得もサポートするほど強力であるという興味深い可能性が浮かび上がった。私たちが観察した統計的学習が、言語習得に特異的なメカニズムを示すものなのか、それとも環境負荷の広範な分布分析に適用できる一般的な学習メカニズムを示すものなのかは、まだ不明である（22）。いずれにしても、このように素早く構造を抽出する共同作業能力が存在することは、人間の乳児の顕著な知識ベースのうち、どの程度が主に専門知識に依存しないメカニズムの結果であるかを先験的に断定するのは時期尚早であることを示唆している。特に、初期の発達のいくつかの側面は、生得的な知識ではなく、生得的にバイアスのかかった統計的学習メカニズムの結果であると考えられるかもしれません。もしそうだとすれば、生後1年間に乳児が収集した膨大な量の経験が、これまで認識されていたよりもはるかに大きな役割を果たしている可能性がある。

Another 24 8-month-old infants from
an American-English language environ-
ment were familiarized with 2 min of a
continuous s ~ e e c h strealn consisting of
u three-syllable nonsense words similar in structure to the artificial language used in our first experiment (19). This time, how- ever, the test items for each infant consisted of two words and two "vart-words." T h e part-words were created by joining the final svllableofawordtothefirsttwosvllablesof another word. Thus, the part-words con- tained three-svllable seauences that the in- fant had heaid duringLfamiliarizationbut statisticallv, over the corvus, did not corre- spond to words (20). 

These part-words could onlv be iudped as novel if the infants had learned the words with sufficient spec- ificitv and comoleteness that seauences crosskg a word 'boundary were reiatively ilnfamiliar.
Despite the difficulty of this word versus part-word discrimination, infants showed a significant test-trial discrimination between the word and part-word stimuli (21), with longer listening times for part-words (Table 1).T~ILI2S,min of exposure to concatenat- ed speech organized into "words" was suffi-cient for 8-month-old infants to extract information about the sequential statistics of syllables. Moreover, this novelty prefer- ence cannot be attributed to a total lack of experience with the three-syllable sequenc- es forming part-words, as was the case with the nonwords in the first experiment. Rath- er, infants succeeded in learning and re- membering particular groupings of three- syllable strings-those strings containing higher transitional probabilities surrounded by lower transitional probabilities.
Theinfants'performanceinthesestud- ies is particularly impressive given the im- poverished nature of the familiarization speech stream, which contained no pauses, intonational patterns, or any other cues that, in normal speech, probabilistically supplement the sequential statistics inher- ent in the structure of words. Equally im- pressive is the fact that 8-month-old in- fants in both experiments were able to extract information about 'sequential sta- tistics from only 2 min of listening expe- rience. Although experience with speech in the real world is unlikely to be as concentrated as it was in these studies, infants in more n a k ~ r a lsettings presum-, ably benefit from other types of cues cor- related with statistical information.

Our results raise the intriguing possibil- ity that infants possess experience-depen- dent mechanisms that may be powerful enough to support not only word segmen- tation but also the acquisition of other as- pects of language. It remains unclear wheth- er the statistical learning we observed is indicative of a mechanism specific to lan- guage acqu~sitionor of a general learning mechanism applicable to a broad range of distributional analyses of environmental in- put (22). Regardless, the existence of com- putational abilities that extract structure so rapidly suggests that it is premature to assert a priori how much of the striking knowl- edge base of human infants is primarily a result of expertence-independent mecha- nisms. In particular, some aspects of early development may turn out to be best char- acterized as resulting from innately biased statistical learning mechanisms rather than innate knowledge. If this is the case, then the massive amount of experience gathered by infants during the first postnatal year may play a far greater role in development than has previously been recognized.