class: center, middle, inverse, title-slide # Getting real about Semantic Illusions:
.ms[Rethinking the functional role of the P600 in language comprehension]
.s[(2012)] ###
.ms[Harm Brouwer, Hartmut Fitz, & John Hoeks]
bit.ly/brouwer2012
--- background-image: url(https://imgy.netlify.com/bg/road-straight.jpg) background-position: center background-size: cover count: false ??? 提醒投影片短網址 --- class: middle, center, inverse # Background ??? 這個文章是一篇 Review article。它的目的主要是討論當時 (2012),學界對於 N400 和 P600 的功能詮釋。 --- ## Semantic Illusions - Dominant View of N400 & P600 .s[(2012)] - **N400** amplitute: difficulty in **semantic** integration - **P600** amplitude: **syntactic** revision ??? 那當時的主流觀點,是認為 N400 amplitute 反映的是語意上的處理,或更精確的說,是語意整合 (semantic integration) 的困難程度。而 P600 amplitute 則是反映句法處理的困難程度 (syntatic processing difficulty)。基於這兩個假設,要解釋 Semantic Illusion Effect (SIE),會變的很複雜。 `--` -- <br> - Semantic Illusion Effect (SIE, a.k.a 'semantic P600-effect') - **Semantically anomalous** but **syntactically well-formed** sentence - .neon[**✓**] P600-effect .r[**✗**] N400-effect ??? Semantic Illusion effect,又稱為 Semantic P600 effect。那它是在某些 semantically anomalous but syntatically correct 的句子觀察到的,例如,這句 `--` -- .s[ > The javelin has the athletes .ul[thrown]. > (De speer heeft de atleten .ul[geworpen].) > > .s[The javelin was by the athletes .ul[thrown]. .g[(control)]] > > .s[Hoeks et al. (2004)] ] ??? > The javelin has the athletes *thrown*. > (De speer heeft de atleten *geworpen*) 這個句子會觀察到 P600 但是卻沒有 N400。 SIE 很奇怪的是,過去只被認為跟句法有關的 P600 竟然出現在句法正常的句子中;反而是和語意整合有密切相關的 N400 卻沒有出現在這個語意不通順的句子中。 --- name: kim-osterhout ## Explaining Semantic Illusions .pull-left[ **.l[Kim & Osterhout (2005)]** > The hearty .r[meal] was .r[.ul[devouring]] ... > .g[.s[The javelin has the athletes .ul[thrown].]] - Model's Assumptions - N400: **semantic** integration difficulty - P600: **syntactic** revision .s[ - Explanation 1. Strong semantic attraction b/w *.r[meal]* and *.r[devour]* 2. Semantic information overrides syntatic information 3. The sentence is perceived as *ungrammatical* <br>(subjects: *-ing* should be *-ed*) 4. Elicit P600 but no N400 ] ] ??? 這造成很多學者提出所謂的 Multi-stream models 來解釋 semantic illusion effect。例如,上週的 Kim & Osterhout (2005) 就可被視為是一個對於 SIE 的解釋 這個句子和上一個很類似,都會引發 SIE,也就是句子會觀察到 P600 但看不到 N400。那 Kim & Osterhout 的解釋基本上是奠基於當時對 N400 和 P600 的主流觀點。 他們提出的解釋是 .r[meal] 和 .r[devour] 之間強烈的 Semantic attraction 造成受試者將 The hearty meal was *devouring* 當成是 inflectional syntatic error。這會引起一個修正句法的過程,進而會引起 P600-effect。 但是這篇文章的作者認為這些 Multi-stream model 都是錯的,原因是因為這些 Model 都是建立在當時對於 N400 和 P600 功能的主流觀點,而作者認為這些觀點是錯誤的。 `--` -- .pull-right[ **.l[Authors' View]** <br><br> ![:scale 100%](https://imgy.netlify.com/gif/geo-helio-centrism.gif) ] ??? 那就像是在解釋地球上所觀測到的其它行星軌跡, 如果我們是建立在錯誤的假設上,也就是其它星球都是繞著地球旋轉,那在這個假設上,要解釋天文觀測的行星軌跡,我們就會提出圖片右邊的這種軌道模型。 但是如果我們放棄地球是中心的假說,而假設太陽才是中心,那我們就可以用左邊的這張圖去解釋我們所觀測到的行星軌道。 --- ## Authors' View ![:abs 100%, 0, 15%](img/N4P6_new.svg) ??? 所以作者所要 Propose 的是, - N400 反映的**不是** Semantic Integration,而是記憶提取的困難程度; - P600 反映的**才是** Semantic Integration,而不是句法的處理。 基於這個假設,作者就能提出一個更簡單、更 parsimonious 的 model。那在科學上,在具有相同解釋力的情況下,大家會比較喜歡簡單的模型。更何況,這篇文章的作者 聲稱他們所提出來的模型 比起其它的 multi-stream models 有更好的解釋力。 --- class: inverse, center, middle # Rethinking the functional role of N400 & P600 ??? 那接下來,我先說明這篇文章要 propose 的 Model,之後再回到比較複雜的 Multi-stream models。 --- ## N400 as Memory Retrieval - Amplitude of N400 reflects the **retrieval** of lexical information from **long-term memory** - .r[Priming] facilitates memory retrieval ??? 這邊,我先講作者對於 N400 的看法。 這篇文章的作者認為 N400 amplitute 所反映的是「從長期記憶中 提取資訊的困難程度」,換句話說,N400 與記憶提取的關係很密切。 那如果 N400 反映的是記憶的提取,我們就可以用 priming effect 去解釋很多我們在語言處理研究上 觀察到的現象,因為 priming 會降低記憶提取的難度,也就是會降低 N400 的振幅。 `--` -- .s[ 1. > The hearty .r[meal] was .ul[devouring] > .g[The hearty meal was .ul[devoured]] > .s[(Kim and Osterhout, 2005)] - .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] 2. > For .r[breakfast] the .r[eggs] would .ul[eat] > .g[For breakfast the boys would .ul[eat]] > .s[(Kuperberg et al., 2007)] - .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] 3. > .ms[A tourist wanted to bring his huge .l[.r[suitcase]] onto the air- plane. However, because the .l[.r[suitcase]] was so heavy, the woman behind the check-in counter decided to charge the tourist extra. In response, the tourist opened his suit- case and threw some stuff out. So now, the .l[.r[suitcase]] of the resourceful tourist weighed less than the maximum twenty kilos.] > Next, the woman told the .ul[suitcase] > .g[Next, the woman told the .ul[tourist]] .s[(Nieuwland and van Berkum, 2005)] - .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] ] ??? #### Example: SIE sentences 這樣的話,就能解釋這些 SIE 的句子「為什麼不會出現 N400-effect」。 1. 例如第一句,*'The hearty meal was devouring'*,在這句中 「meal」 這個字會去促發 「devour」這個字,因為這兩個字在語意上是有關聯的。 2. 第二句也是一樣的邏輯,breakfast 和 eggs 這兩個字會去促發 「eat」。 所以,這些句子相對於 control,並不會觀察到 N400 effect,因為這些 control 也受到差不多的 priming。 至於第三個句子,更容易看見 priming effect 和 N400 的關係。這個句子的前面有一段文字作為 prior context。那這段文字裡面同時都有出現 suitcase 和 tourist 這兩個字,也就是說,suitcase 和 tourist 這兩個字已經變得比較容易提取,所以在測試的句子當中,一個以 suitcase 結尾,另一個以 tourist 結尾,這造成兩個句子有相似的 N400 amplitute,所以觀察不到 N400 effect。 --- ## N400 as Memory Retrieval: Evidence - N400 Amplitute is ***insensitive*** to the truth value > A robin is not a .ul[bird] > A robin is a .ul[bird] - Same N400 Amplitute <br> ??? 此外,還有其它證據支持 N400 是反映記憶提取。 例如,N400 amplitute 對於一個句子的真假值並不敏感,要解釋這個現象也可以用 priming,因為 在 '*A robin is a bird.*' 這句話中,不管 'not' 有無出現,bird 都會受到同樣的 priming,所以兩句當中 提取 bird 的難度是相同的。 `--` -- - World Knowledge facilitates memory retrieval ![:scale 25%](img/dutch_train.jpg) - > The Dutch trains are .ul[white] > The Dutch trains are .ul[yellow] - Smaller N400 amplitute in '*The Dutch trains are .ul[yellow]*' ??? #### World Knowledge 那下方這個例子是透過 world knowledge 協助記憶的提取。荷蘭的火車事實上是黃色的,所以在 '*The Dutch trains are yellow.*' 這句話,相較於 '*The Dutch trains are white.*' 會引發較小的 N400 amplitute,因為 yellow 符合受試者的 world knowledge,因此記憶提取比較容易。 --- ## P600 as Mental Representation Composition - A listener (or reader) constructs a ***mental representation of what is being communicated (MRC)*** from - linguistic inputs, world knowledge, and knowledge from inferences based on world knowledge ??? 至於 P600,作者則認為它反映的不是句法的修改或處理,而是語意的整合。那「語意的整合」是一個有點抽象的概念,所以作者提出了另一個概念,試圖把「語意整合」這件事情 說的比較清楚。 作者認為,人們在「聽」或是「閱讀」句子的過程中,所謂的「語意整合」,其實就是一個在建立 mental representation 的過程。那要建立這個 mental representation,需要整合各種的資訊來源。這些資訊來源,包含但不僅限於,「語言本身所攜帶的意義」、「world knowledge」 還有 「奠基於 world knowledge 所推論而得的 ... (ㄜ...我把它稱之為 ) second order world knowledge」 作者把這個語意整合過程中所建立的 mental representation 稱為 ***mental representation of what is being communicated***,簡稱 「MRC」 `--` -- - Example: garden-path sentences 1. *The lawyer charged the defendant* → Construct MRC: **The defendant is being charged by the lawyer** 1. *The lawyer charged the defendant .ul[**was**]* → *.ul[**was**]* signaled that the current MRC is wrong 1. *The lawyer charged the defendant .ul[**was**]* → Update MRC: **The lawyer is charging that the defendant was doing something** ??? #### Example: garden-path 那這個 MRC 可以用來解釋 P600-effect 為何會出現在 garden-path sentences。當時主流的觀點是認為,garden-path sentences 會引發 P600-effect 是因為有一個 syntactic reanalysis 的過程。 但是 MRC 可以在不訴諸 syntax 這個構念下,就直接解釋 garden-path sentences 中的 P600-effect。 譬如說,這在個句子中,'*The lawyer charged the defendant*',受試者在讀到這裡的時候,他會建立一個 MRC,那這個 MRC 裡面:有一個律師、一個被告,然後律師要告被告。 但是在讀到 「was」這個字的時候,「was」這個字會 singal 說:「你現在的 MRC 是錯誤的」,所以這時候,受試者的大腦會開始修正原本的 MRC,將它改成和語句輸入符合的樣子。那在這個修正的過程中,大腦需要 work harder,所以會產生 P600-effect。 `--` -- - P600 amplitute reflects the **effort** invested in the construction, revision, or updating of a MRC ??? #### Conclusion 所以作者認為,P600 振幅反映的就是這些「建立」、「修改」或「更新」 MRC 所付出的努力。 --- ## P600 as Mental Representation Composition: Evidence - irony - long distance wh-dependency - > Emily wonders ***who*** the performers in the concert .ul[imitate]... - MRC: Emily, the performers, ***who*** - > Emily wonders ***whether*** the performers in the concert .ul[imitate]... - MRC: Emily, the performers ??? 如果 P600 反映的是 MRC 的 「建立」、「修改」或「更新」,以及過程中所付出的努力;那我們應該會期待在很多的情況下,都能觀察到 P600-effect。 這些情況都會有一個共同的特色,就是 ...「it requires your brain to work harder」,譬如說,irony 或是像這邊這個例子 long-distance wh-dependency。 那 long-distance wh-dependency 之所以 require your brain to work harder 是因為,在這種句子中,需要建立**比較複雜的 MRC**。那以這邊的句子為例,'*Emily wonders who the performers in the concert imitate...*',這個句子比起 control 要來的困難 是因為要理解這個句子需要建立一個比較複雜的 MRC,這個 MRC 裡面必須要 keep track of three referents (也就是 Emily, performers 還有 「who」) ,但是在 control 裡面,只要 keep tract of 「Emily」 和 「performers」就好。 -- ### MRC Hypothesis - Integration difficulty: how much the current mental representation needs to be adapted to incorporate the current input - Prediction: greater P600 amplitute in response to - Hard sentences (syntatic anomality, complex syntax, garden-path, irony, etc.) - Semantic anomality ??? #### MRC Hypothesis 根據這些想法,作者提出了 MRC Hypothesis。那這個 Hypothesis 認為,只要會造成 integration difficulty 的語言輸入,都會引發 P600-effect。所以大致上有兩種類型的輸入會造成 integration difficulty: 1. 一種是困難的句子,這種句子包含「句法錯誤」的句子、「句法複雜」的句子 (long-distance wh-dependency, garden-path) 以及 irony 2. 另一種就是語意異常的句子 --- ## Explaining SIE with MRC Hypothesis 1. > The hearty meal was .ul[devouring] > .g[The hearty meal was .ul[devoured]] > .s[(Kim and Osterhout, 2005)] - .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] 2. > For breakfast the eggs would .ul[eat] > .g[For breakfast the boys would .ul[eat]] > .s[(Kuperberg et al., 2007)] - .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] 3. > .ms[A tourist wanted to bring his huge suitcase onto the air- plane. However, because the suitcase was so heavy, the woman behind the check-in counter decided to charge the tourist extra. In response, the tourist opened his suit- case and threw some stuff out. So now, the suitcase of the resourceful tourist weighed less than the maximum twenty kilos.] > Next, the woman told the .ul[suitcase] > .g[Next, the woman told the .ul[tourist]] .s[(Nieuwland and van Berkum, 2005)] - .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] ??? 那回到剛剛的 3 個 SIE 的例子。這裡要用 MRC Hypothesis 解釋為何會在這些句子觀察到 P600-effect。 那原因很簡單,因為這 3 個句子在語意上都怪怪的。那如果講得比較詳細的話,在這 3 個句子中,受試者在讀到這些句子的關鍵字「之前」,已經建立了一個 MRC,但是接下來在看到這些關鍵字的時候,因為這些關鍵字太奇怪了,受試者腦袋中的 MRC 必須經過大幅度的修改,才有可能產生一個,對句字 coherent,的詮釋。 但在這 3 個語意異常的句子中,不管 「how hard your brain works」,都不可能產生一個 coherent 的詮釋。但在語言處理的過程中,你的腦袋還是會嘗試看看能不能產生一個詮釋,所以就會引起 P600-effect。 --- ## Wrap up: Retrieval-Integration Account - Single Stream: N400 & P600 reflect two ***successive*** processing stages 1. N400 amplitute memory retrieval difficulty 2. P600 amplitute Integration difficulty of the MRC (semantic integration) ??? 透過整合前面 作者對於 N400 以及 P600 的功能詮釋之後,就可以提出這套 Retrieval-Integration Account。 那這個 Retrieval-Integration Account 和 multi-stream models 不一樣的地方在於,它是一個 single-stream 的 model,意思是 N400 和 P600 所反映的是「兩個,在語言處理過程中,先後出現的『階段』」而不是兩個(或兩個以上)平行的處理歷程。 N400 反映的是語言處理中,比較早的階段,也就是在接收到語言訊之後的 記憶提取歷程 P600 則是反映語言處理比較後面的階段,也就是將各種資訊整合成一個完整的 mental representation 的階段。 --- class: center, middle, inverse # Multi-stream Models ??? 在講完作者的觀點之後,我們可以回來看看他們要抨擊的對象,也就是這些 Multi-stream models。 那我當初文章在看到 Multi-stream models 這部份的時候,只有一個感覺: --- background-image: url(https://imgy.netlify.com/gif/too-complicated.gif) background-size: cover count: false --- ## Kim & Osterhout (2005) .ms[ ([Cont.](#kim-osterhout)) ] .pull-left[ **.l[Semantic Attraction]** > The hearty .r[meal] was .r[.ul[devouring]] ... - Model's Assumptions - N400: **semantic** integration difficulty - P600: **syntactic** revision - Explanation 1. Strong semantic attraction b/w *.r[meal]* and *.r[devour]* 2. Semantic information overrides syntatic information 3. The sentence is perceived as *ungrammatical* <br>(subjects: *-ing* should be *-ed*) 4. Elicit P600 but no N400 ] ??? 這邊又回到剛剛一開始就講到的 Kim & Osterhout,那因為這張投影片的左邊 前面已經講過了,那大家應該也對於 Kim & Osterhout 的 Semantic Attraction 蠻熟悉的,所以我這邊就直接講 Kim & Osterhout 被這篇文章的作者攻擊的地方。 -- .pull-right[ .l[**Problems ...**] > The fox that on the poacher .ul[hunted] > (De vos die op de stroper .ul[joeg]) > .s[The poacher that on the fox .ul[hunted] .g[(control)]] > > .s[van Herten et al. (2005)] .right[.s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect (SIE)]] - Animacy vs. World Knowledge - P600 can't be caused by syntatic revision: As opposed to .r[*devouring*], there is no syntatic error to correct - SA prediction ❓P600-effect; ❓N400-effect ] ??? #### Problems ... Semantic Attraction 的一個缺陷在於 它假設了人們在語言處理的過程中,必定要在某個階段「percieve 到『句法出錯了』這件事」,所以在處理 '*The hearty meal was devouring*' 這句話的時候,受試者的大腦必須 perceive 到 「devouring 是一個 inflectional 所造成的 syntactic error」。 這種解釋在 Kim & Osterhout 的刺激材料裡,是說的通的,但是在 '*The fox that on the poacher hunted*' 這句話就說不通了,因為這句話在任何的情況下,都不可能被受試者解讀為句法出錯的句子。 換句話說,Semantic Attraction 完全不能解釋,甚至無法預測這句話會產生何種 N400 或 P600 的反應。 --- ## van Herten et al. (2005, 2006) .pull-left[ .s[ > The fox that on the poacher .ul[hunted] > (De vos die op de stroper .ul[joeg]) > .s[The poacher that on the fox .ul[hunted] .g[(control)]] .right[.s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect (SIE)]] ] **.l[Monitoring Theory]** Two parallel processing streams: 1. Algorithmic, syntax-driven stream 1. Plausibility heuristic - N400: processing difficulty - P600: Conflicts b/w two streams .ms[ <table style="border-collapse:collapse;border-spacing:0;margin:0px auto" class="tg"><tr><th style="font-family:Arial, sans-serif;font-size:14px;font-weight:normal;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;text-align:center" colspan="2" rowspan="2"></th><th style="font-family:Arial, sans-serif;font-size:14px;font-weight:bold;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;text-align:center" colspan="2">Heuristic</th></tr><tr><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#efefef;text-align:center">plausible</td><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#efefef;text-align:center">implausible</td></tr><tr><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;font-weight:bold;text-align:center" rowspan="2">Syntax-driven</td><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#efefef;text-align:center">plausible</td><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#9abad9;text-align:center"><span style="text-decoration: line-through;">P600</span><br><span style="text-decoration: line-through;">N400</span></td><td style="font-family:Arial, sans-serif;font-size:medium;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#9abad9;text-align:center"><span style="color:rgb(254, 0, 0)">✗</span></td></tr><tr><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#efefef;text-align:center">implausible</td><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#9abad9;text-align:center">P600</td><td style="font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:#343434;background-color:#9abad9;text-align:center">N400</td></tr></table> ] ] ??? 那 van Herten 的 Monitoring theory 就能解釋 Semantic Attraction 完全無法交待的這句話,'*The fox that on the poacher hunted*'。 Monitoring theory 提出的是,語言處理過程中會有兩條平行的 stream。其中一條是 syntax driven 的 stream,那另一條是 plausiblity heuristic stream。 那 **syntax-driven stream** 會依據句子的句法去分析,並得出一個關於這個句子的意義詮釋。 而 **plausibility heuristic** 有點抽象,在我看起來,它的意思有點像一個 bag of content words 的處理方式;譬如說,在 '*The fox that on the poacher hunted*' 這句話裡面,content words 就是 fox, poacher 和 hunt 這 3 個字,那所謂的 plausibility heuristic 指的就是我們會將這 3 個 content words 拿去和我們的 world knowledge 比較。那如果在我們的 World knowledge 裡面,這 3 個 content words 出現在一起是很合理的話,plausibility heuristic 就會以 World knowledge 裡面這 3 個 content words 應該有的關係,作為它對這個句子的意義詮釋。換句話說,你可以把 plausibility heuristic 想像成一個函數,對這個函數來說,input 的東西沒有順序或是 syntax 的問題,你只要丟給它 fox, poacher 還有 hunt 這 3 個字,那它就會丟出 the poacher hunted the fox 這個意義。 在 Monitoring theory 之下, - N400 amplitute 反映的是 plausibility heuristic 的 processing difficulty。 - 而 P600-effect 則會出現在兩條 stream 對句子有不同的意義詮釋時 那根據這兩個 stream 對句子的詮釋,就可以畫出一個 2x2 的方格,那在這個 2x2 的方格中,右上角是不可能發生的一個情況,這邊作者沒有細說為什麼,但我猜是因為不可能會出現一個情況是,「一個不符合 World knowledge 的句子,卻可以透過對這個句子的句法分析,得出一個合理的意義詮釋」 -- .pull-right[ .l[**Problems ...**] Biphasic N400/P600 Effects .s[ > The javelin has the athletes .ul[summarized] > (De speer heeft de atleten .ul[opgesomd]) > .g[.s[*The javelin was by the athletes .ul[thrown]* (control)]] > > .s[Hoeks et al. (2004)] .right[.neon[**✓**]P600-effect; .neon[**✓**]N400-effect] ] <br> - MT prediction: .r[**✗**]P600-effect; .neon[**✓**]N400-effect ] ??? #### Problems... 那 Monitoring Theory 的其中一個問題是,它無法解釋 Biphasic N400/P600 effect。就像前面講的 2x2 方格,Biphasic N400/P600 effect 在 Monitoring theory 的理論架構下,是不可能出現的。 --- ## Kuperberg et al. (2007) .pull-left[ **.ll[Continued Combinatory Analysis]** .s[ > For breakfast the **eggs** would .ul[**eat**] > For breakfast the **eggs** would .ul[**watch**] > > For breakfast the **boys** would .ul[**eat**] .g[.ls[(**control**)]] ] .right[.s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect<sup>*</sup>]] Three processing streams: 1. Syntax-driven 1. Thematic-role based 1. Semantic memory .ms[(plausibility heuristic in MT)] - P600: Conflicts b/w 1. & 2. → block semantic processing - N400: processing difficulty in 3. ] ??? Kuperberg 在自己的研究裡發現了這邊的兩個句子引起了 P600-effect 但是卻沒有 N400-effect。那同時,Semantic Attraction 和 Monitoring Theory 都不能解釋 Kuperberg 觀察到的現象。 所以,Kuperberg 就提出了一個更複雜的理論,總共有 3 個 平行的 stream。 - 第一個 stream 是 syntax-driven - 第二個 stream 是 thematic-role based - 第三個 stream 是 semantic memory,那這個 stream 有點類似 MT 理論裡的 plausibility heuristic 在這個理論架構之下,P600 反映的是 syntax-driven 和 thematic-role based 這兩條 stream 的衝突。 以 '*For breakfast the eggs would eat*' 這句為例,syntax-driven stream 會認為 eggs 在這句裡是主詞,而且這個句子不是被動態,所以 eggs 應當是主事者 (agent/actor)。但是 thematic-role based stream 會將 eggs 歸類為 Undergoer (patient)。這個衝突就會造成 P600 的出現。此外,這個衝突也會阻礙接下來的語意處理,所以就不會觀察到 N400-effect。 ###### Notes SA: eggs, eat > P6; eggs, watch > N4 MT: eggs, eat > P6; eggs, watch > N4 `--` -- .pull-right[ .l[**Problems ...**] Biphasic N400/P600 Effects .s[ > The javelin has the athletes .ul[summarized] > (De speer heeft de atleten .ul[opgesomd]) > > .s[Hoeks et al. (2004)] .right[.neon[**✓**]P600-effect; .neon[**✓**]N400-effect] ] <br> - CCA prediction: .neon[**✓**]P600-effect; .r[**✗**]N400-effect ] ??? #### Problems ... 那這個阻斷語意處理的理論假設,基本上也因此限縮了這個理論能夠解釋的範圍。因為在這個假設之下,P600-effect 和 N400-effect 是不可能同時出現的。這讓 CCA 沒辦法解釋前面提到的 Biphasic N400/P600 effect。 ###### Notes 1. Syntax-driven stream: *the javelin has summarized the athletes* 1. Thematic-role based stream: *the athletes has summarized the javelin* 1. Conflict → block semantic processing `--` -- .pull-right[ .footnote[.s[ [*]: RI predictions: - **eggs eat** → .neon[**✓**]P600-effect; .r[**✗**]N400-effect - **eggs watch** → .neon[**✓**]P600-effect; .neon[**✓**]N400-effect ]] ] ??? #### Footnote: RI account 另外,Kuperberg 在這些例句裡觀察到的現象,有部份無法被這篇文章所提出的 Retrieval-Integration account 解釋。那沒辦法被解釋的句子是 '*For breakfast the eggs would watch*'。 --- ## Complications: Retrieval-Integration Account? .pull-left[ > For breakfast the **eggs** would .ul[**watch**] > For breakfast the **boys** would .ul[**eat**] .g[.ls[(**control**)]] > > .s[.neon[**✓**]P600-effect; .r[**✗**]N400-effect] - RI prediction: - .neon[**✓**]N400-effect: - '*breakfast*' DOESN'T prime for '*watch*' - '*breakfast*' DOES prime for '*eat*' .g[.ls[(**control**)]] - .neon[**✓**]P600-effect: Semantic anomalous ] ??? RI model 會預測這個句子會出現 biphasic N400/P600 的現象,但是 Kuperberg 的實驗 報告的是只有 P600-effect 被觀察到。 `--` -- .pull-right[ #### Explanation Materials of Kuperberg et al. (2007): > .s[To explore the area the truck should .ul[describe]] > .s[To explore the area the travelers should .ul[rent] .g[.ls[(**control**)]]] - '*truck*' DOESN'T prime for '*describe*' - '*travelers*' DOESN'T prime for '*rent*' - Hence, no difference in N400-effect ] ??? #### Explanation 那作者對於這個狀況的解釋是,Kuperberg 的刺激材料,在 RI model 的理論下,不見得每個都能一致的引起 N400-effect。 ###### breakfast & eggs 譬如說,在 '*For breakfast the eggs would watch*' 這句裡面,breakfast **不會**促發 watch,但是在 control sentence,'*For breakfast the boys would eat*',breakfast 就會促發 eat。所以兩個相減之後就會看到 N400。 ##### truck & describe - 但是在其它的刺激材料,像是右邊,'*To explore the area the truck should describe*'。在這句裡面,「truck」 不會去促發 「describe」。 - 而在 control sentence,'*To explore the area the travelers should rent*',在這裡,「travelers」 一樣也不會去促發「rent」,所以不會看到 N400 的效果。 --- ## Bornkessel-Schlesewsky & Schlesewsky (2008) .pull-left[ **extended Argument Dependency Model** .s[ > The javelin has the athletes .ul[thrown] > .s[(De speer heeft de atleten .ul[geworpen])] > .s[.right[.neon[**✓**]P600-effect; .r[**✗**]N400-effect]] ] Model .s[(two processing streams)]: 1. Thematuc role assignment .ms[(stream 1)] 1. Plausibility heuristic .ms[(stream 2)] 1. Generalized mapping step: .s[integrating streams] 1. Check for *well-formedness* - Difficulties in 1. or 2. → N400 .s[(processing streams)] - Difficulties in 3. or 4. → P600 .s[(Generalized mapping step & post)] ] ??? eADM 是一個用來解釋 thematic role assignment 的理論。那它提出了 2 條 stream, 1. 第一條就是 thematic role assignment,這條 stream 會將 thematic roles 分派給句子中的 NP,並且將這些 thematic roles 整合進動詞的論元結構裡。那如果在這過程中出現了什麼困難,就會造成 N400-effect 的出現。 2. 第二條 stream 與前面兩個理論類似,都是 plausibility heuristic。如果在這條 stream 裡面 處理發生困難,也會造成 N400-effect 的出現。 3. 接著,這兩條 stream 會在一個叫做 Generalized mapping step 的過程中進行整合,那如果這兩條 stream 對於句子有不同的詮釋,那就會引發 P600-effect。 所以在 '*The javelin has the athletes .ul[thrown]*' 這句話裡面,thematic role 的 stream 會將句子解釋為 「 *the javelin has thrown the athletes*」,但在 plausibility heuristic 會將這句話解釋成 「*the athletes have thrown the javelin*」。那因為這兩條 stream 在產生詮釋的過程中並沒有發生困難,所以不會引起 N400-effect。但因為他們有不同的詮釋,所以在整合的階段會出現困難,因此會引起 P600-effect 那 eADM 這個 model 其實跟這篇作者要 propose 的 RI model 有些地方還蠻相似的。例如,相對於其它的 multi-stream models, eADM 裡面的 P600 看起來是在反映 integration 的這個步驟,而不是 syntactic revision。所以 eADM 其實在滿多地方會和 RI model 有一樣的預測。 `--` -- .pull-right[ .l[**Problems ...**] .s[ > Fred eats a .ul[restaurant] > .s[(Fred eet een .ul[restaurant])] > > Fred eats a .ul[sandwich] .s[.g[(control)]] > .s[(Fred eet een .ul[boterham])] > > .s[Kos et al. (2010)] .right[.r[**✗**]P600-effect; .neon[**✓**]N400-effect] ] <br> - eADM prediction: .neon[**✓**]P600-effect; .r[**✗**]N400-effect ] ??? #### Problems ... 但是一樣,eADM 也是這篇文章要拿來批評的對象,因為它也有無法解釋的資料。譬如說,'*Fred eats a restaurant*' 相對於 '*Fred eats a sandwich*'。eADM 對這句話的預測會是 只有 P600-effect,但是 Kos et al. 觀察到的卻是相反的現象,也就是只有 N400 但沒有 P600 effect。 另外,等一下會講到,RI model 對 '*Fred eats a restaurant*' 這個句子,會預測 biphasic N400/P600 effect 的出現,與 Kos et al. 觀察到的現象是不吻合的。但在這之前,我先講一下 Kos 的 model,也是今天的最後一個 Model。 --- ## Kos et al. (2010) .pull-left[ .l[**Processing Competition Model**] Model (two processing streams): 1. Syntactic stream 1. Semantic stream 1. .ls[Weaker supported stream resolves conflict] - .s[Weak syntactic cues → P600] - .s[Weak semantic cues → N400] --- .s[ > Fred eats a .ul[restaurant] > .s[(Fred eet een .ul[restaurant])] .right[.r[**✗**]P600-effect; .neon[**✓**]N400-effect] ] .s[ > The javelin has the athletes .ul[thrown] > .s[(De speer heeft de atleten .ul[geworpen])] .right[.neon[**✓**]P600-effect; .r[**✗**]N400-effect .s[(SIE)]] ] ] ??? Kos 的 model 看起來蠻直覺的,但是我自己不太知道如何套用 Kos 的 model 來解釋例句。 那 Kos 的 model 是由兩個 stream 組成的,一個是 syntactic,另一個是 semantic。那這兩個 stream 會同時、各自獨立的對句子做出一個詮釋。如果這兩個詮釋是有出入的,那 Kos 說 「the burden of resolving the conflict is placed on the stream with the weakest support」。所以,如果 semantic cue 比較強,那 burden of resolving the conflict 就會落在 syntactic stream 之上,因此會引發 P600-effect。那另一種情況下,也就是 syntactic cue 比較強,那就會引起 N400-effect。 `--` -- .pull-right[ .l[**Problems ...**] How to ***quantify cue strength*** ? Biphasic N400/P600 Effects ] ??? #### Problems ... 那這個 Kos 的這個 Processing Competition Model 的問題是,你要如何去比較 Syntactic cue 和 Semantic cue 這兩種 cue 的強弱。在我看起來,它們是兩個不同 dimension 的東西,根本無法比較,就像是你要怎麼去比較長度和角度的大小。 那另外,因為 Processing Competition Model 裡面,出現 conflict 的時候,一定是由某一條 stream 去 resolve the conflict,所以一樣,它也沒辦法解釋 biphasic N400/P600 effect。 --- ## Complications: Retrieval-Integration Account? .pull-left[ .s[ > Fred eats a .ul[restaurant] during the lunch > .s[(Fred eet een .ul[restaurant] tijdens de lunch)] > > .s[Fred eats a .ul[sandwich] during the lunch .g[(control)]] > .s[(Fred eet een .ul[boterham] tijdens de lunch) .g[(control)]] .s[.right[.r[**✗**]P600-effect; .neon[**✓**]N400-effect]] ] - RI prediction: - .neon[**✓**]P600-effect: Semantic anomalous - .neon[**✓**]N400-effect (?) ] ??? RI model 會預測這個句子會出現 biphasic N400/P600 的現象,但是 Kos 的實驗 報告的是只有 N400-effect 被觀察到。 `--` -- .pull-right[ #### Explanation Materials of Kos et al. (2010): .s[ > There appear to be quite some items in which the **semantic anomaly only becomes apparent at the sentence-final prepositional phrase (PP)**. As a consequence, in some items, a P600-effect may occur **at the critical NP**, but in other items only **at the sentence-final PP**. ] ] ??? #### Explanation 那作者的解釋是 Kos 的刺激材料裡,有些句子要讀到句子最後的「介係詞片語」,才看的出來這是個語意異常的句子。所以在句子中間、名詞片語上觀測到的 ERP,不見得每個都會有語意異常的情形,因此 Kos 沒有觀察到 P600-effect。 --- background-image: url(https://imgy.netlify.com/emo/think.png) background-position: 90% 65% background-size: 65% class: inverse # .ml[Questions] --- layout: true class: middle, ml --- Why is there a difference between the waveforms of the coherent conditions in the present study and in an earlier study (figure 4, p. 697)? In an earlier study, it seems that the coherent condition elicited much more negativity in comparison to the coherent condition from the present study. Shouldn't the waveforms from the two coherent conditions look more similar? --- According to the Retrieval-Integration(RI) theory, P600 reflects to the integration of activated lexical information into the existing current mental representation, can we assume that P600 should only be elicited after the whole sentence is read? even if the implausible word may not be the last word. It's observed that "Next, the woman told the suitcase. . ." shows a P600 effect rather than P400 may owing to the prior context about a tourist and a suitcase, and it proves N400 as memory retrieval. If, the prior context is not a story but only a few sentences or even a few words, will the memory retrieval still happen? --- 1. What will the ERP waves be like if you ask someone who knows nothing about Noah the Moses question? Pretty sure that P600 won't be elicited. How about the N400? 2. Is there an order about which one of the five multi-stream models should be adopted? --- According to the report, N400 indicates memorial retrieval rather than detecting the difficulty of semantic integration. Therefore, can we assume that the production of N400 is resulted from acquired cultivation, since the “difficulty” of semantic integration depends on different background and education ﹖ --- In the article, author give the hypothesis that P600 amplitude is related to the MRC composition. Therefore, I wonder if the a normal, correct sentence but with blurring sound will also cause P600-effect, since the listener also should put additional effort in understanding what the speaker say. --- From a layman's perspective, the retrieval-information account proposed by Brouwer et al. And it is able to explain why syntactically wrong sentences with a semantic relation between a verb and its argument show a bigger P600 effect, as we have seen last week. The authors stress the importance of sentence final prosodic cues and I wonder how auditory stimuli might differ from visual stimuli in this regard. Would a visually present dot "." in the end of a sequence of words differ from a sentence-final falling pitch when talking about clause sentence wrap-up effects in ERP studies? --- On P.139, the author points out that the prosodic boundaries are similar to sentence and phrase boundaries in how they affect the P600. It occurs to me that tones may change the meaning of the word in tonal language. If the low tone appear at the end of the question sentence, where the intonation rise, will there be a P600, or N400? --- 從這篇文章可以看出來,隨著 ERP 研究的推進, N400 和 P600 似乎反映的是比較 basic, general 與 non-language-specific 的心智功能,像是「記憶提取」和「心智表徵的建構和更新」。 換言之,要找到一個能和語言學中的概念 (e.g. syntax, thematic roles, animacy) 直接對應的生理指標似乎非常的困難;反過來說,要以 N400 和 P600 所反映的,非常基本的心智現象,去建構一個 sentence processing 的理論 (例如,文章中的 multi-stream models),中間似乎還有很大的間隙要填補。 在這樣的脈絡下,目前有什麼嘗試架起這中間空隙的例子嗎? 例如,嘗試連結 basic psychological processes (建立於實驗) 和抽象的語言學理論 (建立於語言分析)。 --- # References .ms[ Bornkessel-Schlesewsky, I., Schlesewsky, M., 2008. An alternative perspective on semantic P600 effects in language comprehension. Brain Res. Rev. 59, 55–73. Hoeks, J.C.J., Stowe, L.A., Doedens, G., 2004. Seeing words in context: the interaction of lexical and sentence level information during reading. Cognitive Brain Res. 19, 59–73. Kim, A., Osterhout, L., 2005. The independence of combinatory semantic processing: evidence from event-related potentials. J. Mem. Lang. 52, 205–225. Kos, M., Vosse, T., van den Brink, D., Hagoort, P., 2010. About edible restaurants: conflicts between syntax and semantics as revealed by ERPs. Front. Psychol. 1, 1–11. Kuperberg, G.R., 2007. Neural mechanisms of language comprehension: challenges to syntax. Brain Res. 1146, 23–49 . van Herten, M., Kolk, H.H.J., Chwilla, D.J., 2005. An ERP study of P600 effects elicited by semantic anomalies. Cognitive Brain Res. 22, 241–255. van Herten, M., Chwilla, D.J., Kolk, H.H.J., 2006. When heuristics clash with parsing routines: ERP evidence for conflict monitoring in sentence perception. J. Cogn. Neurosci. 18, 1181–1197 . ]