語言, 認知, 與機器人實驗

整個五月, 我都與老闆Bateman旗下的另一組研究員一起作機器人實驗.

老闆貝阿伯手下有兩大組研究團隊:
一組是作功能語言學(functional linguistics)與這理論在教育領域與多種符號論述(multimodal discourse)研究的延伸應用. 另一組則專作心理語言學(psycholinguistics), 研究心理認知, 語言使用, 與空間概念的關係. 我雖隸屬於第一組, 然而, 第二組心理語言學的研究, 因為首重受試者的實驗, 總需要很大的人力與時間的投入. 所以, 有時他們實驗需要支援, 我也會幫忙.

上個月他們得趕作實驗, 然而人手不足, 五月畢竟是德國放假月, 很多人都攜家帶眷放長假了, 留下來大多是像我這樣無需放親子假的研究員. 於是整整三個星期, 我每天都在實驗室裡. 紀錄受試者與我負責的艾波機器狗之間的interaction互動. 有很多很有趣的結果, 之後我再找時間好好紀錄一下.

第四個星期, 我隨整組人馬到另一所大學, 參加一場讓人大開眼界的機器人與心理認知研討會 (若有興趣者可以看這研討會網站)

這場研討會, 像博覽會一樣, 充滿了各式各樣的機器人demo, 展示他們目前的研究結果. 我只待一天, 所以只能挑三個我有興趣的"攤位"參觀. 然而這三個實驗demo已經能讓我印象深刻大嘆不可思議.

我參觀的第一個展示, 是sonification音效研究, 主要是把資料數據機器化, 成為音樂來顯示. 研究員用一個患有癲癇症小孩的腦波活動來當例子. 原本, 用一般的腦波顯示器, 無法明顯地比較這小孩子發病時與正常時的腦波差異. 於是, 他們把這些腦波數據音效化, 這位小孩正常時期的腦部資料, 變成是一段緩慢平穩的旋律, 然而, 發病時, 旋律卻明顯變得十分戲劇化, 差異很可觀. 有趣的是，當受試者頭戴上一組儀器、並開始思考事情時，一陣音樂便悠悠地傳出來。我真想知道我的論文是屬於哪一類型的音樂，還有我瘋狂想念著台灣小吃時，又是哪一種音樂。

這些研究員講解說, 此研究的目的, 是將來可以利用音效音樂, 來判定一些用肉眼與數據圖表, 無法清楚比較的recurring patterns (一直重複出現的模式). 把這些資料轉化成音樂, 即可很方便地比較, 某些數據模式, 例如某種腦波活動, 在怎樣的特殊情況下, 會一直不斷地重複出現.

看完這項實驗後, 我與幾個同事們立刻被另一個實驗室招牌給吸引, "Come to see our robot hand grab nearly everything!", 這項實驗, 主要展示, 我們人類的手雖有很多很細微的活動與功能, 原本是機器人無法複製的, 但目前機器手的發展, 幾乎已經可以像人類手一樣靈活, 發揮很接近的功能.

我最後參觀的是eye tracking實驗, 基本上, 受試者要戴上一種大頭盔與眼鏡, 以追蹤其瞳孔活動. 我去年到丹麥研討會時, 其實已有看過一組瑞典研究員報告的eye tracking相關研究, 這些瑞典人, 主要是針對多符號文本(multimodal text), 例如報紙,電影, 電視, 雜誌等等, 來追蹤的讀者或觀賞者的閱讀過程(reading path)或者注意力集中在哪部分居多, 以及研究亞洲與西方讀者的閱讀習慣是否因為文化而有不同.

上週的eye tracking實驗, 則是展示他們目前正在研究, 兩個人交談互動時, 會有怎樣的注意力差異. 例如某人當談到身旁物件時, 說者與聽者會不會一起轉移注意力到那物件上面, 或者, 兩人的注意力變化, 是否有固定的pattern模式可循, 原因又是什麼.

機器人實驗與心理語言學, 並非我主要的研究領域, 但是每每參與, 總讓我佩服他們的研發進度.

我剛到布萊梅時, 他們正在做一些把"語言音韻"機器化的實驗. 例如, 目前的語言科技, 其實已經可以讓機器判讀人類的一些話語, 這樣不但可以省下很多人事費用, 也可以幫助發展無障礙空間, 讓老人或殘障人士, 無須進一步的動作, 只要開口, 就可以指示需要完成的任務. 然而, 目前的科技只能讓機器辨認音節, 而不是音韻, 也就是說, 他能辨別一些簡單的字, 但是不一定可以聽得懂整句話的語氣. 最近我去幫他們作實驗, 見到他們作出一台會跟人溝通交談(且有禮貌)的咖啡機, 雖它有點遲鈍, 想買一杯咖啡要有很大的耐心, 但它已經可解讀我說的整段德文長句子(即使有口音), 並透過分析音韻, 判定我說的是疑問句還是肯定句, 最後讓我順利買到咖啡.

雖然我無法把所有時間精力, 長久連續地投注在同一項實驗上, 所以我不是從事這類研究的料, 但能親眼目睹科技的神速進步與偶爾參與這些研發過程, 還是很令人興奮的.