導讀：NLP領域著名學者，斯坦福大學教授克里斯托弗 · 曼寧（Christopher Manning）在美國人文與科學學院（AAAS）期刊的 AI & Society 特刊上發(fā)表了題為《Human Language Understanding & Reasoning》的文章。從NLP學界、業(yè)界的現(xiàn)實出發(fā)，回顧了NLP語言模型的發(fā)展歷史，展望大型語言模型的發(fā)展趨勢，并對語言模型理解人類語言的本質(zhì)做了哲學層面的探討。NLP語言模型是否在向認知智能的“奇點”鄰近，讓我們循著大師的理解來一探究竟。

翻譯：達觀數(shù)據(jù)解決方案副總監(jiān) 高長寬

Abstract：在過去的十年里，通過使用簡單的人工神經(jīng)網(wǎng)絡計算，基于以GPU、TPU為代表的強大算力資源，并在巨量的數(shù)據(jù)上進行訓練，自然語言處理取得了令世人矚目的成就和突破。由此產(chǎn)生的預訓練語言模型，如BERT和GPT-3，提供了一個強大的通用語言理解和生成基礎（A Powerful Universal Language Understanding and Generation Base），它們可以很容易地遷移到許多語義理解、智能寫作和推理任務當中。這些模型顯示了一種更普遍的人工智能形式的雛形，這可能會導致在語言以外的感官經(jīng)驗領域產(chǎn)生強大的基礎模型（Foundation Models）。

當科學家們考慮人工智能時，他們大多想到的是對個體人腦的能力進行建模或再造。但是，現(xiàn)代人類的智能遠遠超出了個體大腦的智能。人類的語言是強大的，對我們這個物種來說是變革性的，它不僅是人類區(qū)別于其他動物的最顯著的特征，更因為它提供給人類一種將眾多個體大腦“聯(lián)網(wǎng)”的方法。人類個體可能并不比我們的近親黑猩猩或倭黑猩猩的智力高多少。這些猿猴已被證明擁有許多人類智能的標志性技能，諸如使用工具、做計劃和在族群中獲取權力。此外，它們的短期記憶比我們更好。

直到現(xiàn)在，人類發(fā)明語言的時間仍然是不確定的，也許永遠都是不確定的，但是在地球生命漫長的進化史中，人類只是在最近很短的時間內(nèi)不可思議地發(fā)展出了語言。原生動物、猴子和猿類的共同祖先可以追溯到6500萬年前；人類從黑猩猩中分離出來可能是600萬年前，而人類的語言一般被認為只有幾十萬年的歷史。盡管我們不像大象那樣強壯，也不像獵豹那樣快，然而，一旦人類發(fā)展出了語言，交流、溝通的力量會迅速導致智人超越其他生物。最近幾十萬年，人類才發(fā)展出文字（僅在五千多年前），并逐漸擁有了建構復雜句子的能力，使得知識能夠在不同的時間和空間的進行流轉。在短短的幾千年里，這種信息共享機制把我們從悠遠的青銅時代帶到了現(xiàn)今的智能手機時代。一個高保真編碼既允許人類之間的理性討論，也允許信息的傳播，這使得復雜社會的文化演變和現(xiàn)代技術知識積累成為可能。語言的力量是人類社會智能的根本，在人類能力被人工智能工具逐步增強的未來世界中，語言仍將保持重要的作用。

鑒于上述原因，自然語言處理（NLP）領域是人工智能的最早的熱門研究方向之一。事實上，關于機器翻譯這類NLP問題的最初工作，包括1954年著名的Georgetown-IBM演示，甚至略早于1956年 “人工智能 “一詞的誕生。然后，我描述了最近NLP的戲劇性發(fā)展，這些發(fā)展源自對大量數(shù)據(jù)進行訓練的大型人工神經(jīng)網(wǎng)絡模型的使用。我追溯了在使用這些技術建立有效的NLP系統(tǒng)方面所取得的巨大進展，并在最后對這些模型所取得的成就和該領域下一步的發(fā)展方向提出了自己的一些想法。

到目前為止，自然語言處理的歷史可以大致分為四個階段。

第一個階段，是從1950年開始再到1969年結束。NLP研究肇始于對機器翻譯的研究。人們想象，翻譯可以迅速建立在計算機在二戰(zhàn)期間破譯密碼的巨大成功之上。冷戰(zhàn)時期，美蘇兩方的研究人員都試圖開發(fā)能夠翻譯其他國家的科學成果的系統(tǒng)。然而，在這個時代的開始，人們對人類語言的結構、人工智能或機器學習幾乎一無所知?，F(xiàn)在回想起來，當時可用的算力和數(shù)據(jù)規(guī)模小得可憐。雖然最初的系統(tǒng)被大張旗鼓地推廣，但這些系統(tǒng)只提供了單詞級的翻譯查找和一些簡單的、不是很有原則的基于規(guī)則的機制來處理單詞的屈折形式(詞法)和詞序。

第二個階段，是從1970年到1992年，這段時間開發(fā)了一系列的NLP示范系統(tǒng)，在處理人類語言中的句法和參照物等現(xiàn)象方面表現(xiàn)出復雜性和深度。這些系統(tǒng)包括Terry Winograd的SHRDLU，Bill Woods的LUNAR，Roger Schank的SAM等系統(tǒng)，Gary Hendrix的LIFER，以及Danny Bobrow的GUS。

語言學和基于知識的人工智能發(fā)展迅猛，在這個時代的第二個十年，新一代的手工構建（Hand-Built）的系統(tǒng)出現(xiàn)了，它們在陳述性語言知識和程序性處理之間有了明確的分離，并且受益于一系列更現(xiàn)代的語言學理論的發(fā)展。

然而，NLP的工作方向在第三個階段發(fā)生了顯著的變化，大約是在1993年~2012年期間。在這一時期，數(shù)字化的文本數(shù)據(jù)大量出現(xiàn)，引人注目的方向是開發(fā)能夠在大量自然文本上實現(xiàn)某種程度的語言理解（Language Understanding）的算法，并利用這些文本的存在來幫助提供這種能力。這導致該領域圍繞NLP的經(jīng)驗性機器學習模型進行了根本性的重新定位，也就是從規(guī)則轉向統(tǒng)計，這一方向至今仍主導著該領域。在這一時期的開始，主流的操作方式是掌握可觀數(shù)量的在線文本–在那些日子里，文本數(shù)據(jù)集一般都在幾千萬字以下–并從這些數(shù)據(jù)中提取某種模型，主要是通過計算特定的事實。例如，你可能會了解到，人們捕捉到的事物種類在有人的地點（如城市、城鎮(zhèn)或堡壘）和隱喻性概念（如想象力、注意力或本質(zhì)）之間相當均衡。但是，在提供語言理解能力方面，對詞匯的計數(shù)只能走到這一步，早期從文本集合中學習語言結構的經(jīng)驗性嘗試相當不成功。這導致該領域的大多數(shù)人集中于構建基于人工標注的語言資源，比如標注詞語在某一場景下特定含義、文本中人名或公司名稱的實例，或treebank中句子的語法結構，然后使用有監(jiān)督機器學習技術來構建模型，在運行時對新的文本片段產(chǎn)生類似的標簽。

2013年至今延續(xù)了第三個階段的經(jīng)驗取向，但由于引入了深度學習或人工神經(jīng)網(wǎng)絡方法，這項工作發(fā)生了巨大的變化。在這種方法中，詞匯和句子的語義通過在一個（幾百或一千維）實數(shù)向量空間中的位置來表示，而意義或句法的相似性則通過在這個空間中的接近程度（距離遠近）來表示。從2013年到2018年，深度學習為建立高性能的模型提供了更強大的基線方案：更容易對較長距離的語境進行建模，而且模型對具有相似含義的詞匯或短語的泛化性更好，因為它們可以利用向量空間中的接近性，而不是取決于符號層面的相似性（比如兩個詞匯在詞形方面很接近，但意義無關甚至相反）。盡管如此，在建立有監(jiān)督的機器學習模型以執(zhí)行特定的分析任務方面，這種方法是不變的。

word2vec模型訓練原理示例

經(jīng)word2vec訓練后，得到的詞匯表示在語義空間可以進行加減乘除等數(shù)學運算

然而，一切都在2018年10月份之后發(fā)生了變化 — 當時NLP是非常大規(guī)模的自監(jiān)督神經(jīng)網(wǎng)絡學習的第一次重大成功。在這種方法中，模型只需接收到極大量（20GB起步）的文本（現(xiàn)在通常是幾十億字），就能學習到大量關于語言和現(xiàn)實世界的大部分知識。做到這一點，得益于transformer系模型強大的自監(jiān)督學習方式：模型從文本中自動創(chuàng)建能挑戰(zhàn)自己的預測任務—類似“完形填空”，例如， 例如在給定先前詞匯的情況下依次識別文本中的每個下一個單詞，或在文本中填寫一個被遮掩的詞匯或短語。通過數(shù)十次重復這樣的預測任務，并從錯誤中學習，所以模型在下一次給定類似的文本上下文語境時做得更好，由此關于語言和現(xiàn)實世界的一般知識被積累起來，然后這些知識可以被應用到下游的語義理解任務中，比如文本分類、文本檢索、情緒分析或閱讀理解。

事后看來，大規(guī)模自監(jiān)督學習方法（Large-Scale Self-Supervised Learning Approaches）的發(fā)展很可能被視為根本性的變化，而第三個階段2017年戛然而止?；谧员O(jiān)督的預訓練方法的影響是革命性的：現(xiàn)在有可能在大量未標記的人類語言材料上訓練模型，從而產(chǎn)生一個大型的預訓練模型，通過微調(diào)（Fine-Tuning）或提示（Prompting），可以輕而易舉的在各種自然語言理解和生成任務取得較好的結果。因此，NLP的進展和興趣已經(jīng)爆炸性增長。?樂觀一些的看法是，具有一定程度通用智能的蘊含海量知識的系統(tǒng)（Knowledge-Imbued Systems）正逐漸涌現(xiàn)。

我不能在這里對現(xiàn)在占主導地位深度學習預訓練模型進行全面描述，因為18年~22年期間誕生的此類模型及其變種實在是太多了，但我可以提供一個線索。這些模型通過實數(shù)向量來表示一切，并且能夠在接觸到許多文本數(shù)據(jù)后，通過誤差的反向傳播（歸結為做微分計算）從一些預測任務回到文本中的詞的表示，從而學習到較好的語義表示。自2018年以來，NLP應用的主流模型一直是transformer系的神經(jīng)網(wǎng)絡。transformer是一個比早幾十年探索的簡單的詞匯序列神經(jīng)網(wǎng)絡復雜得多的模型。其主導思想是attention（注意力機制），通過這種思想，一個位置的表征被計算為其他位置的表征的加權組合。transformer模型中一個常見的自監(jiān)督目標是遮掩文本中的偶發(fā)詞（Occasional Words）。該模型會計算出曾經(jīng)出現(xiàn)過的詞匯。它通過從每個詞的位置（包括遮蔽位置）計算出代表該位置的查詢、鍵和值的向量來實現(xiàn)這一目標。將某個位置的查詢與每個位置的值進行比較，以計算出對每個位置的關注程度；在此基礎上，計算出所有位置的值的加權平均值。這個操作在transformer神經(jīng)網(wǎng)的每一層都要重復多次，所得的值通過全連接神經(jīng)網(wǎng)層并通過使用歸一化層和殘差連接進一步處理，為每個詞產(chǎn)生一個新的向量。整個過程重復多次，給transformer神經(jīng)網(wǎng)帶來額外的深度層。最后，掩碼位置上方的表示應該捕捉到原始文本中存在的詞匯。例如，如圖1所示的committee：

通過transformer深度神經(jīng)網(wǎng)絡的諸多簡單計算可以實現(xiàn)或學習什么，這一點很難直觀了解到。起初，這可能聽起來像是某種復雜的統(tǒng)計關聯(lián)學習器（Statistical Association Learner）。然而，考慮到像transformer這樣一個非常強大的、靈活的、高參數(shù)的模型和海量的文本數(shù)據(jù)來學習和預測，這些模型發(fā)現(xiàn)并表征了人類語言的大部分結構。事實上，很多研究表明，這些模型學習并表征了語句的句法結構，并將學習、記憶現(xiàn)實世界中的許多事實，因為這些東西都有助于模型成功地預測遮蔽詞（Masked Words）。此外，雖然預測一個被遮掩的詞最初看起來是一個相當簡單和低層次的任務–一種無幽默感的 “瘋狂的自由”，而并不是什么復雜的任務，如用圖示顯示一個句子的語法結構，但這項任務被證明是非常強大的，因為它是普遍的：每一種形式的語言和世界知識，從句子結構、詞的內(nèi)涵和關于現(xiàn)實世界的事實，幫助人們更好地完成這一任務。因此，這些模型集合了它們所接觸的語言和現(xiàn)實世界的大量一般知識。一個這樣的大型預訓練語言模型（LPLM）可以被應用到許多特定的NLP任務中，只需要少量的訓練數(shù)據(jù)做進一步“指導”。從2018年到2020年，這樣做的標準方式是通過少量的額外有監(jiān)督學習對模型進行微調(diào)，對感興趣的特定任務（如情緒分析、閱讀理解和實體抽取）進行訓練。但是最近，研究人員出人意料地發(fā)現(xiàn)，這些模型中最大的模型，如GPT-3（Generative Pre-trained Transformer-3），只需一個提示（Prompt）就可以很好地完成新的任務。給他們一個人類語言描述或幾個希望他們做什么的例子，他們就能完成許多他們從未接受過訓練的任務。
傳統(tǒng)的自然語言處理模型是由幾個通常獨立開發(fā)的組件精心“拼裝”而成的，經(jīng)常被構建成一個流水線（Pipeline），它首先捕捉文本的句子結構和低層次的實體，然后再理解一些高層次的語義信息，并將其輸入一些特定領域的執(zhí)行組件。在過去的幾年里，各公司已經(jīng)開始用LPLM來取代這種傳統(tǒng)的NLP解決方案，通常會對其進行微調(diào)以執(zhí)行特定的任務。我們可以期待這些系統(tǒng)在2020年代做什么？早期的機器翻譯系統(tǒng)涵蓋了有限領域的有限語言結構?；谄叫蟹g語料庫建立大型統(tǒng)計模型，使得具有較強泛化能力的機器翻譯成為可能，這是大多數(shù)人在2006年谷歌翻譯推出后首次體驗的東西。十年后的2016年底，當谷歌轉向使用神經(jīng)機器翻譯時，谷歌的機器翻譯有了明顯的改善。但該系統(tǒng)的壽命較短：基于transformer的神經(jīng)網(wǎng)絡翻譯在2020年推出。這個新系統(tǒng)不僅通過不同的神經(jīng)架構，而且使用與以往網(wǎng)絡結構截然不同的模型進行優(yōu)化。新系統(tǒng)不是從平行文本中建立雙語匹配，從而在兩種語言之間進行翻譯，而是從一個巨大的神經(jīng)網(wǎng)絡中獲益，該網(wǎng)絡同時對谷歌翻譯所涵蓋的所有語言進行訓練，只需用一個明顯的標記（target_language、source_language）來表示語言。雖然這個系統(tǒng)仍然會犯錯，機器翻譯的研究也在繼續(xù)，但今天自動翻譯的質(zhì)量是非常出色的。當我從今天的《世界報》文化版中輸入幾個句子：

Il avait été surnommé, au milieu des années 1930, le ? Fou chantant ?, alors qu’il faisait ses débuts d’artiste soliste après avoir créé, en 1933, un duo à succès avec le pianiste Johnny Hess. Pour son dynamisme sur scène, silhouette agile, ses yeux écarquillés et rieurs, ses cheveux en bataille, surtout pour le rythme qu’il donnait aux mots dans ses interprétations et l’écriture de ses textes.（20世紀30年代中期，他在1933年與鋼琴家約翰尼-赫斯成功創(chuàng)作了一首二重奏后，首次以獨唱藝術家的身份亮相，被人稱為 “唱歌的傻瓜”。他以充滿活力的舞臺形象、敏捷的身手、寬大的笑眼、狂野的頭發(fā)而聞名，最重要的是他在演繹和撰寫歌詞時賦予文字以節(jié)奏。）

由機器出的譯文質(zhì)量較高：

He was nicknamed the Singing Madman in the mid-1930s when he was making his debut as a solo artist after creating a successful duet with pianist Johnny Hess in 1933. For his dynamism on stage, his agile figure, his wide, laughing eyes, his messy hair, especially for the rhythm he gave to the words in his interpretations and the writing of his texts.

在智能問答中，一個系統(tǒng)在一系列文本中尋找相關的信息，然后為特定的問題提供答案（是一個片段，而不是像早期的網(wǎng)絡搜索那樣，只返回被認為包含相關信息的頁面）。智能問答有許多直接的商業(yè)應用，包括售前和售后客戶支持?，F(xiàn)代神經(jīng)網(wǎng)絡問題回答系統(tǒng)在提取文本中的答案方面有很高的準確性，甚至在找出沒有答案的情況下也相當出色。例如，從這段話中可以看出：

三星為Galaxy Note 20 Ultra保留了最好的功能，包括比Galaxy S20 Ultra更精致的設計–我不推薦這款手機。你會發(fā)現(xiàn)一個特殊的6.9英寸屏幕，銳利的5倍光學變焦相機和一個更迅速的手寫筆，用于注釋屏幕截圖和做筆記。與Note 10 Plus相比，Note 20 Ultra還做了一些小而重要的改進，特別是在相機領域。這些功能是否證明了Note 20 Ultra的價格合理？128GB版本的起價為1300美元。這個零售價是一個很高的要求，特別是當你結合全球經(jīng)濟深度衰退和失業(yè)率上升的環(huán)境時。

人們可以得到如下問題的答案，答案是從上面大段文字中抽取的片段，很精確：

三星Galaxy Note 20 Ultra的價格是多少？

?????128GB版本為1300美元

Galaxy Note 20 Ultra有20倍光學變焦嗎？

?????沒有

Galaxy Note 20 Ultra的光學變焦是多少？

?????5x

Galaxy Note 20 Ultra的屏幕有多大？

?????6.9英寸

對于常見的傳統(tǒng)NLP任務，如在一段文本中找出人名或組織名稱，或對關于產(chǎn)品的文本進行情感分類（積極或消極），目前最好的系統(tǒng)還是基于LPLMs，一般通過提供一些訓練數(shù)據(jù)進行微調(diào)。雖然這些任務即使在最近的大型語言模型之前也可以做得很好，但這些模型中蘊藏了海量關于語言和現(xiàn)實世界的更廣泛知識，從而進一步提高了這些任務的性能。

最后，LPLMs還具有生成流暢、連貫且內(nèi)在語義一致的文本的能力。除了許多創(chuàng)造性的用途外，這種系統(tǒng)還有平淡無奇的用途，從編寫“程式化”的新聞文章，如天氣預報、體育報道，到自動總結。例如，這樣的系統(tǒng)可以幫助放射科醫(yī)生，根據(jù)放射科醫(yī)生的發(fā)現(xiàn)來輸出診斷摘要。對于下面的研究結果，我們可以看到，系統(tǒng)生成的摘要與放射科醫(yī)生自己撰寫的總結非常相似：

發(fā)現(xiàn)：管線/管子：右髂骨鞘，中心靜脈導管尖端在最初的X光片上，氣管導管在鎖骨頭之間，腸管的側口在ge交界處，尖端在視場外的橫膈膜下；這些在隨后的膠片上被移除。縱隔引流管和左胸造口管沒有變化。肺部：肺容積較小。心后空隙疾病，在最近的片子中略有增加。胸膜：左胸腔少量積液。沒有氣胸。心臟和縱隔：手術后心臟縱隔輪廓變寬。主動脈弓鈣化。骨骼：完整的胸骨正中切口線。

放射科醫(yī)生生成的印象：左側基底空隙病變和左側小量胸腔積液。線條和管道位置如上。

系統(tǒng)自動生成的摘要：線條和管子的位置如上所述。心后空隙疾病，在最近的片子上略有增加。左側小胸腔積液。

最近，這些NLP系統(tǒng)在許多任務上表現(xiàn)得非常好。事實上，給定一個較為明確的NLU任務，它們往往可以被“調(diào)教”得和人類的表現(xiàn)一樣好。然而，我們?nèi)匀挥欣碛蓱岩蛇@些系統(tǒng)是不是真的理解它們在做什么，或者它們是否只是“精心設計”的改寫系統(tǒng)，而不是真正意義上的理解語義。

不僅在語言學和語言哲學中，而且在編程語言中，描述意義的主流方法是指稱語義學方法或指稱理論：一個詞、短語或句子的意義是它所描述的世界上的一組對象或情況(或其數(shù)學抽象)。這與NLP中現(xiàn)代經(jīng)驗性工作的簡單的分布式語義學(Distributional Semantics)形成了對比，根據(jù)后者，一個詞的意義只是對它出現(xiàn)的上下文語境的描述。意義不是全有或全無；在許多情況下，我們只能在部分的理解語言形式（Linguistic Form）的意義。我認為，意義產(chǎn)生于對語言形式與其他事物之間的聯(lián)系網(wǎng)絡的理解，無論是世界上的物體還是其他語言形式。如果我們擁有一個密集的連接網(wǎng)絡，那么我們就對語言形式的意義有一個很好的感知。例如，如果我接觸過印度的舍尼琴（shehnai），那么我對這個詞的意義就有一個較為合理的概念，跟進一步，如果我還聽過舍尼琴的演奏曲，那么“舍尼琴”將會在我的心目中有著更為豐富的內(nèi)涵。反過來說，如果我從來沒有見過、摸過或聽過舍奈琴，但有人告訴我它就像傳統(tǒng)的印度雙簧管，那么這個詞對我來說就有一些“較淺”的意義：它與印度、與使用簧片的管樂器、與演奏音樂有聯(lián)系。如果有人補充說，它的孔有點像直笛，但它有多個簧片和一個外翻的末端，更像雙簧管，那么我就有更多的舍尼琴的物品屬性知識。相反，我可能沒有這些信息，而只是有一些包含“舍尼琴”的語句，比如說，“從一周前開始，舍尼琴的演奏者就坐在房子門口的竹制馬車里，吹著他們的管子”、“Bikash Babu不喜歡舍尼琴的哭聲，但他決心滿足新郎家可能有的所有傳統(tǒng)期望”。那么，在某些方面，我會對“舍尼琴”這個詞的內(nèi)涵理解得比較少，但我仍然知道它是一種“管狀的樂器”，我對“舍尼琴”的了解并不是那些僅僅拿過舍尼琴的人的理解的子集，因為我知道這個詞所關聯(lián)的某些文化聯(lián)系，而他們是不了解的，只知道是個能吹的樂器。

使用這個定義，即理解意義（Understanding Meaning）包括理解語言形式的連接網(wǎng)絡，毫無疑問，諸如BERT這類預訓練語言模型會學習意義。除了詞匯本身的意義之外，這些模型還學習了很多關于現(xiàn)實世界的知識。如果它們在維基百科的文本上接受訓練（正如它們通常所做的那樣），它們就會了解到亞伯拉罕-林肯于1809年出生在肯塔基州，以及“命運之子（Destiny’s Child）”的主唱是碧昂斯-諾爾斯-卡特。機器可以像人一樣，從作為人類知識倉庫的書寫文本中受益匪淺。然而，模型所學習到的詞義和世界知識往往是非常不完整的，需要用其他的感官數(shù)據(jù)和知識來補充（比如是圖像、聲音和結構化的知識圖譜）。

LPLMs在語言理解任務上的成功，以及將大規(guī)模自監(jiān)督學習擴展到其他類型的數(shù)據(jù)上–如視覺、機器人、知識圖譜、生物信息學和多模態(tài)數(shù)據(jù)（Multimodal Data）的激動人心的前景，表明我們正在探索一個更具普適性的方向。我們提出了基礎模型(Foundation Models)這一術語，是指在大量數(shù)據(jù)上通過自監(jiān)督模式訓練出的具有數(shù)百萬級規(guī)模參數(shù)的通用模型，它們可以很容易地在許多下游任務上進行微調(diào)并做出合理的預測。其中，一個方向是將語言模型與更多的結構化的知識庫連接起來，這些知識庫以知識圖譜神經(jīng)網(wǎng)絡的形式表示，或者以大量文本的形式提供，以便在運行時進行“查閱”。這方面的一個例子是最近的DALL-E模型，在對海量的圖像-文本數(shù)據(jù)進行自監(jiān)督學習后，可以通過輸入一段文字產(chǎn)生栩栩如生、顆粒度極為精細的圖像。

我們?nèi)匀惶幱诨A模型（Foundation Models）時代的早期，但讓我勾勒出一個可能的未來。大多數(shù)信息處理和分析任務，甚至像機器人控制這樣的事情，都將由相對較少的基礎模型中的一個專門化來處理。這些模型的訓練將是昂貴和耗時的，但使它們適應不同的任務將是相當容易的；事實上，人們可能只需用自然語言指令就能做到。由此產(chǎn)生的對少數(shù)模型的趨同帶來了一些風險：有能力建立這些模型的團體可能有過度的權力和影響，許多終端用戶可能會受到這些模型中存在的任何偏見的影響，而且由于模型和它們的訓練數(shù)據(jù)是如此之大，將很難判斷模型在特定情況下是否可以安全使用。盡管如此，這些模型將從大量訓練數(shù)據(jù)中獲得的知識部署到許多不同的運行時任務的能力將使這些模型變得強大，它們將首次展示人工智能的目標，即一個機器學習模型根據(jù)簡單的現(xiàn)場指示完成許多特定的任務。雖然對這些模型的最終可能性只有朦朧的了解，但它們可能仍然是有限的，缺乏人類水平的仔細邏輯或因果推理的能力。但基礎模型的廣泛有效性意味著它們將被非常廣泛地部署，并且它們將在未來十年為人們提供更普遍形式的人工智能的第一瞥。

原文標題：Human Language Understanding & Reasoning

原文作者：Christopher D. Manning，現(xiàn)任斯坦福大學教授、斯坦福自然語言處理組負責人。Christopher Manning是自然語言處理領域著名學者，是國際計算機學會(ACM)、國際人工智協(xié)會（AAAI）、國際計算語言學會（ACL）等國際權威學術組織的會士，曾獲ACL、EMNLP、COLING、CHI等國際頂會最佳論文獎，著有《統(tǒng)計自然語言處理基礎》、《信息檢索導論》等自然語言處理著名教材。

原文地址：1.https://www.amacad.org/sites/default/files/publication/downloads/Daedalus_Sp22_09_Manning.pdf
2.American Academy of Arts and Sciences (amacad.org)

Endnotes

• 1、Frans de Waal, Are We Smart Enough to Know How Smart Animals Are? (New York: W. W. Norton, 2017).
• 2、Mark Pagel, “Q&A: What Is Human Language, When Did It Evolve and Why Should We Care?” BMC Biology 15 (1) (2017): 64.
• 3、W. John Hutchins, “The Georgetown-IBM Experiment Demonstrated in January 1954,” in Machine Translation: From Real Users to Research, ed. Robert E. Frederking and Kathryn B. Taylor (New York: Springer, 2004), 102–114.
• 4、A survey of these systems and references to individual systems appears in Avron Barr, “Natural Language Understanding,” AI Magazine, Fall 1980.
• 5、Larry R. Harris, “Experience with Robot in 12 Commercial, Natural Language Data Base Query Applications” in Proceedings of the 6th International Joint Conference on Artificial Intelligence, IJCAI-79 (Santa Clara, Calif.: International Joint Conferences on Artificial Intelligence Organization, 1979), 365–371.
• 6、Glenn Carroll and Eugene Charniak, “Two Experiments on Learning Probabilistic Dependency Grammars from Corpora,” in Working Notes of the Workshop Statistically-Based NLP Techniques, ed. Carl Weir, Stephen Abney, Ralph Grishman, and Ralph Weischedel (Menlo Park, Calif.: AAAI Press, 1992).
• 7、Ashish Vaswani, Noam Shazeer, Niki Parmar, et al., “Attention Is All You Need,” Advances in Neural Information Processing Systems 30 (2017).
• 8、Christopher D. Manning, Kevin Clark, John Hewitt, et al., “Emergent Linguistic Structure in Artificial Neural Networks Trained by Self-Supervision,” Proceedings of the National Academy of Sciences 117 (48) (2020): 30046–30054.
• 9、Tom Brown, Benjamin Mann, Nick Ryder, et al., “Language Models Are Few-Shot Learners,” Advances in Neural Information Processing Systems 33 (2020): 1877–1901.
• 10、For example, Météo translated Canadian weather reports between French and English; see Monique Chevalier, Jules Dansereau, and Guy Poulin, TAUM-MéTéO: Description du système (Montreal: Traduction Automatique à l’Université de Montréal, 1978).
• 11、Gideon Lewis-Kraus, “The Great A.I. Awakening,” The New York Times Magazine, December 18, 2016.
• 12、Isaac Caswell and Bowen Liang, “Recent Advances in Google Translate,” Google AI Blog, June 8, 2020
• 13、Sylvain Siclier, “A Paris, le Hall de la chanson fête les inventions de Charles Trenet,” Le Monde, June 16, 2021.
• 14、Daniel Khashabi, Sewon Min, Tushar Khot, et al., “UnifiedQA: Crossing Format Boundaries with a Single QA System,” in Findings of the Association for Computational Linguistics: EMNLP 2020 (Stroudsburg, Pa.: Association for Computational Linguistics, 2020), 1896–1907.
• 15、Yuhao Zhang, Derek Merck, Emily Bao Tsai, et al., “Optimizing the Factual Correctness of a Summary: A Study of Summarizing Radiology Reports,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (Stroudsburg, Pa.: Association for Computational Linguistics, 2020), 5108–5120.
• 16、For an introduction to this contrast, see Gemma Boleda and Aurélie Herbelot, “Formal Distributional Semantics: Introduction to the Special Issue,” Computational Linguistics 42 (4) (2016): 619–635.
• 17、Emily M. Bender and Alexander Koller, “Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (Stroudsburg, Pa.: Association for Computational Linguistics, 2020), 5185–5198.
• 18、From Anuradha Roy, An Atlas of Impossible Longing (New York: Free Press, 2011).
• 19、Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, et al., “On the Opportunities and Risks of Foundation Models,” arXiv (2021).
• 20、Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Stroudsburg, Pa.: Association for Computational Linguistics, 2019), 4171–4186.
• 21、Robert Logan, Nelson F. Liu, Matthew E. Peters, et al., “Barack’s Wife Hillary: Using Knowledge Graphs for Fact-Aware Language Modeling,” in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Stroudsburg, Pa.: Association for Computational Linguistics, 2019), 5962–5971; and Kelvin Guu, Kenton Lee, Zora Tung, et al., “REALM: Retrieval-Augmented Language Model Pre-Training,” Proceedings of Machine Learning Research 119 (2020).
• 22、Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, et al., “Zero-Shot Text-To-Image Generation,” arXiv (2021).