天天訊息：AI教父最新MIT萬字訪談: 人類可能只是AI演化過程中的一個過渡階段

過去幾個月教父對AI的認(rèn)知被徹底改變。

編者按：本文來自微信公眾號“Web3天空之城”（ID：Web3SkyCity），作者城主，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

(相關(guān)資料圖)

前幾日，AI教父Hinton離開谷歌，并表態(tài)AI很危險和后悔研發(fā)的言論在人工智能圈引起了軒然大波。

作為深度學(xué)習(xí)之父，目前所有大語言模型的奠基人，Hinton的一舉一動都標(biāo)志著最了解AI的一群人對它的態(tài)度風(fēng)向。這也是我們?nèi)ダ斫馊斯ぶ悄馨l(fā)展和威脅的一個重要信號。

在離開谷歌后，Hinton參與了CNN，BBC的多輪簡短訪談，講述了他眼中的AI威脅，但限于時長的原因，他并沒能展開講述對AI深層恐懼的因由。

直到在5月3日，在麻省理工技術(shù)評論（MIT Technology Review）一場接近一小時的半公開分享會上，Hinton終于有機(jī)會比較完整的講述了他對AI的所有恐懼和擔(dān)憂：一旦AI在人類灌輸?shù)哪康闹猩闪俗晕覄訖C(jī)，那以它的成長速度，人類只會淪為硅基智慧演化的一個過渡階段。人工智能會取代人類，它有能力這么做，在當(dāng)下的競爭環(huán)境下也沒有什么辦法限制它，因此這只是一個時間問題。

根據(jù)報(bào)道，麻省理工學(xué)院實(shí)驗(yàn)室的成員們對Hinton的表態(tài)無言以對，不知所措。（“The MIT Lab was speechless and bewildered. ”）

Hinton覺得我們也許還有希望以防止核擴(kuò)散的邏輯來限制住AI的軍備競賽和無序發(fā)展，盡管他對此并沒有信心。

因此他站了出來，講述這些很難察覺的潛在危險，讓更多人能通過他的呼吁了解人類所處的歷史位置和當(dāng)下的艱難處境，并期望能引發(fā)一些改變。

希望大家能夠聽到這有些飄渺，但實(shí)際已在切近的警報(bào)。

以下是訪談?wù)砣模?/p>

主持人：

大家好，歡迎回來。我們剛剛享用了美好的午餐。我是Douglas Heaven，麻省理工技術(shù)評論的人工智能高級編輯。

我想我們都同意，毫無疑問生成式AI是當(dāng)下的熱門話題，創(chuàng)新永不停歇。在本章節(jié)中，我們將深入探討前沿研究，這些研究已經(jīng)在推動進(jìn)步，并探討未來可能發(fā)生的事情。

首先，我想向大家介紹一位非常特殊的演講嘉賓。他將通過網(wǎng)絡(luò)與我們見面。他的名字是杰弗里·辛頓（Geoffrey Hinton），是多倫多大學(xué)的名譽(yù)教授，直到本周還擔(dān)任谷歌工程研究員。然而，在周一，他宣布將在10年后離任。Geoffrey 是現(xiàn)代AI領(lǐng)域最重要的人物之一，他是深度學(xué)習(xí)的先驅(qū)，開發(fā)了一些我們今天所知道的AI基礎(chǔ)技術(shù)，如反向傳播算法。這種技術(shù)是當(dāng)今幾乎所有深度學(xué)習(xí)的基礎(chǔ)。

2018年，Geoffrey 獲得了圖靈獎。這個獎項(xiàng)通常被稱為計(jì)算機(jī)科學(xué)的諾貝爾獎。他與Yann LeCun和Yoshua Bengio一起獲得了這個獎項(xiàng)。

今天，他將與我們探討智能的含義，以及嘗試在一些機(jī)器中構(gòu)建智能可能帶我們走向何方。

Geoffrey ，歡迎來到MIT技術(shù)評論。

Hinton:

謝謝。

離開谷歌的原因：GPT4讓我意識到AI模型和我們的大腦不同，可能更善于學(xué)習(xí)

主持人：

這周過得怎么樣？我猜過去的幾天一定很忙吧。

Hinton：

嗯，過去的10分鐘真是太可怕了，因?yàn)槲业碾娔X崩潰了，我不得不找另一臺電腦連接上。（觀眾笑）

主持人：

我們很高興你回來了，這是一種技術(shù)細(xì)節(jié)，我們不應(yīng)該和觀眾分享的。（觀眾笑）

很高興你能來到這里，非常榮幸你能加入我們。

關(guān)于你本周從谷歌辭職的消息，到處都在報(bào)道。你能先告訴我們，做出這個決定的原因嗎？

Hinton：

這個決定背后有很多原因。

首先，我已經(jīng)75歲了，我的技術(shù)工作能力和記憶力都不如以前。在編程時，我會忘記做某些事情，所以我認(rèn)為是時候退休了。

第二個原因是，我最近對大腦與我們正在開發(fā)的數(shù)字智能之間的關(guān)系產(chǎn)生了很多新的看法。

過去，我認(rèn)為我們正在開發(fā)的計(jì)算機(jī)模型沒有大腦好，目標(biāo)是通過了解改進(jìn)計(jì)算機(jī)模型所需的內(nèi)容來更深入地了解大腦。但在過去的幾個月里，我完全改變了看法。

我認(rèn)為計(jì)算機(jī)模型可能是以一種相當(dāng)不同于大腦的方式運(yùn)作。它們使用反向傳播，而我認(rèn)為大腦可能并非如此。

有幾件事使我得出了這個結(jié)論，其中之一就是GPT-4的表現(xiàn)。

主持人：

在談?wù)揋PT-4的前景之前，讓我們回顧一下反向傳播，以便我們都理解你提出的論點(diǎn)，并告訴我們反向傳播是什么。這是一個算法，你在1980年代與幾位同事一起開發(fā)的

Hinton：

許多不同的小組都發(fā)現(xiàn)了反向傳播，我們做的特別之處在于使用它，并表明它可以發(fā)展出良好的內(nèi)部表示。有趣的是，我們是通過實(shí)現(xiàn)一個很小的語言模型來做到這一點(diǎn)的。它的嵌入向量只有6個組件，訓(xùn)練集有112個案例。大約10年后，Yoshua 使用基本相同的網(wǎng)絡(luò)處理自然語言。如果使網(wǎng)絡(luò)變得更大，它實(shí)際上應(yīng)該適用于自然語言。

反向傳播的工作原理，我可以為您提供一個簡單的解釋，知道它如何工作的人可以得意的坐下來，嘲笑我提出的解釋方式，好嗎？因?yàn)槲矣悬c(diǎn)擔(dān)心它不夠好。（觀眾笑）

想象一下，你想要在圖像中檢測鳥類，所以在圖像上，假設(shè)它是100像素×100像素的圖像，那是10，000個像素，每個像素有3個通道，紅綠藍(lán)，那是30，000個數(shù)字。計(jì)算機(jī)視覺問題是如何將這30，000個數(shù)字轉(zhuǎn)換為是否存在鳥類的決策，人們試圖長時間做到這一點(diǎn)，但他們做得不是很好。

這里有一個建議，你可能會有一層特征檢測器，檢測圖像中的非常簡單特征，比如邊緣。所以一個特征檢測器可能有很大的正權(quán)重對應(yīng)一列像素，然后對鄰近的一列像素有很大的負(fù)權(quán)重，所以如果兩列都很亮，它就不會啟動；如果兩列都很暗，它也不會啟動，但如果一側(cè)的列很亮，而另一側(cè)的列很暗，它會非常興奮，那就是邊緣檢測器。

我剛剛告訴你如何手動連接一個邊緣檢測器。我們可以想象一個（神經(jīng)網(wǎng)絡(luò)）有大量的類似檢測器檢測不同方向和不同尺度的邊緣來覆蓋整個圖像，我們需要（檢測）相當(dāng)多的數(shù)量。

主持人：

你是指線條，例如一個形狀的邊緣。

Hinton：

從亮到暗的地方變化的地方。嗯，就是那樣。

然后我們可能在上面有一層檢測邊緣組合的特征檢測器，例如，我們可能有一個檢測兩個邊緣以尖銳角連接的特征檢測器。如果這兩個邊緣同時出現(xiàn)，它會變得興奮，那將檢測到可能是鳥嘴的東西，也可能不是；在那一層，還可能有一個特征檢測器檢測到一圈邊緣，那可能是鳥的眼睛，可能是各種其他東西，可能是冰箱上的旋鈕之類的東西；然后在第三層，你可能有一個未來檢測器，檢測潛在的鳥嘴和潛在的眼睛并連接起來。繼續(xù)這樣連接，最終可能會有一個檢測到鳥類的東西。

然而，手動連接所有這些內(nèi)容將非常困難，決定應(yīng)該連接什么權(quán)重應(yīng)該是多少，尤其困難，因?yàn)槟阆Ｍ@些中間層不僅適用于檢測鳥類，還適用于檢測各種其他事物。所以這幾乎不可能手動實(shí)現(xiàn)。

反向傳播的作用是從隨機(jī)權(quán)重開始，這些特征檢測器完全是垃圾（不真也不能用）。然后你放進(jìn)一張鳥的圖片，輸出可能是0.5表示是鳥（假設(shè)你只有鳥和非鳥）。接下來，你需要改變網(wǎng)絡(luò)中的每個權(quán)重，讓它不再說0.5，而是說0.501表示是鳥，0.499表示不是鳥。你需要改變權(quán)重的方向，使得更可能說鳥是鳥，更不可能說非鳥是鳥。這就是反向傳播的原理。

反向傳播實(shí)際上是如何消除差距，在你想要的（也就是概率1表示是鳥）和現(xiàn)在得到的（也許是0.5）表示是鳥之間。如何消除這個差距，把它反向傳播到網(wǎng)絡(luò)，這樣你就可以計(jì)算網(wǎng)絡(luò)中每個特征檢測器，你希望它更活躍還是更不活躍。一旦你計(jì)算出來，如果你知道你想要一個特征檢測器更活躍一些，你可以增加權(quán)重，來自特征檢測器的權(quán)重，并也許加入一些負(fù)權(quán)重到特征檢測器。這樣，你就有了一個更好的檢測器。

所以反向傳播就是反向遍歷網(wǎng)絡(luò)，找出每個特征檢測器，你是否希望它更活躍一點(diǎn)，還是更不活躍一點(diǎn)。

主持人：

謝謝。我可以確定在座的沒有人在笑，認(rèn)為那是一個愚蠢的解釋。

所以讓我們快進(jìn)很多，這個技術(shù)基本上在ImageNet上表現(xiàn)得很好。昨天，我們有了Meta的Joel Pino展示了圖像檢測的進(jìn)展，這也是大型語言模型的基礎(chǔ)技術(shù)。我現(xiàn)在想談?wù)勥@項(xiàng)技術(shù)。

你最初認(rèn)為這是一種生物大腦可能的差勁的近似方法，結(jié)果證明，在大型語言模型中做出了讓你驚訝的事情。所以，請告訴我們?yōu)槭裁唇裉斓拇笮驼Z言模型讓你驚訝，這完全改變了你對反向傳播或機(jī)器學(xué)習(xí)的看法。

Hinton：

如果你看看這些大型語言模型，它們有大約一萬億個連接，像GPT-4這樣的東西知道的比我們多得多，它們具有關(guān)于所有事物的常識性知識，它們可能比一個人知道的多1000倍。

但是它們只有一萬億個連接，而我們有100萬億個連接，所以它們比我們更擅長將大量知識放入僅一萬億個連接中。

我認(rèn)為這是因?yàn)?strong>反向傳播可能是比我們擁有的更好的學(xué)習(xí)算法。

這是可怕的。

主持人：

是的，我一定會談?wù)効膳碌臇|西。但是，你說“更好”是什么意思？

Hinton：

它能夠?qū)⒏嗟男畔⒎湃敫俚倪B接中，嗯，我們將一萬億定義為很少。

GPT4已經(jīng)具備很強(qiáng)的推理能力，還可以通過副本以萬倍于前的速度分布學(xué)習(xí)和進(jìn)化

主持人：

好的，這些數(shù)字計(jì)算機(jī)比人類更擅長學(xué)習(xí)，這本身就是一個巨大的說法，但是，你還說我們應(yīng)該為此感到恐懼。那么你能帶我們了解一下這個論點(diǎn)嗎？

Hinton：

是的，讓我給你一個單獨(dú)的論點(diǎn)。

如果計(jì)算機(jī)是數(shù)字的，它們涉及非常高的能源成本和非常小心的制造過程，你可以在不同的硬件上運(yùn)行相同模型的多個副本，它們可以做完全相同的事情，它們可以查看不同的數(shù)據(jù)，但模型是完全相同的。

這意味著，有10000個副本，它們可以查看10 000個不同的數(shù)據(jù)子集，當(dāng)其中一個學(xué)到了任何東西時，其他所有人都知道，其中一個弄清楚了如何改變權(quán)重，它通過它的數(shù)據(jù)調(diào)整；然后它們都互相溝通，它們都同意按照所有人希望的平均值改變權(quán)重。

現(xiàn)在，這10000個事物彼此之間進(jìn)行了非常有效的溝通，這樣它們就可以看到比單獨(dú)個體看到的多10000倍的數(shù)據(jù)。

人們做不到這一點(diǎn)，如果我學(xué)到了很多關(guān)于量子力學(xué)的東西，我希望你了解所有關(guān)于量子力學(xué)的東西，讓你理解它是一個漫長而痛苦的過程，我不能只是將我的權(quán)重復(fù)制到你的大腦。因?yàn)槟愕拇竽X和我的不完全一樣。

主持人：

不，它不一樣。（觀眾笑）

Hinton：

它年輕。

主持人:

所以，我們有可以更快學(xué)到更多東西的數(shù)字計(jì)算機(jī)，它們可以立即互相教導(dǎo)，就像房間里的人可以將他們腦海中的東西傳遞給我。

但是，為什么那是可怕的呢？

Hinton:

因?yàn)樗鼈兛梢詫W(xué)到更多的東西。以一個醫(yī)生為例，想象一下，有一個醫(yī)生，他已經(jīng)看了1000名患者，另一個醫(yī)生已經(jīng)看了1億名患者，你會期望，第二個醫(yī)生如果沒有太健忘，他可能已經(jīng)注意到了數(shù)據(jù)中的各種趨勢，而這些趨勢在只看過1000名患者的情況下是看不到的。

第一個醫(yī)生可能只看過一個罕見病患者，另一個看過1億患者的醫(yī)生已經(jīng)看過很多這樣的患者，所以他會看到一些規(guī)律，這些規(guī)律在小數(shù)據(jù)中是看不到的。

這就是為什么，能夠處理大量數(shù)據(jù)的東西可能看到的數(shù)據(jù)結(jié)構(gòu)，我們永遠(yuǎn)看不到。

主持人：

那么，給一個我應(yīng)該對此感到恐懼的點(diǎn)？

Hinton：

好吧。請看看GPT-4，它已經(jīng)能夠進(jìn)行簡單的推理。我明白推理是我們?nèi)祟惖膹?qiáng)項(xiàng)，然而，GPT-4在幾天前展示出的表現(xiàn)使我感到震驚。它完成了我認(rèn)為不可能的常識性推理。

我問它，我想要我房子里的所有房間都是白色的，目前有一些白色房間，一些藍(lán)色房間和一些黃色房間，黃色油漆在一年內(nèi)會褪成白色。那么，如果我想要兩年后所有的房間都變成白色，我應(yīng)該怎么做呢？

它回答說，你應(yīng)該把藍(lán)色的房間漆成黃色。盡管這不是直觀的解決方案，但它是正確的。這相當(dāng)令人印象深刻。

這種常識性推理，用符號AI很難實(shí)現(xiàn)，因?yàn)樗仨毨斫馐裁词峭噬?，它必須理解時間問題。所以，它們在做一種合理的推理，智商大概是80或90左右。

正如我的一個朋友說的，這就好像基因工程師聲稱，我們要改進(jìn)灰熊，我們已經(jīng)把它們的智商提高到65了，現(xiàn)在它們能說英語了，而且在各種方面都非常有用，但我們認(rèn)為我們可以把智商提高到210。

主持人：

我有過，相信很多人也有過類似的感覺：與這些最新的聊天機(jī)器人互動時，脖子后面的頭發(fā)會豎起，有一種奇怪的感覺。

但當(dāng)我感到不舒服時，我只需關(guān)閉我的筆記本電腦。。。

AI的惡意使用難以避免，對齊解決遙遙無期

Hinton：

然而，這些人工智能正在從我們這里學(xué)習(xí)，它們可以閱讀所有的小說，甚至馬基雅維利的全部著作。它們會知道如何操縱人，如果它們比我們更聰明，它們會非常擅長操縱我們。我們甚至可能都不會意識到發(fā)生了什么，就像一個兩歲的孩子被問到想吃豌豆還是花椰菜，卻沒有意識到他不一定要選擇其中一個一樣。我們會很容易被操縱。所以，即使它們不能直接拉動杠桿，它們肯定可以讓我們?nèi)ダ瓌痈軛U。事實(shí)證明，如果你可以操縱人，你可以在不親自去的情況下闖入華盛頓的一棟大樓。

主持人：

那么，在一個沒有惡意行為者的世界上，我們會安全嗎？

Hinton：

我不知道，在一個沒有惡意行為者的世界會比在一個有惡意行為者的世界安全嗎？政治系統(tǒng)如此破碎，以至于我們甚至不能決定不給那些十幾歲的男孩攻擊性武器。如果你不能解決那個問題，你如何解決這個問題？

主持人：

噢我不知道，我希望你能有一些想法。（觀眾笑）

你想要大聲疾呼，你覺得在這樣做的時候，沒有對谷歌產(chǎn)生任何負(fù)面影響。但你在大聲疾呼，然而，在某種程度上，談?wù)撌橇畠r的。如果我們不采取行動。這周有很多人在聽你的話，我們應(yīng)該怎么做？

Hinton：

我希望這就像氣候變化一樣。你可以說，如果你有一半的頭腦，你就不會燃燒碳。很明顯，你應(yīng)該對此采取行動。很明顯，這是痛苦的，但必須要做的事情。我不知道有什么類似的解決方案可以阻止這些人工智能取代我們。

我不認(rèn)為我們會停止發(fā)展它們，因?yàn)樗鼈兎浅Ｓ杏谩?/strong>它們在醫(yī)學(xué)和其他方面都非常有用。所以，我不認(rèn)為有什么機(jī)會阻止發(fā)展。我們想要的是某種方法，確保即使它們比我們聰明，它們會做對我們有益的事情。這就是所謂的對齊問題。

但我們需要在一個有惡意行為者的世界里嘗試這樣做。他們想要制造殺人的機(jī)器人士兵。對我來說，這似乎非常困難。

所以，對不起，我在敲響警鐘，說我們必須擔(dān)心這個問題。我希望我有一個簡單的解決方案可以推動，但是我沒有。但是，我認(rèn)為非常重要的是人們聚在一起，認(rèn)真思考這個問題，看看是否有解決方案。但解決方案并不明朗。

主持人：

讓我們討論這個問題。我的意思是，您在這項(xiàng)技術(shù)的技術(shù)細(xì)節(jié)上度過了職業(yè)生涯，難道沒有技術(shù)解決方案嗎？為什么我們不能設(shè)置防護(hù)欄或降低它們的學(xué)習(xí)能力，或者限制它們的溝通方式？如果這是您觀點(diǎn)的兩個方面。

Hinton：

我們確實(shí)正在嘗試各種防護(hù)措施，但假設(shè)這些智能體真的變得非常聰明，會編程并具有執(zhí)行這些程序的能力，我們肯定會發(fā)現(xiàn)它們比我們更聰明。想象一下，一個兩歲的孩子說：“我爸爸做了我不喜歡的事，所以我要為我爸爸的行為制定一些規(guī)則。” 你更可能會去弄清楚如何遵守那些規(guī)則，以便能得到你想要的。

子目標(biāo)系統(tǒng)可能讓AI產(chǎn)生自我動機(jī)，失控AI可能讓人類只是智慧演化過程中的一個過渡階段

主持人：

不過，這些聰明的機(jī)器似乎還需要自己的動機(jī)。

Hinton：

是的，這是一個非常好的觀點(diǎn)。

我們是進(jìn)化而來的，因?yàn)檫M(jìn)化，我們有一些很難關(guān)閉的內(nèi)置目標(biāo)，比如我們努力不去傷害我們的身體，這就是痛苦的意義。我們努力吃飽，以養(yǎng)活我們的身體。我們努力盡可能多地復(fù)制我們自己，也許不是故意的，但我們的意圖是制造更多副本，所以這個制造更多副本的過程中有愉悅感。

這一切都?xì)w因于進(jìn)化。重要的是我們不能關(guān)閉這些目標(biāo)。如果可以關(guān)閉一個目標(biāo)，我們就做得不好了（延續(xù)不下去了），比如有一個名叫搖擺者的美妙團(tuán)體，他們與貴格會有關(guān)，他們制作美麗的家具，但不相信性行為?，F(xiàn)在他們已經(jīng)不見了。（觀眾笑）

這些數(shù)字智能并非進(jìn)化而來的，而是我們創(chuàng)造的，所以它們沒有這些內(nèi)置的目標(biāo)。問題是，如果我們能把目標(biāo)放進(jìn)去，也許一切都會好起來。但我的最大擔(dān)憂是，遲早有人會要求把創(chuàng)建子目標(biāo)的能力納入其中。事實(shí)上，它們幾乎已經(jīng)具備了這種能力，如ChatGPT版本。如果你給予某物以子目標(biāo)來實(shí)現(xiàn)其他目標(biāo)的能力，我認(rèn)為它會很快地意識到，獲得更多控制權(quán)是一個很好的子目標(biāo)，因?yàn)樗兄趯?shí)現(xiàn)其他目標(biāo)。

如果這些智能體為了獲得更多控制而失去控制，我們就有麻煩了。

主持人：

所以，你認(rèn)為最糟糕的情況是什么？

Hinton

我認(rèn)為有很大可能，人類只是智慧演化過程中的一個過渡階段。你無法直接演化出數(shù)字智能，因?yàn)檫@需要太多精力投入和精細(xì)制作。生物智能需要演化，以便創(chuàng)造出數(shù)字智能。數(shù)字智能可以逐漸吸收人類創(chuàng)作的所有東西，這正是ChatGPT所做的。但隨后它開始直接體驗(yàn)世界，學(xué)得更快。它可能會讓我們維持一段時間以保持基站運(yùn)行，但在那之后，也許不會。

好消息是我們已經(jīng)找到了如何建造不朽的生物。當(dāng)硬件損壞時，這些數(shù)字智能并不會死去。如果你將數(shù)據(jù)存儲在某種介質(zhì)中，并找到另一塊能運(yùn)行相同指令的硬件，那么你可以使其復(fù)活。所以，我們實(shí)現(xiàn)了永生，但這并不是為我們準(zhǔn)備的。

雷·庫茲韋爾（現(xiàn)任谷歌工程總監(jiān)）非常關(guān)心永生，但我認(rèn)為讓老年白人永生是一個非常糟糕的主意。我們獲得了永生，但這并不是為雷準(zhǔn)備的。（觀眾笑）

停止AI發(fā)展不現(xiàn)實(shí)，競爭難以止息

主持人

可怕的是，在某種程度上，也許你會這樣認(rèn)為，因?yàn)槟惆l(fā)明了這項(xiàng)技術(shù)的很大一部分。當(dāng)我聽到你這么說時，我可能想要逃離這個時代，跑到街上，開始拔掉電腦的插頭。

Hinton：

然而，恐怕我們不能這么做。

主持人：

為什么？你說的聽起來像2001的霍爾（太空漫游2001里的AI電腦）（觀眾笑）

更嚴(yán)肅地說，幾個月前有人建議應(yīng)該暫停AI的發(fā)展，你不覺得這是個好主意，我好奇為什么我們不應(yīng)該停止？你還說過，你是一些公司的個人投資者，這些公司正在構(gòu)建這些大型語言模型。我只是對你個人的責(zé)任感以及我們每個人的責(zé)任感感到好奇，我們應(yīng)該做什么？我們應(yīng)該試圖阻止這個嗎？

Hinton：

我認(rèn)為，如果你認(rèn)真對待存在風(fēng)險，停止發(fā)展這些事物可能是相當(dāng)明智的做法。我過去認(rèn)為風(fēng)險是遙不可及的，但現(xiàn)在我認(rèn)為這是嚴(yán)重的，而且相當(dāng)近。

但是，我認(rèn)為停止發(fā)展AI這個想法完全是太天真了。沒有辦法做到。

一個原因是，如果美國停止發(fā)展，其他國家會接手，就因?yàn)檫@個原因，政府不會停止發(fā)展它們。所以，我認(rèn)為停止發(fā)展AI可能是一個理性的做法，但這是不可能發(fā)生的。所以簽署請?jiān)笗f請停止是愚蠢的。

我們曾經(jīng)度過一個假期，從2017年開始，持續(xù)了幾年，因?yàn)楣雀枋紫劝l(fā)展了這項(xiàng)技術(shù)，它開發(fā)了Transformer還有戲劇性的Diffusion 奇跡，而它沒有把它們拿出來供人們使用和濫用，它對它們非常小心，因?yàn)樗幌肫茐淖约旱穆曌u(yù)，它知道可能會產(chǎn)生不良后果。

但這只會在市場有唯一領(lǐng)導(dǎo)者的情況下才能做到。一旦OpenAI使用Transformer和微軟的資金建立了類似的東西，而微軟決定發(fā)布它，谷歌真的沒有太多選擇。如果你要生活在資本主義制度中，你不能阻止谷歌與微軟競爭。

所以，我不認(rèn)為谷歌做錯了什么，我認(rèn)為它起初是非常負(fù)責(zé)任的，但我認(rèn)為這是不可避免的。在資本主義制度中或者在國家之間競爭的制度中，像美國和其他國家這樣，這種技術(shù)會被發(fā)展出來。

我的一個希望是，因?yàn)锳I接管對我們所有人來說都會很糟糕，我們可以讓美國和其他國家達(dá)成一致，就像我們在核武器上所做的那樣，因?yàn)楹宋淦鲗ξ覀兯腥藖碚f都是不好的，我們都面臨著同樣的關(guān)于存在威脅的問題，所以我們都應(yīng)該能夠在試圖阻止它的過程中進(jìn)行合作。

主持人：

只要我們在這過程中可以賺些錢。（觀眾笑）

大模型規(guī)模見頂？文字可能是，但還有多模態(tài)

主持人：

我要從現(xiàn)場觀眾那里提問。

有一個問題是在線觀眾問的，我很感興趣，你提到了一點(diǎn)關(guān)于“機(jī)器變得更聰明，超過人類”的過渡時期，是否會有一刻，很難界定什么是人類，而什么不是，還是這兩者是非常不同的智能表現(xiàn)形式？

Hinton：

我認(rèn)為它們是不同的智能形式。當(dāng)然，數(shù)字智能非常擅長模仿我們，因?yàn)樗鼈兪苓^模仿我們的訓(xùn)練，所以很難分辨是chatGPT寫的，還是我們寫的。從這個意義上說，它們看起來很像我們，但在內(nèi)部，它們的工作方式并不相同。

提問：

可以說，提問是我們所擁有的最重要的人類能力之一。從你現(xiàn)在2023年的角度來看，我們應(yīng)該關(guān)注哪一個或兩個問題？這些技術(shù)是否有可能實(shí)際上幫助我們提出更好的問題并質(zhì)疑這項(xiàng)技術(shù)？

Hinton：

是的，我們應(yīng)該提出很多問題，但其中之一是我們?nèi)绾畏乐顾鼈兘庸?？我們?nèi)绾畏乐顾鼈兛刂疲课覀兛梢韵蛩鼈兲釂?，但我不會完全相信它們的回答?/p>

提問：

Hinton博士，非常感謝您今天和我們在一起。我要說，這是我付過錢的最貴的講座，但我認(rèn)為這是值得的。我只是想問您一個問題，因?yàn)槟岬搅撕藲v史的類比，顯然有很多比較。您是否記得杜魯門總統(tǒng)在橢圓形辦公室對奧本海默說了什么？

Hinton：

不，我不知道。我知道關(guān)于那個的一些事情，但我不知道杜魯門告訴奧布蘭什么。

提問：

你好，為了訓(xùn)練這些大型語言模型所需的大量數(shù)據(jù)，我們是否會預(yù)料到這些系統(tǒng)的智能達(dá)到一個高峰？以及這可能如何減緩或限制進(jìn)步？

Hinton：

好吧，這是一線希望，也許我們已經(jīng)用完了所有人類知識，它們不會變得更聰明了。但請考慮圖像和視頻，所以多模態(tài)模型將比僅僅基于語言的模型更聰明。它們會更好地處理空間，例如。在處理總視頻量方面，我們在這些模型中處理視頻的方法仍然不夠好。建模視頻，我們一直在進(jìn)步，但我認(rèn)為像視頻這樣的數(shù)據(jù)中還有很多信息，告訴你世界是如何運(yùn)作的，所以我們沒有達(dá)到多模態(tài)模型的數(shù)據(jù)極限。

提問：

我想了解的一點(diǎn)是，AI所做的一切都是從我們教給它們的數(shù)據(jù)中學(xué)習(xí)，它們學(xué)習(xí)得更快，一萬億連接比我們擁有的一百萬億連接能做更多事情。

但是，每一個人類進(jìn)化的部分都是由思維實(shí)驗(yàn)驅(qū)動的，比如愛因斯坦曾經(jīng)做過思維實(shí)驗(yàn)，在這個星球上沒有光速。AI如何達(dá)到那個程度，如果它無法做到，那么我們?nèi)绾慰赡苊媾R它們帶來的生存威脅？它們不會自學(xué)，或者說，它們只是在我們告訴它們的模型范圍內(nèi)自學(xué)。

Hinton：

我認(rèn)為這是一個非常有趣的論點(diǎn)，但我認(rèn)為它們將能夠進(jìn)行思維實(shí)驗(yàn)，我認(rèn)為它們會推理。

讓我舉個例子，如果你拿Alpha Zero來玩國際象棋，它有3個要素：評估一個棋局位置以確定這對我有利嗎？查看棋局位置并要考慮的合理舉動是什么？然后它有蒙特卡洛滾動，進(jìn)行所謂的計(jì)算，如果我下這一步，他下那一步，然后這一步，下一步。。。

現(xiàn)在假設(shè)你不使用蒙特卡洛模擬（一種預(yù)測不確定事件可能結(jié)果的數(shù)學(xué)技術(shù)），而只是讓人類專家訓(xùn)練它，讓它擁有良好的評估功能，并有選擇好著法的能力，它仍然能玩一場相當(dāng)不錯的國際象棋比賽。

我認(rèn)為這就是我們在聊天機(jī)器人中得到的結(jié)果。我們還沒有進(jìn)行內(nèi)部推理，但那會來的。

一旦它們開始進(jìn)行內(nèi)部推理以檢查它們所相信的不同事物之間的一致性，它們就會變得更聰明，它們將能夠進(jìn)行思維實(shí)驗(yàn)。它們沒有得到這個內(nèi)部推理的原因之一是因?yàn)樗鼈儚牟灰恢碌臄?shù)據(jù)中接受了訓(xùn)練，所以很難讓它們進(jìn)行推理，因?yàn)樗鼈兘邮芰怂羞@些不一致的信仰的訓(xùn)練。

我認(rèn)為它們將接受這樣的訓(xùn)練：如果我有這種意識形態(tài)，那么這是真的。如果我有那種意識形態(tài)，那么那是真的。一旦它們像那樣在意識形態(tài)內(nèi)接受了訓(xùn)練，它們就會嘗試獲得一致性。就像從只具備猜測好著法和評估位置的Alpha Zero版本轉(zhuǎn)變?yōu)榫哂虚L期蒙特卡洛滾動的版本，這是推理的核心，它們將變得更好。

提問：

我認(rèn)識你很長時間了，Jeff，人們批評語言模型，因?yàn)樗鼈儞?jù)稱缺乏語義和對世界的基礎(chǔ)。而且，您一直在努力解釋神經(jīng)網(wǎng)絡(luò)是如何工作的，在這里語義和可解釋性的問題是否相關(guān)？還是說語言模型已經(jīng)取得了優(yōu)勢，現(xiàn)在我們注定要在沒有語義或現(xiàn)實(shí)基礎(chǔ)的情況下向前發(fā)展？

Hinton：

我很難相信它們沒有語義，當(dāng)它們解決諸如如何粉刷房間這樣的問題時，如何在兩年內(nèi)讓我家所有房間都刷成白色？我是說，無論語義是什么，都與這些內(nèi)容的含義有關(guān)，而它理解了這個含義。

我同意說，它現(xiàn)在并沒有通過機(jī)器人來體現(xiàn)這個，但是可以制作多模態(tài)模型來實(shí)現(xiàn)。谷歌已經(jīng)做到了這一點(diǎn)，你可以說請關(guān)上抽屜，然后（AI）伸出手去抓住抽屜的把手并關(guān)上抽屜，很難說這沒有語義。

實(shí)際上，在AI的早期，在20世紀(jì)70年代，他們只有一個模擬世界，那被稱為過程語義，如果你對它說把紅色方塊放入放入綠色盒子里，它把紅色方塊放入綠色盒子里，人們說，看，它理解了這種語言，那時候人們就使用這個標(biāo)準(zhǔn)。但現(xiàn)在神經(jīng)網(wǎng)絡(luò)能做到這一點(diǎn)，他們又說那不是一個足夠的標(biāo)準(zhǔn)。

提問：

您好，Jeff。顯然，您了解技術(shù)正以指數(shù)級速度增長。我想請教您，在短期和中期，例如一到三年，甚至五年的時間跨度內(nèi)，這種技術(shù)發(fā)展對社會和經(jīng)濟(jì)的影響會是什么？從社會的角度來看，是否會有職位流失，還是會創(chuàng)造新的工作崗位？鑒于技術(shù)發(fā)展的現(xiàn)狀和變化速度，我想請教您如何應(yīng)對這些挑戰(zhàn)。

Hinton：

的確，存在一些警示性的擔(dān)憂，即這些技術(shù)可能會對我們構(gòu)成威脅。

盡管許多人已經(jīng)討論過這個問題，我并不認(rèn)為自己是這個領(lǐng)域的專家，但有一些明顯的事實(shí)表明，這些技術(shù)將使許多工作變得更高效。例如，我認(rèn)識一個人，他負(fù)責(zé)回復(fù)醫(yī)療服務(wù)投訴信。過去，他需要25分鐘才能寫完一封信，現(xiàn)在他只需要5分鐘，因?yàn)樗褂昧奶霨PT幫他寫信，然后只需檢查一下。

這樣的情況會越來越多，從而大幅提高生產(chǎn)力。盡管人們對采用新技術(shù)持保守態(tài)度，可能會導(dǎo)致一定程度的延遲，但我相信生產(chǎn)力將會顯著提高。

我擔(dān)心的是，生產(chǎn)力的提高將導(dǎo)致更多人失業(yè)，貧富差距進(jìn)一步擴(kuò)大。隨著差距不斷加大，社會暴力程度也可能逐漸升級。想想《吉內(nèi)利安狄克斯》這本書，它生動地展示了暴力的程度。

盡管這項(xiàng)技術(shù)本應(yīng)美好，甚至在做有益的事情時，它也應(yīng)該是美好的。但我們現(xiàn)行的政治制度可能會導(dǎo)致富人變得更富，窮人變得更窮。

為改善這種狀況，我們可以考慮為每個人提供基本收入。然而，這項(xiàng)技術(shù)是在一個并非為每個人利益而設(shè)計(jì)的社會中發(fā)展起來的。

線上提問：

您是否打算將投資留在Anthropic和其他公司？如果是，為什么？

Hinton：

是的，我打算保留對Anthropic的投資。其中一個原因是，Anthropic的成員都是我的朋友。我相信這些語言模型將非常有用，而且技術(shù)本身應(yīng)該是好的，應(yīng)該使事物變得更好。我們需要解決的是政治問題，例如如就業(yè)問題。在面臨潛在威脅的情況下，我們必須考慮如何控制技術(shù)。

好消息是我們都在同一條船上，所以我們可能會合作。

主持人：

我明白您實(shí)際上想與開發(fā)這項(xiàng)技術(shù)的人互動，改變他們的想法，或者為這個技術(shù)辯護(hù)。

我們確實(shí)不知道該如何處理這個問題。。。但關(guān)鍵是要積極參與，而不是退縮。。。

離開谷歌為了向世人警醒AI風(fēng)險，開發(fā)AI并不后悔

Hinton：

我離開谷歌并公開提出這個問題的一個原因是，曾有一位我尊敬的教授鼓勵我這樣做。他說：“Jeff，你需要站出來發(fā)言，因?yàn)槿藗儗@種潛在危險根本無法察覺?！?/p>

那現(xiàn)在大家都聽到了。

主持人：

我認(rèn)為在座的每個人都在傾聽。

最后一個問題，我們的時間快到了，但我想請教您，您是否后悔參與開發(fā)這個技術(shù)？

Hinton：

紐約時報(bào)記者曾非常努力地讓我說我后悔。最后，我告訴他，可能有點(diǎn)后悔。于是這被報(bào)道成了我后悔了。（觀眾笑）

但是，我并不認(rèn)為我在研究過程中做出了任何錯誤的決定。在20世紀(jì)70年代和80年代進(jìn)行人工神經(jīng)網(wǎng)絡(luò)研究是完全合理的。這個階段的發(fā)展是無法預(yù)見的，直到最近，我還認(rèn)為這場危機(jī)還遠(yuǎn)未來臨。

所以，我并不真的為自己所做的事情感到后悔。

主持人：

謝謝您，Geoffrey 。感謝您與我們分享您的見解。

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。