Stephen Wolfram計算機科學家、本文作者
ChatGPT翻譯
汪顯意、袁冰審校
ChatGPT的沖擊
僅僅在幾個月前，寫一篇原創(chuàng)的文章似乎只有人類才能完成。但ChatGPT出現(xiàn)后，情況發(fā)生了變化。我們突然意識到，AI也能夠?qū)懗鲱愃迫祟惖奈恼隆，F(xiàn)在，我們自然會想：這會走多遠？AI能夠做到什么？而我們?nèi)祟愑謱⑷绾芜m應(yīng)？
我的目標是探討一些科學、技術(shù)和哲學問題，我們能從AI中期待些什么。我必須提前聲明的是，這是一個在智力上和實踐上都充滿困難的話題。在我這里所做的一切都只是我的目前思考的簡單概述，必然是不完整的，這主要是因為，正如我將要討論的，嘗試預(yù)測這一領(lǐng)域的歷史如何發(fā)展，會直接遇到一些基本科學的問題：計算不可約性（computational irreducibility）。（譯注：計算不可約性理論聲稱，并不是所有復(fù)雜的計算都允許一個更簡單、簡化的新公式。根據(jù) Wolfram MathWorld 的說法，“雖然許多計算都有捷徑，可以讓它們更快地執(zhí)行，但有些計算卻無法提速。”不能通過任何捷徑來加速的計算稱為計算不可約。計算不可約性原理說，確定對計算不可約問題的答案的唯一方法是執(zhí)行或模擬計算。）
讓我們從最近出現(xiàn)的那個令人矚目的AI例子ChatGPT談起。那ChatGPT是什么呢？本質(zhì)上，它是一個用于生成文本的計算系統(tǒng)，它被設(shè)置成遵循人類從數(shù)十億個網(wǎng)頁、數(shù)百萬本書等中定義的模式。給它一個文本提示，它就會以在某種程度上符合人類寫作風格的方式繼續(xù)。
結(jié)果（最終依賴于各種具體的工程）非常“像人類”。而這一作品的奧秘是，每當ChatGPT需要“推斷”它沒有從人類那里明確看到的內(nèi)容時，它會以一種似乎是我們?nèi)祟惪赡軙玫姆绞竭M行推斷。
ChatGPT內(nèi)部實際上是一種計算方法，也許與大腦非常相似，其中有數(shù)百萬個簡單元素（“神經(jīng)元”）形成了一個具有數(shù)十億連接的“神經(jīng)網(wǎng)絡(luò)”，這些連接已經(jīng)通過一種逐步的訓(xùn)練過程進行了“調(diào)整”，直到它們成功復(fù)制了所有這些網(wǎng)頁上人類書寫文本的模式等。即使沒有經(jīng)過訓(xùn)練，神經(jīng)網(wǎng)絡(luò)仍然可以產(chǎn)生某些文本。但關(guān)鍵是，它不會是我們?nèi)祟愓J為有意義的文本。要獲得有意義的文本，我們需要依賴于所有這些網(wǎng)頁和其他我們?nèi)祟悓戇^的材料所定義的“人類語境”。那種“原始的計算系統(tǒng)”只會進行“原始計算”，要獲得與我們?nèi)祟愐恢碌臇|西需要利用所有網(wǎng)頁等內(nèi)容中記錄的詳細人類歷史。
那么最終我們得到了什么？文本基本上讀起來就像是一個人寫的。過去，我們可能認為人類語言是一種獨特的人類產(chǎn)物。但現(xiàn)在我們也有了一種AI來完成這項工作。那么，我們?nèi)祟愡�剩下什么？人類一定還會在某處參與其中：在文本的情況下，必須有一個指定讓AI“朝著什么方向走”的提示。這是我們將一遍又一遍看到的事情。給定一個明確的“目標”，AI可以自動地朝著實現(xiàn)目標的方向工作。但最終，需要一些超越AI原始計算系統(tǒng)的東西，來定義我們?nèi)祟愓J為有意義的目標，而這正是我們?nèi)祟惖挠梦渲亍?/p>
這在實際的日常生活中意味著什么？通常我們通過文字來告訴ChatGPT我們大致想要什么。然后，它會填寫一個整篇的文章來談?wù)撍�。我們可以認為這種交互對應(yīng)于一種“語言用戶界面”（我們可以稱之為“LUI”）。在圖形用戶界面（GUI）中，有一個核心內(nèi)容通過一些潛在的精細圖形表示來呈現(xiàn)（和輸入）。在ChatGPT提供的LUI中，相反，核心內(nèi)容是通過文本（“語言”）呈現(xiàn)（和輸入）的。
你可以記錄下幾個“要點”。在它們的原始形式中，其他人可能難以理解它們。但是通過ChatGPT提供的LUI，這些要點可以被轉(zhuǎn)化成一個可以被普遍理解的“文章”因為它基于ChatGPT在億萬個訓(xùn)練過的網(wǎng)頁等中看到的“共享上下文”定義。
這里有些讓人感到不安的事情。過去，如果你看到一個定制的文章，你就可以合理地得出結(jié)論，這需要花費一定的不可簡化的人類努力。但是有了ChatGPT，這一點已經(jīng)不再成立了。將事物轉(zhuǎn)化為文章現(xiàn)在是“免費”和自動化的。“文章化”不再是人類努力的證據(jù)。
當然，這并不是第一次出現(xiàn)這種情況。例如，當我還是個孩子的時候，看到一個文檔被排版，基本上是證明有人花了很大的精力在印刷機上印刷它。但是后來出現(xiàn)了桌面出版，顯然任何文檔都可以免費地進行精細排版。
在更長的歷史視角中，這種情況基本上是一個不斷的趨勢：曾經(jīng)需要人類努力完成的東西最終變成了自動化和通過技術(shù)“免費完成”的事情。這在思想領(lǐng)域中有一個直接的類比：隨著時間的推移，越來越高級別的抽象水平被開發(fā)出來，這些水平消除了以前的繁瑣細節(jié)和具體問題。
這個過程會結(jié)束嗎？我們最終會自動化一切嗎？發(fā)現(xiàn)一切？發(fā)明一切？在某個層面上，我們現(xiàn)在知道答案是毫無疑問的：不會。因為計算不可約性現(xiàn)象的一個后果是，總會有更多的計算要做，它們不能被有限數(shù)量的自動化、發(fā)現(xiàn)或發(fā)明減少。
然而，最終的結(jié)果將是一個更加微妙的故事。因為雖然可能總會有更多的計算需要完成，但我們作為人類可能并不關(guān)心它們。有可能一切我們關(guān)心的東西都可以成功地被自動化實現(xiàn)比如由AI來實現(xiàn)那么我們就“沒有更多事可做了”。
我們?nèi)绾芜m應(yīng)AI未來，解決這個問題處于核心位置。在接下來的內(nèi)容中，我們將一遍又一遍地看到，最初本質(zhì)上似乎是技術(shù)上的實際問題，很快就被卷入了科學和哲學的深刻問題中。
來自計算宇宙的直覺
我已經(jīng)多次提到了計算不可約性。事實證明，這是我認為對于思考AI未來至關(guān)重要的一系列相當深刻的最初令人驚訝的想法中的一部分。
我們現(xiàn)有的關(guān)于“機械”和“自動化”的大部分直覺都來自于一種“發(fā)條”工程觀點我們專門組件化地構(gòu)建系統(tǒng)，以實現(xiàn)我們想要的目標。大部分軟件也是如此：我們逐行編寫代碼，以明確地做出我們想要的一步一步的事情。如果我們希望我們的機器或軟件能做復(fù)雜的事情，那么我們期望機器或軟件的基礎(chǔ)結(jié)構(gòu)必須因此變得更加復(fù)雜。
因此，當我在80年代初開始探索整個計算宇宙的可能的程序時，發(fā)現(xiàn)事情在那里的運作方式非常不同，這是一個大驚喜。事實上，即使是小的程序事實上只是重復(fù)應(yīng)用非常簡單的規(guī)則也可以產(chǎn)生巨大的復(fù)雜性。在我們通常的工程實踐中，我們沒有看到這一點，因為我們總是專門選擇程序（或其他結(jié)構(gòu)），以便我們能夠輕松地預(yù)測它們的行為，以便我們可以明確地設(shè)置它們做我們想要的事情。但在計算宇宙中，很�？吹匠绦�“本身生成”巨大的復(fù)雜性，而無需我們明確“放入”的東西。
有了這個發(fā)現(xiàn)，我們意識到實際上有一個一直存在的例子：自然界。實際上，似乎自然界用來展示其復(fù)雜性的“秘密”正是按照簡單程序的規(guī)則操作。(大約三個世紀以來，數(shù)學方程式似乎是描述自然界的終極方式但在過去的幾十年中，特別是在我們最近的物理學項目中，越來越清楚的是，簡單的程序通常是一個更強大的方法。）
這與技術(shù)有何關(guān)系呢？好吧，技術(shù)是關(guān)于利用世界上存在的東西，為人類的目的而服務(wù)。這里有一個根本性的折衷�？赡苡幸恍┳匀唤缰械南到y(tǒng)做了驚人的復(fù)雜事情。但問題是，我們能否“削減”某些我們?nèi)祟惻銮捎X得有用的特定事物。驢身體內(nèi)有各種復(fù)雜的事情發(fā)生。但在某個時候，人們發(fā)現(xiàn)，我們可以“技術(shù)上”利用它來做推車這種相當簡單的事情。
當涉及到計算宇宙中的程序時，我們常常能見到一些可以完成復(fù)雜得驚人的任務(wù)的程序。但是問題是，我們是否可以找到它們中的某些對我們有用的方面。也許這個程序很擅長制造偽隨機性；或分布式?jīng)Q定共識；或者它只是在做自己的復(fù)雜任務(wù)，我們還不知道任何“人類目的”能夠?qū)崿F(xiàn)這個任務(wù)。
像ChatGPT這樣的系統(tǒng)值得注意的一個特點是，它不是以傳統(tǒng)的“了解每一步”的工程方式構(gòu)造的。相反，基本上只是從一個“原始計算系統(tǒng)”（在ChatGPT的情況下，是一個神經(jīng)網(wǎng)絡(luò)）開始，然后逐步調(diào)整它，直到它的行為與我們擁有的“與人類相關(guān)”的示例相一致。這種一致性使得系統(tǒng)對我們?nèi)祟悂碚f具有“技術(shù)上的用途”。
但在底層，它仍然是一個計算系統(tǒng)，具有所有潛在的“野蠻性”。而且，在不受“人類相關(guān)一致性”的“技術(shù)目標”的約束下，系統(tǒng)可能會執(zhí)行各種復(fù)雜的任務(wù)。但它們可能不是我們關(guān)心的事情（至少在歷史上的這個時期）。盡管某些假設(shè)的外星人（或未來的我們自己）可能會關(guān)心。
好了，但讓我們回到“原始計算”這一方面。計算與我們以前見過的所有其他“機制”非常不同。我們可能有一個能向前移動的推車。我們可能會有一個訂書機，可以把訂書釘釘在東西上。但是車和訂書機的功能非常不同；它們之間沒有等價性。但是對于計算系統(tǒng)（至少是那些不總是以明顯簡單的方式表現(xiàn)的系統(tǒng)），計算等價原理意味著，所有這些系統(tǒng)，在它們可以完成的哪種計算方面，具有意義上的等價性。
這種等價性具有許多后果。其中之一是，人們可以期望從各種不同的事物中得出同樣復(fù)雜的計算結(jié)果無論是腦組織、電子設(shè)備，還是自然界中的某些系統(tǒng)。這就是計算不可約性的來源。
有人可能認為，例如，在基于簡單程序的某個計算系統(tǒng)中，我們（借助我們的復(fù)雜大腦、數(shù)學、計算機等）總是有可能“超前一步”，在系統(tǒng)走完所有步驟之前就弄清楚它會做什么。但是，計算等價原理意味著，這通常是不可能的因為該系統(tǒng)本身可以像我們的大腦、數(shù)學、計算機等一樣具有計算復(fù)雜性。因此，這意味著該系統(tǒng)在計算上是不可約的：找出它在做什么，唯一的方法就是實際上去完成整個計算過程。
有一種普遍的印象是，科學最終總能做得比這更好：它將能夠作出“預(yù)測”，讓我們在不必跟蹤每一步的情況下知道將會發(fā)生什么。確實，在過去的三個世紀里，在主要使用數(shù)學方程的情況下，成功實現(xiàn)了這一點。但最終事實證明，這只是可能，因為科學最終集中在這些方法起作用的特定系統(tǒng)上（然后這些系統(tǒng)被用于工程）。但是現(xiàn)實是，許多系統(tǒng)顯示出計算不可約性。而在計算不可約性的現(xiàn)象中，科學實際上是“推導(dǎo)出了自己的局限性”。
與傳統(tǒng)直覺相反，無論我們?nèi)绾闻�，在許多系統(tǒng)中，我們都將永遠無法找到描述系統(tǒng)即將發(fā)生的事情的“公式”（或其他“捷徑”）因為系統(tǒng)在計算上是不可約的。是的，這代表了對科學和一般知識的限制。雖然一開始這似乎是一件壞事，但從根本上來說，這也是一件令人滿意的事情。因為如果一切都是可計算化約的，我們總是可以“跳到前面去”揭曉即將發(fā)生什么，比如在我們的生活中。但是計算不可約性意味著一般來說我們不能這樣做所以在某種意義上，隨著時間的推移，“某些不可約的東西正在被實現(xiàn)”。
計算不可約性有很多后果。我最近特別探索了一些基礎(chǔ)科學領(lǐng)域（例如，建立核心物理定律，因為我們從計算不可約性和我們作為觀察者的計算局限性的相互作用中感知它們）。但計算不可約性也是思考AI未來的核心事實上，我越來越覺得它增加了一個最重要的智力元素，需要它來理解關(guān)于AI和人類在未來的潛在角色的許多最重要的問題。
例如，從我們傳統(tǒng)的工程經(jīng)驗來看，我們習慣于這樣的想法：要找出為什么某事以特定的方式發(fā)生，我們只需“深入”一臺機器或程序內(nèi)部，然后“看看它做了什么”。但當存在計算不可約性時，這就行不通了。是的，我們可以“看看里面”，比如說，看看幾步。但計算不可約性意味著，我們必須追蹤所有的步驟才能知曉發(fā)生了什么，而不能指望找到一個“簡單的人類敘事”來“說明為什么事情發(fā)生了”。
然而，計算不可約性的一個特征是，在任何計算不可約的系統(tǒng)中，總是存在（最終，無限多個）“計算可約性的區(qū)域”。例如，即使一般而言我們不能說出會發(fā)生什么，也總是能夠識別出那些可被預(yù)測的具體特征。（如“最左邊的單元格將始終是黑色的”，等等）正如我們稍后將討論的那樣，我們可以潛在地認為技術(shù)（以及科學）進步與這些“計算可約性區(qū)域”的發(fā)現(xiàn)密切相關(guān)。事實上，無限多這樣的區(qū)域的存在正是“總會有發(fā)明和發(fā)現(xiàn)”的原因。
計算不可約性的另一個影響是關(guān)于試圖對和系統(tǒng)行為相關(guān)的事情做出保證。例如，假設(shè)一個人要設(shè)置一個AI系統(tǒng)，使其“永遠不會做出壞事”。有人可能會想，可以設(shè)計出特定的規(guī)則來確保這一點。但是，一旦系統(tǒng)（或其環(huán)境）的行為在計算上是不可約的，就將永遠無法保證系統(tǒng)中會發(fā)生什么。是的，也許有特定的計算可約的特征是確定的。但是總的來說，計算不可約性意味著始終存在“驚喜的可能性”或“意外后果的潛在可能性”。系統(tǒng)地避免這一點的唯一方法是使系統(tǒng)不具備計算不可約的性質(zhì)這意味著它無法充分利用計算的全部功能。
“AI永遠無法做到那些事情”
我們?nèi)祟愊矚g感覺自己很特別，喜歡覺得自己有“本質(zhì)上獨特”的某些東西。500年前我們以為地球是宇宙的中心。而現(xiàn)在我們覺得我們的智力能力在某些方面是獨特且是無可超越的。但是，AI的發(fā)展以及類似 ChatGPT 這樣的事情不斷為我們提供越來越多的證據(jù)表明，這不是事實。實際上，我的“計算等價原則”表明了更極端的論點：在基本計算層面上，我們本質(zhì)上沒有任何特別的東西事實上，在計算方面，我們與自然中許多系統(tǒng)甚至是簡單程序基本上是等價的。
這種廣泛等價性在能夠提出非常一般的科學命題（例如計算不可約性的存在）方面非常重要。但它也突顯了我們這個物種有多么獨特我們獨特的歷史、生物特征等。就像ChatGPT 一樣。我們可以有一個與ChatGPT結(jié)構(gòu)相同的通用 (未經(jīng)訓(xùn)練的) 神經(jīng)網(wǎng)絡(luò)，可以進行某些“原始計算”。但是真正讓ChatGPT變得有趣的地方，至少對我們而言，是可以用億萬個網(wǎng)頁上描述的“人類獨特性”來訓(xùn)練它。換句話說，并不存在所謂計算上的“普遍特殊性”，無論是對于我們還是ChatGPT。但確實存在某些“特定特殊性”，那就是我們經(jīng)歷過的特定歷史、我們文明積累的特定知識等等。
這里存在著一個有趣的類比，與我們在宇宙中的物理位置相呼應(yīng)。宇宙存在某種統(tǒng)一性，意味著我們在物理位置上沒有任何“普遍特殊性”。但至少對于我們來說，還是有一些“特定特殊性”的，因為只有這里才有我們的獨一無二的星球等等。在更深層次上，基于我們的物理項目的想法導(dǎo)致了 ruliad 的概念：這是所有可能的計算過程的糾纏上限的唯一對象。然后，我們可以將整個作為“宇宙觀察者”的經(jīng)驗視為在特定位置對 ruliad 進行采樣。
這有些抽象（還有一個較長的故事，我不會在這里詳細解釋），但我們可以認為不同的可能觀察者在物理空間中處于不同的位置，在 rulial 空間中也處于不同的位置這使得它們對宇宙中發(fā)生的事情有不同的“觀點”。人類的思維效果集中在物理空間的特定區(qū)域（大都在這個星球上），以及 rulial 空間的特定區(qū)域。在 rulial 空間中，不同的人類思維由于不同的經(jīng)驗和思考宇宙的不同方式處于稍微不同的位置。動物思維在 rulial 空間中可能相對接近。但其他計算系統(tǒng)（例如有時被稱為“有自己的頭腦”的天氣）則更遠如假設(shè)的外星人可能也會這樣。
那么AI呢？這取決于我們對“AI”的定義。如果我們談?wù)撚嬎阆到y(tǒng)，它們被設(shè)置為做“類似人類的事情”，那意味著它們在 rulial 空間中與我們接近。但因為“AI”是任意的計算系統(tǒng)，所以它可以處于 rulial 空間中的任何位置，可以執(zhí)行任何計算上可能的事情這比我們?nèi)祟惸茏龅模踔聊芟氲降倪�要廣泛（正如我們后面將討論的那樣，隨著我們的思考方式和觀察事物的方式的擴展，我們?nèi)祟愃僮鞯?rulial 空間的區(qū)域?qū)⑾鄳?yīng)擴大）。
但是，好的，我們?nèi)祟悾ê秃髞淼腁I）進行的計算有多“一般”？我們對大腦的了解還不夠確定。但如果我們看看人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)比如 ChatGPT我們可能會得到一些感覺。實際上，這些計算似乎并不那么“一般”。在大多數(shù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，輸入的數(shù)據(jù)只需“在系統(tǒng)中波動一次”即可產(chǎn)生輸出。這不像計算系統(tǒng)（如圖靈機）中可以進行任意的“數(shù)據(jù)循環(huán)”。事實上，如果沒有這種“任意的循環(huán)”，計算必然是相當“淺”的，最終不能顯示計算的不可約性。
這是一個技術(shù)層面的觀點，但我們可以問， ChatGPT 是否可以通過“反饋到迄今為止生成的文本”來實現(xiàn)任意（“通用”）計算。我懷疑在某種形式上可以（或者至少可以類比之），盡管這會產(chǎn)生一個極其冗長的文本，例如實際上列出了圖靈機紙帶的連續(xù)（自我界定）狀態(tài)，并且在其中找到“答案”可能需要一些努力。但是，正如我在其他地方討論的那樣，在實踐中，ChatGPT 可能幾乎完全在做“相當淺的”計算。
這是實用計算歷史上一個有趣的特征：在“深度純計算”方面（比如數(shù)學或科學）進行了幾十年之后，“淺層類人計算”才變得可行。其基本原因是因為對于“類人計算”（如識別圖像或生成文本），需要捕捉大量“人類語境”，這需要擁有大量的“人工生成數(shù)據(jù)”和存儲和處理它的計算資源。
另外，腦子似乎也專門從事基本的淺層計算。要做更深層次的計算，以便利用計算宇宙中更多的東西，就必須轉(zhuǎn)向計算機。正如我們所討論的，計算宇宙中有大量的，我們?nèi)祟悾ìF(xiàn)在還）不關(guān)心的內(nèi)容：我們只認為它是“原始計算”，似乎沒有“實現(xiàn)人類目的”的。但實際上，在我們?nèi)祟愱P(guān)心和思考的事物與計算宇宙中的可能性之間建立起橋梁是很重要的。在某種程度上，這是我在 Wolfram 語言中投入了如此多的精力的項目的核心之一，創(chuàng)建一個全尺度的計算語言，以計算術(shù)語描述我們在世界中思考和經(jīng)歷的事物。
好吧，多年來人們一直在說：“計算機可以執(zhí)行 A 和 B，但只有人類才能執(zhí)行 X”。關(guān)于 X 的含義隨時間而變化并變得更加狹窄而 ChatGPT 為我們提供了一個重大意外的新例子，說明計算機可以做更多的事情。
那還剩下什么呢？有些人可能會說：“計算機永遠無法展示出創(chuàng)造力或原創(chuàng)性”。然而，這似乎出乎意料地很容易實現(xiàn)，實際上只需要一點隨機性的“種子”即可完成大部分工作，正如多年前我們所看到的 WolframTones 音樂生成系統(tǒng)，以及今天我們在 ChatGPT 寫作中所見到的。人們可能還會說：“計算機永遠無法展示出情感。”但在我們找到一種良好的生成人類語言的方法之前，我們實際上就無法分辨計算機能否展示出情感�，F(xiàn)在，我們已經(jīng)可以要求 ChatGPT 寫出“快樂地”，“悲傷地”等來表達情感了。（在人類和其他動物中，情感原本與神經(jīng)遞質(zhì)濃度等相對簡單的“全局變量”有關(guān)）。
在過去，人們可能會說：“計算機永遠無法展示判斷力”。但現(xiàn)在，我們已經(jīng)有了無數(shù)的機器學習系統(tǒng)示例，這些系統(tǒng)在許多領(lǐng)域都能成功地復(fù)制人類判斷力。人們可能還會說：“計算機不具備常識。”通常情況下，這意味著在特定情況下，計算機可能會局部給出一個答案，但存在全局原因使得該答案毫無意義，計算機“察覺不到”，但是人會察覺。
那么 ChatGPT 在這方面表現(xiàn)如何呢？表現(xiàn)還不錯。在大多數(shù)情況下，它可以正確地識別出“這不是我以前通常讀到的內(nèi)容”。但是，它還是會出錯。其中一些問題與它不能通過它的神經(jīng)網(wǎng)絡(luò)來進行稍微“更深”的計算有關(guān)（是的，這有時可以通過調(diào)用 Wolfram|Alpha 工具來解決）。但在其他情況下，問題似乎是它不能夠很好地連接不同的領(lǐng)域。
它完全可以處理簡單的（“SAT風格”）類比。但是當涉及到大規(guī)模的類比時，它就做不到了。我猜，它不需要太多擴展就能夠開始制作出看起來非常令人印象深刻的類比（這甚至是我們大多數(shù)人類也無法做到的）這時它就可能會成功展示出更廣泛的“常識”。
但是，還有什么事情是人類可以做而AI無法做到的嗎？按照定義，有一個根本的事情：定義我們認為應(yīng)該做的目標。我們稍后會再談到這個問題。但目前我們可以指出，任何計算系統(tǒng)一旦“啟動”，就會按照其規(guī)則進行操作。但是“應(yīng)該指向哪個方向”？這必須來自“系統(tǒng)外部”。
那么對于人類來說，它是怎么運作的呢？嗯，我們的目標實際上是由我們所在的整個歷史網(wǎng)無論是從生物進化還是從文化發(fā)展中定義的。但是最終，真正參與到歷史網(wǎng)絡(luò)中的唯一方式就是成為其中的一部分。
當然，我們可以想象，在技術(shù)上仿真大腦的每個“相關(guān)”方面事實上，像 ChatGPT 這樣的成功例子可能表明這比我們想象的要容易得多。但這還不夠。要參與“人類歷史網(wǎng)”（正如我們稍后將討論的那樣），我們將不得不仿真“人類”的其他方面，比如移動，有限壽命等。如果我們制造出一個“人造人類”，我們可以預(yù)期它（按定義）將展示出我們?nèi)祟愃械奶卣鳌?/p>
但是，如果我們?nèi)匀挥?ldquo;在計算機上運行”或“純數(shù)字化”等方式來談?wù)?AI，則至少在我們看來，它們?nèi)詫?ldquo;從外部獲得他們的目標”�？傆幸惶欤ㄎ覀円粫䦟⒂懻摚瑫翢o疑問出現(xiàn)某種“AI文明”它將形成自己獨特的歷史網(wǎng)絡(luò)。但此時我們沒有理由認為我們?nèi)匀荒軌蚋鶕?jù)自己認識到的目標來描述正在發(fā)生的事情。實際上，AI 在那時將離開我們的rulial空間。并且正如我們所討論的它們將更像自然界中的系統(tǒng)，我們可以知道那里正在進行計算，但我們無法用人類的目標和目的來描述它，除非使用相當人類化的方式。
人類未來還有什么可以做的事情嗎？
幾個世紀以來，伴隨著自動化技術(shù)（包括現(xiàn)在的AI）的發(fā)展，有個問題一直被問起：人類最終會沒有工作可以做嗎？只是在不同時期，問題的緊急程度有所不同。在我們這個物種的早期，人們必須辛苦地狩獵和采集來維持生計�，F(xiàn)在，至少在發(fā)達的地區(qū)，這樣的工作最多只是一個遙遠的歷史記憶。
然而，在歷史的每個階段，至少到目前為止，總會有其他類型的工作使人們忙碌。但是有一種模式越來越頻繁地重復(fù)出現(xiàn)。技術(shù)以某種方式使某種新的職業(yè)得以出現(xiàn)。最終，這種職業(yè)變得普遍起來，并有很多人從事。但是，隨著技術(shù)的進步，職業(yè)得到自動化，人們不再需要從事這項工作。但現(xiàn)在有了一種新的技術(shù)水平，可以啟用新的職業(yè)。循環(huán)繼續(xù)。
一百年前，電話越來越普及意味著越來越多的人成為電話交換臺操作員。但是，電話交換被自動化了，這些話務(wù)員就不再需要了。但是，有了自動交換，可以巨大地發(fā)展電信基礎(chǔ)設(shè)施，開辟各種新類型的工作，這些工作總數(shù)遠遠超過曾經(jīng)的交換臺操作員。
類似的事情也發(fā)生在會計事務(wù)員身上。在有計算機之前，需要讓人們費力地計算數(shù)字。但是有了計算機，這些都被自動化了。但是自動化帶來了更復(fù)雜的金融計算能力，使得更加復(fù)雜的金融交易、更加復(fù)雜的監(jiān)管等變得可能，反過來又帶來了各種新類型的工作。
在各行各業(yè)，情況都是這樣的。自動化淘汰了一些工作，但也催生了其他工作。往往存在一個時間差，和所需技能的轉(zhuǎn)變。但是，至少到目前為止，似乎總是有許多工作被創(chuàng)造出來，并且還沒有被自動化。
這種情況會在某個時候結(jié)束嗎？會有一天我們?nèi)祟愊胍乃袞|西（或者至少需要的東西）都得到自動交付嗎？當然，這取決于我們想要什么，以及，比如說，我們想要的東西是否隨著技術(shù)進步也發(fā)生進步。但是我們可以做出“足夠就好”的決定嗎？就此打住，讓一切都自動化運行？
我認為不行。最終的原因是計算不可約性。我們試圖讓世界變得“就這樣了”，例如設(shè)置使我們“可預(yù)測的舒適”的情況。好了，問題在于這些事情的發(fā)展不可避免地存在計算不可約性不僅是在自然界，而且在社會動力學中也是如此。這意味著事情不會保持“就這樣了”�？倳l(fā)生一些不可預(yù)測的事情，自動化不能解決。
起初，我們?nèi)祟惪赡軙f“我們不關(guān)心這個”。但是隨著時間的推移，計算不可約性將影響所有事物。所以，如果有任何我們關(guān)心的事情（包括不滅絕），我們最終將不得不采取行動，并超越任何已經(jīng)設(shè)置的自動化。
很容易找到實際的例子。我們可能認為，當計算機和人類都在一個無縫的自動化網(wǎng)絡(luò)中連接在一起時，就不會再有任何要做的事情了。但是，計算機安全問題的“意外后果”怎么辦？可能在過去似乎是“技術(shù)解決問題”，但現(xiàn)在為人類創(chuàng)造了一種新的工作。在某種程度上，計算不可約性意味著這樣的事情總是會發(fā)生。總是存在一個“前沿”。至少，如果有任何我們想保護的東西（如不滅絕）時，就會如此。
回到現(xiàn)在的AI情況。ChatGPT只是自動化了許多與文本有關(guān)的任務(wù)。以前，定制報告、信件等需要大量的努力和人力，但是（至少在處理不需要100％“正確性”的情況下），ChatGPT剛剛自動化了很多工作，因此人們不再被需要了。但這意味著什么？這意味著可以生產(chǎn)更多的定制報告、信件等。這將帶來新的職業(yè)管理、分析、驗證所有大量定制文本等。更不用說提示工程師（prompt engineer）（這是幾個月前還不存在的工作類別），以及類似AI善后員，AI心理學家等等。
但是，讓我們談?wù)劗斀裆形幢?ldquo;自動化掉”的工作的“前沿”。有一類在很多方面看起來仍然令人驚訝的工作：涉及大量機械操作的工作，例如建筑、填充、食品制備等。但是還缺少一種技術(shù)：還沒有好的通用機器人（就像通用計算一樣），我們?nèi)祟愒陟`巧性，機械適應(yīng)性等方面仍然占據(jù)優(yōu)勢。但我很確定，必要的技術(shù)將在時間上也許是相當突然地得到發(fā)展（是的，我有關(guān)于如何做到這一點的想法）。這意味著大多數(shù)今天的“機械操作”工作將被“自動化掉”，不需要人來做。
但是，正如我們的其他例子中那樣，這將意味著機械操作變得更加容易和更便宜，可以做更多的事情。房子可能會被例行地建造和拆除。產(chǎn)品可能會被從它們所在的地方拿走并重新分配。更加華麗的“食品構(gòu)造”可能會成為常態(tài)。每一件事情以及更多都將開辟新的工作。
但是，世界上存在的每一個“前沿”工作最終都會被自動化嗎？那些似乎其價值的很大一部分只是“有一個人在那里”的工作呢？像駕駛飛機這樣的工作，你需要飛行員在飛機上的“承諾”�？醋o者的工作，需要有一個人的“聯(lián)系”在那兒。銷售或教育工作需要“人類說服力”或“人類鼓勵”。今天，一個人可能會想：“只有人類才能讓人們有那種感覺。”但這通常是基于目前的工作方式。也許會找到不同的方式，允許任務(wù)的本質(zhì)被自動化，同時幾乎不可避免地開展新的任務(wù)。
例如，過去需要“人類說服力”的事情可能會通過類似游戲化的方式“自動化” 但是伴隨著對于設(shè)計、分析、管理等的新需求，更多的事情可以得到“自動化”解決。
我們一直在談?wù)?ldquo;工作”。這個術(shù)語立即讓人想到工資、經(jīng)濟等問題。是的，人們做的大部分事情（至少在今天的世界上）都是由經(jīng)濟問題推動的。但是也有很多事情是不是這樣的。有些事情，我們“只是想做”作為“社交事務(wù)”，“娛樂”，“個人滿足”等。
我們?yōu)槭裁聪胱鲞@些事情？一些似乎是由我們的生物性質(zhì)內(nèi)在決定的。一些似乎是由我們所處的“文化環(huán)境”決定的。為什么人們會在跑步機上跑步？在今天的世界里，一個人可能會解釋說這對健康、壽命等有好處。但是在幾個世紀之前，沒有現(xiàn)代科學的理解，加上對生死意義的不同看法，這個解釋就不太可行了。
是什么驅(qū)動著我們對“想做的事情”或“應(yīng)該做的事情”的看法的變化？一些似乎是由“社會動力學”驅(qū)動的，大概是由于其自身的計算不可約性。但有些則與我們與世界互動的方式有關(guān) 既包括技術(shù)進步帶來的自動化增加，也包括知識進步帶來的抽象增加。
在這里看到了類似“周期”的現(xiàn)象，就像我們考慮“職業(yè)”或“工作”類型的事情一樣。有一段時間某件事很難做，就作為一個很好的“消遣”。但是然后它變得“太容易了”（“現(xiàn)在每個人都知道如何贏得游戲X”等），某件“更高級別”的東西取代了它。
關(guān)于我們“基本”的生物驅(qū)動動機，在整個人類歷史的進程中似乎沒有什么真正改變。但是肯定有一些技術(shù)發(fā)展會對未來產(chǎn)生影響。例如，有效的人類永生將改變我們動機結(jié)構(gòu)的許多方面。像植入記憶或根據(jù)這個理由植入動機等技術(shù)也是一樣。
現(xiàn)在，我們想做的事情中的一些元素是有我們的生物本性“錨定”的。但是在某種程度上，我們肯定能夠用計算機模擬我們的大腦所做的實質(zhì)性工作（甚至像ChatGPT這樣的成功項目使得這一時刻比我們想象中更近了）。到那時，我們將有可能擁有“脫離肉體的人類靈魂”。
今天，很難想象一個“脫離肉體的靈魂”的“驅(qū)動力”是什么。從“外界”的角度看，我們可能看到“靈魂”在做一些對我們來說“沒有意義”的事情。但這就像問一千年前的人對我們今天的許多活動會怎么想一樣。這些活動對我們今天有意義，因為我們是嵌入在我們整個“當前框架”中的。但是如果沒有那個框架，它們沒有意義。因此，“脫離肉體的靈魂”也將如此。對于我們來說，它所做的可能沒有意義。但對于它來說，帶著它的“當前框架”，它是有意義的。
我們能“學會如何理解它”嗎？很可能會有一定的計算不可約性上的障礙：實際上，“了解未來的靈魂”的唯一途徑是追蹤其過程以達到其所在的位置。因此，從我們今天的角度看，我們在rulial空間中相當于有一定的“不可約的距離”。
但是，未來是否會有某種科學，至少能告訴我們這些“靈魂”的一般行為呢？即使存在計算不可約性，我們知道總會有計算可約性的小范圍區(qū)域 因此有一些可預(yù)測的行為特征。但是這些特征從我們今天的角度來看是否“有趣”呢？也許其中一些會是有趣的。也許他們會向我們展示一些靈魂的元心理學。但不可避免的是，它們只能走得這么遠。因為為了使那些靈魂甚至可以體驗時間的流逝，必須存在計算不可約性。如果可預(yù)測的東西太多，“什么都能預(yù)測”就好像“什么都沒發(fā)生”或者至少會讓發(fā)生的事情變得“無意義”。
是的，這一切都涉及到“自由意志”的問題。即使有一個完全確定性的底層程序，操作著一個脫離肉體的靈魂，計算不可約性仍然意味著其行為仍然可能“自由” 因為沒有什么可以“超越它”并說出它要做什么。并且，脫離肉體的靈魂的“內(nèi)在體驗”可能是重要的：它正在“內(nèi)在地定義自己的未來”，而不僅僅是被動接受“為它定義好的未來”。
也許有人會認為，一旦一切都只是“可見的操作”作為“純計算”，這必然是“沒有靈魂”和“無意義”的。但是計算不可約性是打破這種障礙的因素，它允許存在不可約和“有意義”的內(nèi)容。并且，不管是在物理宇宙中的現(xiàn)在、還是在未來的“脫離實體”的計算存在中，都是同樣的現(xiàn)象。換句話說，即使所有事情即使是我們的存在都已經(jīng)被“計算自動化”，也并不意味著我們不能擁有有意義存在的完美“內(nèi)在體驗”。
廣義經(jīng)濟學和進步的概念
如果我們看人類歷史，或者地球上的生命史，總會有某種普遍的感覺，即有一種“進步”正在發(fā)生。但這種“進步”本質(zhì)上是什么？可以將其視為事物在逐漸“更高層次”上完成的過程，使得在給定的努力下可以實現(xiàn)“更重要的事情”。這種“走向更高層次”的想法采取了許多形式，但它們都基本上是忽略底下的細節(jié)，并能夠純粹從“人們關(guān)心的事物”角度操作。
在技術(shù)方面，這表現(xiàn)為自動化，其中過去需要大量詳細步驟的事情被打包成可以“按一下按鈕”完成的東西。在科學領(lǐng)域和智力領(lǐng)域一般，它表現(xiàn)為抽象，其中過去需要涉及許多具體細節(jié)的事情被打包成可以“純粹地集體討論”的東西。在生物學中，它表現(xiàn)為某些結(jié)構(gòu)（核糖體、細胞、翅膀等），可以被視為“模塊化單元”。
能夠“更高層次地完成事情”的可能性是尋找“計算可約性的獨立區(qū)域”的反映。并且正如我們之前提到的事實上（在基礎(chǔ)計算不可約減性的情況下），這樣的區(qū)域必然有無限多，這意味著“進步可以一直持續(xù)下去”。
當涉及到人類事務(wù)時，我們傾向于高度重視這種進步，因為（至少目前如此）我們有限的生命，因此只有通過“進步”才能實現(xiàn)“想要發(fā)生更多事情”。顯然，擁有更多的發(fā)生是“好的”并非顯而易見，可能只是“想要安寧的生活”而已。但是有一個約束條件，在某種程度上起源于生物學的深層基矗
如果某物不存在，則永遠不可能“發(fā)生于其中”。因此，在生物學中，如果想要對生物體有任何“發(fā)生”，那么它們最好不要滅絕。但是，生物有限的生命在有限的物理環(huán)境中存在，并且有許多資源是有限的。鑒于生物的生命是有限的，生物進化的過程是必然的，有機體之間對資源的“競爭”也是必然的。
最終會有一個“最終獲勝的有機體”嗎？好吧，不會有因為計算不可約性。在某種意義上，計算宇宙中總是有更多東西可以探索更多“用于可能生物的原始計算材料”。而且，對于任何“適應(yīng)性標準”（例如-在圖靈機模擬中，“停止前活得更長”），總是有一種更好的方法可以“做得更好”。
然而，人們可能仍然會想知道，是否可能，生物進化其基礎(chǔ)的隨機遺傳突變過程可能會“被卡住”，永遠無法發(fā)現(xiàn)一些“改進的方法”。事實上，演化的簡單模型可能會使人產(chǎn)生這種想法。但實際的進化看起來更像是具有大型神經(jīng)網(wǎng)絡(luò)的深度學習在那里，實際上是在極高維度的空間中進行操作，在那里通常總有一條“從這里到那里”的道路，至少在給了足夠的時間的情況下是這樣的。
但是，好吧，在我們對生物進化歷史的了解中，存在著某種內(nèi)在的“爭奪有限資源”的感覺。這種爭奪的感覺（至少到目前為止）也轉(zhuǎn)移到了人類事務(wù)中。實際上，這是大多數(shù)經(jīng)濟過程的基本驅(qū)動因素。
但是，如果資源不再“稀缺”呢？如果進步以自動化或AI的形式使得“獲得任何想要的東西”變得容易？我們可以想象機器人建造了所有東西，AI解決了所有問題的局面。但仍然有一些必然稀缺的東西。不動產(chǎn)是有限的，也僅能有一件東西可以擁有“第一件___”的稱號。最終，如果我們的生命是有限的，那么我們的時間就只有那么多。
盡管如此，我們所做（或擁有的）的事情越有效率或者越高級，我們就能在我們擁有的時間內(nèi)完成更多的事情。而且，似乎我們所感知的“經(jīng)濟價值”與“使事物更高級”密切相關(guān)。一個成品手機比它的原材料“價值更高”。一個組織比它的各個獨立部分“價值更高”。但是，如果我們能夠?qū)崿F(xiàn)“無限自動化”會發(fā)生什么呢？那么在某種意義上，就會有“無處不在的無限經(jīng)濟價值”，并且可能想象將“不再有競爭”。
但是，再次，計算不可約性阻礙了我們。因為它告訴我們，永遠不會有“無限自動化”，就像永遠不會有哪個生物有機體能贏者通吃一樣。在計算宇宙中，總會有“更多的探索”和不同的路徑。
在實踐中，這會是什么樣子？可能會導(dǎo)致各種多樣性。例如，關(guān)于“經(jīng)濟組成部分”的圖表將變得越來越分散；將不會僅僅是“唯一獲勝的經(jīng)濟活動是___”。
這種無盡進步的圖景中有一個潛在的問題。如果沒人在乎呢？如果這些創(chuàng)新和發(fā)現(xiàn)對我們?nèi)祟悂碚f沒有意義呢？當然，在歷史上的任何時候都有許多我們不關(guān)心的東西。我們已經(jīng)能夠挑選出的硅片是什么？它只是一塊巖石。嗯，直到我們開始用它制造微處理器。
但正如我們已經(jīng)討論過的，一旦我們“在某種抽象的水平上操作”，計算不可約性使得我們最終將接觸到“需要超越該水平”的事物。
但很關(guān)鍵的一點是，接下來就要做出選擇。在計算宇宙中，將會有不同的探索路徑（或“礦藏”），最終將有無限多條路徑。而無論是AI或其他什么東西，也無論它們的計算資源是什么，它們永遠無法探索所有這些路徑。因此，這些東西，抑或是人，將不得不在走哪條路上做出選擇。
對于某個特定的事物集合，在某個特定時間點上，人們可能成功地自動化所有這些事物。但計算內(nèi)在性意味著總會有一個“前沿”，在那里必須做出選擇。而且沒有“正確答案”。沒有“理論可導(dǎo)出”的結(jié)論。相反，如果我們?nèi)祟悈⑴c其中，這里就是我們得以做決定的地方定義下一步要發(fā)生什么。
我們會怎么做呢？嗯，最終基于我們的歷史生物史或文化史等。我們將得到使用所有不可約的計算，這些計算促成了我們到達當前的位置，來定義接下來要做什么。在某種意義上，它將是“通過我們”的東西，并使用了我們的特征。那是即使周圍有自動化，我們?nèi)祟愐部梢?ldquo;有意義”做些事情的地方。
我們?nèi)绾胃嬖VAI該做什么？
假設(shè)我們想讓一個AI（或任何計算系統(tǒng)）做某件特定的事情。我們可能認為我們可以設(shè)置它的規(guī)則（或“編程”）來做這件事。對于某些任務(wù)來說，這確實很有效。但是我們越深入使用計算，我們就會遇到計算不可約性，而且我們越不知道如何設(shè)置特定的規(guī)則來實現(xiàn)我們想要的東西。
當然，還有定義“我們想要”的問題。是的，我們可以有特定的規(guī)則說在計算過程的特定點上應(yīng)該出現(xiàn)什么樣的位模式。但這可能與我們通常關(guān)心的整體“人類水平”目標沒有太大關(guān)系。而且確實對于我們可以合理地定義的任何目標，我們最好能夠一致地“形成一個想法”（形象地說），或者說我們最好有一些“人類水平敘事”來描述它。
但我們?nèi)绾伪硎具@樣的敘述呢？我們有自然語言或許是我們物種歷史上最重要的創(chuàng)新。自然語言的根本作用是使我們能夠以“人類水平”的方式談?wù)撌挛铩Ｋ晌覀兛梢哉J為是代表“人類水平意義包”的單詞組成。因此，例如，“椅子”這個詞表示椅子的人類水平概念。它不是指特定的原子排列。相反，它指的是那些我們可以將其有效地合并成單個人類水平概念的任何原子排列，并從中推斷出我們可以期望坐在上面等等的事實。
那么，當我們“與AI交談”時，我們能指望僅使用自然語言來表達我們想要的東西嗎？我們當然可以走得更遠實際上，ChatGPT幫助我們比以往任何時候都更進一步。但是，當我們試圖使事情更加精確時，我們會遇到麻煩，我們需要的語言會迅速變得越來越華麗，就像復(fù)雜法律文件的“法律術(shù)語”。那么我們該怎么辦呢？如果我們將事情保持在“人類思維”層面上，我們就不能“深入”到所有的計算細節(jié)。但是，我們希望確切地定義我們所說的話如何根據(jù)這些計算細節(jié)實現(xiàn)。
好吧，有一種處理這個問題的方式，我個人投入了許多年的時間進行研究：這就是計算語言的理念。當我們考慮編程語言時，它們只在計算細節(jié)層面上操作，以更多或少的計算機本機術(shù)語定義計算機應(yīng)該做什么。但是真正的計算語言的要點（是的，在今天的世界上，Wolfram語言是唯一的例子）是做一些不同的事情：在計算術(shù)語中定義用計算語言談?wù)撌澜缰械氖挛铮o論是具體的國家或礦物，還是抽象的計算或數(shù)學結(jié)構(gòu)）的精確方式。
在計算宇宙中，可以發(fā)生“原始計算”的巨大多樣性。但我們?nèi)祟悾ㄖ辽倌壳埃╆P(guān)心和思考的只是其中的一小部分。我們可以將計算語言視為定義我們所思考的事物與計算上可能的聯(lián)系之間的橋梁。我們計算語言中的函數(shù)（在Wolfram語言中大約有7000個）實際上就像是人類語言中的單詞但現(xiàn)在它們在明確計算的“底層”上有了明確的基矗這個要點是設(shè)計計算語言，讓我們?nèi)祟惪梢苑奖愕厮伎己捅磉_自己（就像是更廣泛的數(shù)學符號的類比），但是它可以在計算機上精確地實現(xiàn)。
在給定一段自然語言的情況下，經(jīng)�？梢越o出一段自然語言的精確計算語言的解釋。Wolfram|Alpha就是這樣的例子。給出一段自然語言，Wolfram|Alpha自然語言理解系統(tǒng)會嘗試將其解釋為計算語言。從這個解釋開始，再由Wolfram語言執(zhí)行規(guī)定的計算，并返回結(jié)果 可能還會合成自然語言來表達結(jié)果。
實際上，這個設(shè)置不僅對人類有用，對于ChatGPT這樣的AI也很有用。給定一個生成自然語言的系統(tǒng)，Wolfram|Alpha 自然語言理解系統(tǒng)可以“捕捉”它所“拋出”的自然語言，并將其解釋為精確指定的可能無法簡化的計算的計算語言。
在自然語言和計算語言中，我們基本上在“直接說出我們想要的”。但與機器學習更相似的另一種方法僅僅是給出例子，然后（隱式或明確地）說“遵循這些”。不可避免地必須有一些底層模型來決定如何遵循在實踐中通常只是通過“具有特定結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)會做什么”的定義。但結(jié)果會是“對的”嗎？好吧，結(jié)果將是神經(jīng)網(wǎng)絡(luò)給出的任何東西。但通常，如果它與我們?nèi)祟惖贸龅慕Y(jié)論在某種程度上一致，我們將傾向于認為它是“正確”的。在實踐中，這通常會發(fā)生，可能是因為我們大腦的實際結(jié)構(gòu)在某種程度上與我們使用的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相似。
但是，如果我們想要“百分之百地知道”會發(fā)生什么或者說，例如，“某些特定的‘錯誤’永遠不可能發(fā)生”怎么辦？那么我們可能會再次陷入計算不可約性，結(jié)果就是沒有辦法知道，例如，一組特定的訓(xùn)練示例是否會產(chǎn)生一個能夠（或不能）做某些特定事情的系統(tǒng)。
好的，但是讓我們假設(shè)我們正在設(shè)置某個AI系統(tǒng)，并且我們希望確保它“不會做出任何壞事”。這里有幾個層次的問題。首先是決定我們所說的“任何壞事”是什么。正如我們將在下面討論的那樣，這本身就非常困難。但是即使我們可以抽象地想出，我們應(yīng)該如何實際表達呢？比如列出一些壞事的事例但這將逼著AI以一種不可預(yù)料的方式把個別具體事例“外推”到其他場景。或者我們可以用計算語言描述我們想要的內(nèi)容。覆蓋“每種情況”可能很困難（就像在現(xiàn)今的人類法律或復(fù)雜合同中一樣）。但是至少我們作為人類可以閱讀這些規(guī)范內(nèi)容。雖然是在這種情況下，依然存在計算不可約性的問題：即使給定規(guī)范，也無法計算出所有結(jié)果。
所有這些意味著什么？本質(zhì)上，這只是反映了一個事實：一旦涉及到“嚴肅計算”（即不可約的計算），就無法告訴接下來會發(fā)生什么。（從某種意義上說，這是不可避免的，因為如果可避免，就意味著不存在計算不可約性。）所以，是的，我們可以嘗試“告訴AI該做什么”。但是這將像自然界中許多系統(tǒng)（或者人）一樣：你可以設(shè)置它們走一條路，但是你不能確定會發(fā)生什么，只能邊走邊看。
由AI主導(dǎo)的世界
今天的世界，已經(jīng)有很多事情是由AI完成的。正如我們所討論過的，未來一定會有更多的事件會由AI完成。但我們誰來“掌控”這一切呢？是我們告訴AI該做什么，還是AI告訴我們該做什么？今天做得最好的還是兩者的混合：AI為我們提供一些內(nèi)容（如互聯(lián)網(wǎng)內(nèi)容），并且總體上會對我們的行為做出各種各樣的建議。毫無疑問，在未來，這些建議將更加廣泛，更加緊密地與我們聯(lián)系在一起：我們把自己每個動作都記錄下來交給AI處理，然后AI的建議會通過增強現(xiàn)實（AR）實時地標注在我們所看到的一切事物上。從某種意義上來說，事情甚至可能超出“建議”的范疇。如果我們有直接神經(jīng)接口，我們的大腦就只需要對是否做某件事情做個“決策”就行了，那么在某種意義上，我們就成了純粹“AI傀儡”。
“個人建議”之外，還有另一個問題，就是AI是否在運營我們使用的系統(tǒng)，甚至是否在運營整個文明的基礎(chǔ)設(shè)施。今天，我們最終期望人們?yōu)槲覀兊氖澜缱龀龃笠?guī)模的決策通常在由法律定義的規(guī)則系統(tǒng)中運作，有時可能會得到計算機的幫助，甚至可以稱之為AI。但也許有一天，似乎讓人感覺AI可以比人類“做得更好”，比如運營中央銀行，或發(fā)動戰(zhàn)爭。
人們可能會問，如何知道AI會不會“做得更好”呢？好吧，人們可以嘗試測試和運行實例。但再次面臨計算上的不可約性。是的，所嘗試的特定測試可能會很好地發(fā)揮作用。但是我們不能最終預(yù)測可能發(fā)生的一切。如果突然出現(xiàn)一個無先例的地震事件，AI會怎么做？直到事情發(fā)生，我們基本上是不會知道的。
但我們能確定AI不會做任何“瘋狂的”事情嗎？我們能否“證明一個定理”，即在某種定義下，“瘋狂”的AI永遠不會出現(xiàn)？對于任何現(xiàn)實的非平凡性的“瘋狂”定義，我們又會再次面臨計算上的不可約性，這是不可能的。
當然，即使我們將一個人類（甚至是一群人）“管理起來”，也沒有辦法“證明”他們不會做任何“瘋狂的”事情歷史表明，被管理起來的人經(jīng)常做一些，至少從現(xiàn)在的角度來看，我們認為是“瘋狂的”事情。但是，雖然在某種程度上，人會做什么并不有比AI會做什么更確定，只要我們認為是在“同舟共濟”，那么人類掌權(quán)仍然可以讓我們得到一定的安慰，并且如果出了什么問題，這些人也會“感受到影響”。
但是，似乎不可避免的是，世界上的許多決策和行動將直接由AI做出。也許這樣做會更便宜。也許結(jié)果（根據(jù)測試）會更好�；蛘呃纾承┦虑楸仨氀杆贈Q定且數(shù)量龐大，以至于我們?nèi)祟悷o法介入。
但是，好吧，如果我們的世界中發(fā)生了大量的事件都是通過AI完成的，并且這些AI正在進行著不可約的計算，那么這將是什么樣子呢？事情“只是發(fā)生”，我們不知道為什么。但是從某種意義上說，我們已經(jīng)經(jīng)歷了這種情況。因為這經(jīng)常會在我們與自然的互動中發(fā)生。
自然過程如天氣可以被認為是對應(yīng)于計算。在大多數(shù)情況下，這些計算中存在著不可約性。因此，我們無法輕易地預(yù)測它們。是的，我們可以通過自然科學來了解一些即將發(fā)生的事情。但它將不可避免地受到限制。
因此，我們可以期望在“AI基礎(chǔ)設(shè)施”中的情況也如同天氣一樣。正在發(fā)生一些我們無法輕易地預(yù)測事情（就像天氣一樣）。我們將能夠以一種更接近于心理學或社會科學，而不是傳統(tǒng)的精確科學的方式預(yù)言一些事情。但是，還會有一些意外之事就像用AI模擬程序預(yù)測颶風或冰期時可能遇到的一些奇怪現(xiàn)象。最終，我們真正能做的只是讓我們建立的人類文明，不會被這些事情所“根本性地影響”。
從某種意義上說，我們所想象的情況是，隨著時間的推移，將有一個完整的“AI文明”在運行就像自然一樣以一種我們無法輕易理解的方式運作。和自然一樣，我們將與之共存。
但至少最初，我們可能認為自然和AI之間有一個重要的區(qū)別。因為我們一方面認為自己不能“選擇自然法則”，然而另一方面，既然我們是AI的建造者，我們又覺得自己可以“選擇AI的法則”。但是，兩個方面都不完全正確。因為實際上Wolfram物理學項目的一個含義就是我們所感知到的自然法則之所以是這個樣子，是因為我們是觀察者，我們就是所看到的這個樣子的。在AI方面，計算上的不可約性意味著，我們不能期望僅從知道給它們制定了什么基本法則，就能確定AI的最終行為。
但是AI的“涌現(xiàn)法則”將是什么呢？就像在物理學中一樣，這將取決于我們?nèi)绾?ldquo;采樣”AI的行為。如果我們看到單個比特位的水平，那么它將類似于分子動力學（或空間原子的行為）。但通常我們不會這么做。就像在物理學中一樣，我們會作為計算能力有限的觀察者進行操作只測量具有不可約性的底層過程的某些聚合特征。但是，AI的“整體法則”會是什么樣子呢？也許他們將表現(xiàn)得非常類似于物理學�；蛘咭苍S它們看起來更像是心理學理論（對于AI的超我的解析？）。但我們可以期望它們在許多方面類似于我們所知道的自然界宏觀法則。
但是，我們與自然互動和與AI互動之間至少還有一個區(qū)別。因為我們在本質(zhì)上已經(jīng)與自然并存在了數(shù)十億年，而AI則是“新手上路”。通過我們與自然的共同演進，我們發(fā)展出了各種結(jié)構(gòu)、感官和認知特征，使我們能夠“成功地與自然互動”。但是我們與AI之間并沒有這些。這意味著什么呢？
是這樣的，我們與自然互動的方式可以被認為是利用存在于自然過程中的可簡化計算的區(qū)域?qū)⑹挛镒兊脤ξ覀儊碚f多少有點可預(yù)測性。但是如果沒有為AI找到這樣的區(qū)域，我們將面臨更多的“原始計算上的不可約性”因此更加不可預(yù)測。近代人類有一種自負，特別是在科學的幫助下，認為我們能夠讓世界變得越來越可預(yù)測，而實際上，這是我們所習慣的生存環(huán)境和做事方式導(dǎo)致的妄想。因為我們生存于自己建造，并且可控的環(huán)境之中。
但對于新的“AI世界”，我們實際上是從零開始。要在那個世界中使事情可預(yù)測，可能部分是新科學的問題，但更重要的是選擇我們?nèi)绾螄@那里的AI建立我們的“生活方式”。（是的，如果存在很多不可預(yù)測性，我們可能會回到更古老的命運意識，或者將AI視為希臘神話中的奧林匹斯山眾神，互相爭斗，并時不時對凡人產(chǎn)生影響。）
在AI世界中的治理
假設(shè)現(xiàn)在世界實際上是由AI來掌控，但是我們假設(shè)人類至少有一些對它們的行為掌握權(quán)。那么我們應(yīng)該讓AI遵循什么樣的原則？例如，它們的“倫理”應(yīng)該是什么樣的？
首先要說的是，對于這個問題并沒有最終的、理論上的“正確答案”。AI可以遵循很多倫理和其他原則。而我們選擇哪些原則實際上是一種選擇。
當我們談?wù)?ldquo;原則”和“倫理”時，我們往往更多地考慮的是行為的限制，而不是行為生成的規(guī)則。這意味著我們正在處理更像是數(shù)學公理的東西，就像我們會問根據(jù)這些公理哪些定理是正確的，哪些不是。這也意味著會有一些問題，比如公理是否一致，以及它們是否完整，是否“可以決定任何事情的倫理”。但現(xiàn)在，我們再次面對計算不可約性，它以哥德爾定理及其推廣的形式出現(xiàn)在這里。
這意味著通常情況下不可能確定任何給定的一組原則是不一致的或不完整的。一個人問了個道德問題，然后發(fā)現(xiàn)，想要確定這個問題的答案是否在其指定的道德體系內(nèi)，以及是否存在一個一致的答案，其“證明鏈”的長度將是無限的。
我們可以想象，通過添加公理可以“修復(fù)”其中的任何問題。但哥德爾定理基本上表明這是永遠不可能實現(xiàn)的。這與計算不可約性經(jīng)常發(fā)生的情況一樣：總會出現(xiàn)“新的情況”，這些情況不能被有限的公理集所捕捉。
然而，讓我們設(shè)想我們正在為AI選擇一組原則。我們可以使用哪些標準來進行選擇？一種可能是這些原則不會不可避免地導(dǎo)致一個簡單狀態(tài)，比如AI滅絕，或者不得不一直重復(fù)同樣的事情。很多情況下，計算不可約性（在這里是像停機問題等形式）會再次起作用，一個人無法得知會發(fā)生什么，或者無法成功地通過這種方式選擇“可行的原則”。
這意味著我們可以在理論上選擇一系列廣泛的原則。但是我們可能希望選擇那些使得AI讓人類獲得某種“好狀態(tài)”的原則，無論這意味著什么。
最基本的想法可能是讓AI觀察我們?nèi)祟惖男袨�，然后以某種方式模仿這種行為。但大多數(shù)人不會認為這是正確的做法。他們會指出人們所做的所有“不良行為”。他們可能會說“讓AI不要按照我們實際所做的行事，而是按照我們期望去做的行事”。
但是我們從哪里獲取這些期望？不同的人和不同的文化可能有非常不同的期望，從而導(dǎo)致非常不同的原則。那么我們應(yīng)該選擇誰的期望呢？是的，幾乎沒有多少我們真正共同擁有的準則（盡管例如，主要宗教都傾向于分享像尊重人生、黃金法則等的準則）。
但事實上，我們是否需要選擇一組準則？也許一些AI可以有一些原則，而另一些AI可以有其他的原則。也許這應(yīng)該像不同的國家或不同的在線社區(qū)：在不同的組或不同的地方使用不同的原則。
目前似乎并不可行，因為技術(shù)和商業(yè)力量使得強大的AI似乎必須是集中的。但我預(yù)計這只是當下的情況，而不是任何“類似于人類”的AI固有的東西。
那么，每個人（也許每個組織）是否可以擁有“他們自己的AI”和它們自己的原則呢？對于某些目的來說，這可能可行。但是有許多情況下，AI（或人類）無法真正地獨立行動，而必須做出“集體決策”。
為什么會這樣？某些情況下，是因為每個人都身處同一物理環(huán)境中。在其他情況下，如果要有社會凝聚力，甚至需要支持像語言這樣的，用于傳遞的東西，存在特定的概念一致性必不可少。
然而值得指出的是，在某個層面上，獲得“集體結(jié)論”實際上只是一種引入一定計算可約性以使“更容易看到應(yīng)該做什么”的方法。如果有足夠的計算能力，就可以避免這種情況。例如，人們可能會假設(shè)，對于汽車應(yīng)該行駛在道路的哪一邊，必須有一個集體的結(jié)論。但如果每輛車都有計算能力計算出一個軌跡，比如在道路兩側(cè)以最佳方式繞過其他汽車，那就不成立了。
但是如果我們?nèi)祟愐獏⑴c決策，我們需要一定量的計算可約性，使我們的世界足夠可理解，以便我們能夠在其中操作。因此，將出現(xiàn)集體“社會”決策的情況。我們可能只想告訴AI“讓一切盡可能對我們有好處”。但是不可避免地會有權(quán)衡，做出一種集體決策可能對99%的人非常有利，但對1%的人非常不利；做出另一種可能對60%的人相當有利，但對40%的人相當不利。那么AI應(yīng)該怎么辦呢？
這當然是政治哲學的一個經(jīng)典問題，而且沒有“正確答案”。實際上，現(xiàn)實情況也不是那么干凈的。很容易計算出不同行動方式的一些直接效果。但是自然而然地，我們最終將碰到計算不可約性和“無意的后果”，所以我們不能肯定地說最終的結(jié)果（好的或壞的）會是什么。
但是，我們應(yīng)該如何做出集體決策呢？沒有完美的答案，但在當今世界中，民主以一種形式通常被視為最好的選擇。那么AI如何影響民主，并可能改善它？首先我們假設(shè)“人類仍然掌控著”，所以最終是人類的偏好起決定作用。（同時假設(shè)人類在“當前形式”下：獨特且不可復(fù)制的離散實體，相信他們擁有獨立的思想。）
當前民主的基本設(shè)置在計算上是相當簡單的：給出離散投票（或可能是排名），然后使用數(shù)字總數(shù)來確定勝利者（或勝利者們）。而過去的技術(shù)幾乎只能做到這一點。但現(xiàn)在有一些新元素。想象一下不是投離散票，而是使用計算語言編寫計算短文來描述自己的偏好�；蛘呦胂笠幌屡c一種能夠繪制并辯論一個人偏好的語言能力AI交談，最終以某種特征向量總結(jié)它們。然后想象將所有“選民”的計算短文或特征向量饋送給某種“計算出最好的做法的”AI。
好吧，政治哲學問題仍然存在。不是像60%的人投了A，40%的人投了B，所以我們選擇了A。這更具有細微的特點。但一個人仍然無法一直讓每個人都開心，因此必須有一些基本原則來知道如何處理它。
而且，讓AI根據(jù)它了解到的人們詳細的偏好（也許還包括他們的行動），不斷“重新平衡”集體決策，會出現(xiàn)一個更高階的問題：像我們“跟蹤事態(tài)發(fā)展”這樣的許多目的都需要保持一致性。但是，可以通過讓AI在確定做什么的時候，同時考慮到保持一致性來解決這個問題。
雖然AI無疑可以“調(diào)整”民主，但從本質(zhì)上看，AI似乎并沒有提供任何根本性的新解決方案來進行集體決策和整體管理。
事實上，最終問題總是歸結(jié)為需要某些根本的原則，以確定如何使事物達到理想狀態(tài)。是的，AI可以執(zhí)行這些原則。但是，這些原則可能有很多可能性。至少在人類“負責”的情況下，我們需要自己想出這些原則。
換句話說，我們需要制定某種“AI憲法”。這個憲法應(yīng)該基本上用精確的計算語言編寫（是的，我們正在努力讓Wolfram語言可以使用），但作為計算不可約的另一個后果，它將不可避免地包含一些“模糊”的定義和區(qū)別，這些將依賴于例如神經(jīng)網(wǎng)絡(luò)之類的系統(tǒng)的“插值”的例子。也許當這樣的憲法被創(chuàng)建時，將會有多個其“渲染”版本，每當使用憲法時都可以應(yīng)用，有一些機制用于選擇“整體結(jié)論”（是的，這其中可能有某種“觀察者依賴”的多計算性質(zhì)）。
但是，無論其詳細機制如何，AI憲法應(yīng)該說些什么？不同的人或人群肯定會得出不同的結(jié)論。并且可以預(yù)見，就像今天有不同的法律體系的不同國家等存在一樣，也將有不同的團體希望采用不同的AI憲法（當然，在這些AI憲法相互交互時，同樣涉及到集體決策的問題）。
但是，一旦有了AI憲法，我們就有了一個基礎(chǔ)，以此來做決策。再添加上一個大型的計算合約網(wǎng)絡(luò)，這些合約將自主執(zhí)行，從而“運行這個世界”。
這也許是一個典型的“可能出什么錯？”時刻。一個AI憲法已經(jīng)達成一致，現(xiàn)在所有事情都由遵循其憲法的AI高效自主地運行。然而，一旦再次涉及到計算不可約性，因為無論怎樣精心制定AI憲法，都意味著無法預(yù)見它的后果，因為“意外”的事情總是會發(fā)生，其中一些無疑是我們不喜歡的。
在人類法律體系中，總是有一個添加“補丁”的機制，即填補涵蓋新情況的法律或先例。但是，如果所有事情都由AI自主運行，就沒有空間進行操作了。是的，我們?nèi)祟惪梢詫?ldquo;發(fā)生的不好的事情”稱為可以通過添加補丁來修復(fù)的“漏洞”。但是，AI只能按照其憲法運行，基本上是公理化運作，因此它無法“看到它是一個漏洞”。
與我們之前討論的情況類似，人類法律與自然法律之間存在一個有趣的類比。人類法律是我們定義并可以修改的東西。自然法則是宇宙向我們提供的東西（盡管有關(guān)觀察者的問題仍需討論）。通過“設(shè)定AI憲法并讓其運行”，我們基本上迫使自己處于一種境地，即“AI的文明”是世界上的某個“獨立層”，我們必須接受它，并作出相應(yīng)的適應(yīng)。
當然，我們可以思考AI憲法是否可以“自動演變”，例如根據(jù)在世界上實際發(fā)生的事情。但是，我們很快就回到了同樣的計算不可約問題，其中我們無法預(yù)測演變是否“正確”，等等。
到目前為止，我們假設(shè)在某種意義上“人類掌控”。但在某個層面上，這是由AI憲法定義的問題。它將不得不定義AI是否擁有“獨立權(quán)利”就像人類一樣（以及在許多法律系統(tǒng)，和其他一些實體中同樣如此）。與為AI授予獨立權(quán)利相關(guān)的問題密切相關(guān)的是，AI是否可以被認為是自主“對其行為負責”或者這種責任是否必須始終歸于（很可能是人類的）創(chuàng)建者或“程序員”。
計算不可約性再次發(fā)揮了作用，因為它意味著AI的行為可以“不可約地超越”其程序員所定義的行為。最終，這（正如我們以上討論的那樣）是相同的基本機制，即在操作確定性基礎(chǔ)自然法則的情況下，我們?nèi)祟悓嶋H上具有“自由意志”。因此，如果我們聲稱我們?nèi)祟悡碛凶杂梢庵�，可�?ldquo;對我們的行為負責”（而不是我們的行為始終“由基礎(chǔ)法則所主導(dǎo)”），那么我們最好也聲稱AI也是如此。
因此，就像人類在其生命中構(gòu)建了不可約的和不可替代的東西一樣，AI也可以如此。但實際上，AI似乎可以進行備份、復(fù)制等操作這種情況（尚）不適用于人類。因此，它們的個體實例似乎不那么有價值，即使“最后的拷貝”可能仍然有價值。作為人類，我們可能會說“那些AI是某種低等級的東西，他們不應(yīng)該有權(quán)利”。但是事情會變得更加糾纏。想象一個不再有可辨認所有者但正在成功地與人們交友（比如在社交媒體上）的機器人，它利用捐贈、廣告等為其基礎(chǔ)運維支付費用。我們能合理地刪除那個機器人嗎？我們可能會認為“機器人感覺不到痛苦”但這對它的人類朋友并非如此。但是，如果機器人開始做“壞事”呢？好吧，那么我們將需要某種“機器人正義”，很快我們將發(fā)現(xiàn)自己在為AI建設(shè)整個類似人類的法律結(jié)構(gòu)。
它會以失敗告終嗎？
好的，那么人工智能將從人類那里學習他們能學到的東西，然后它們基本上就像自然一樣作為自主計算系統(tǒng)運行，有時“與我們互動”。它們會對我們“做什么”呢？那自然會對我們做什么？在某種萬物有靈論的方式下，我們可能會將意圖歸因于自然，但最終它只是“遵循自己的規(guī)則”并做自己的事情。因此，人工智能也將是如此。是的，我們可能認為我們可以設(shè)置一些東西來確定人工智能將做什么。但就其利用計算宇宙中可能性方面而言將不可避免地存在計算不可約性，我們將無法預(yù)見會發(fā)生什么，或者會有什么后果。
那么，AI的演化是否真的會產(chǎn)生“不良”影響嗎，比如把我們消滅掉？好吧，大自然也可能會抹除我們。但是人們有一種感覺，除了外星“意外”之外，我們周圍的自然界在某種程度上保持在某種“平衡”狀態(tài)，不會發(fā)生太過于戲劇性的事情。但是AI是一種全新的事物。因此，也許它們會有所不同。
其中一個可能性是，AI可以“改進自身”，以產(chǎn)生一種單一的“最高智能”，在某種程度上支配其他一切。但是，我們可以看到計算不可約性原理正在挺身而出。因為它暗示著永遠沒有“最佳全能”的計算系統(tǒng)。這是新興的新陳代謝領(lǐng)域的一個核心結(jié)果：無論你指定什么“成就”，計算宇宙中總會有一種計算系統(tǒng)超越它。（一個簡單的例子是，總可以找到一臺圖靈機，它將超過你指定的任何停止時間上限。）
因此，這意味著必然會有整個AI“生態(tài)系統(tǒng)”沒有單一的贏家。當然，雖然這可能是不可避免的最終結(jié)果，但在較短期內(nèi)可能不會發(fā)生這種情況。實際上，現(xiàn)在集中化AI系統(tǒng)的傾向存在某種危險，相對于“處于平衡狀態(tài)的AI”的整個生態(tài)系統(tǒng)，AI行為可能變得“不穩(wěn)定”。
在這種情況下，還存在另一個潛在的問題。我們?nèi)祟愂窃谏镞M化歷史的漫長斗爭中產(chǎn)生的產(chǎn)物。只要AI繼承了我們的特質(zhì)，我們可能會期望它們也會遺傳某種“求勝欲”或許還是針對我們的�；蛟S這就是AI憲法的重要性所在：定義一種“契約”，以取代AI可能從有效觀察我們行為中“自然”遺傳的東西。最終，我們可以期待AI會“獨立地達到平衡”。但與此同時，AI憲法可以幫助打破它們與我們的生物進化“競爭性”歷史的紐帶。
準備迎接人工智能世界
我們已經(jīng)談?wù)摿薃I的終極未來發(fā)展方向以及與人類的關(guān)系，但短期內(nèi)呢？我們今天該如何為不斷增長的AI能力和用途做好準備呢？
歷史已經(jīng)證明，使用工具的人往往比不使用工具的人更成功。是的，你仍然可以繼續(xù)使用人力去完成那些本來已經(jīng)自動化了的工作，但除了極少數(shù)情況外，放棄工具會讓你越來越落后。而現(xiàn)在出現(xiàn)了一種極其強大的工具組合：神經(jīng)網(wǎng)絡(luò)風格的AI用于“即時人類任務(wù)”，以及計算語言用于更深入地訪問計算宇宙和計算知識。
人們應(yīng)該如何利用這一點呢？最高效的方式是發(fā)掘新的可能性那些以前不可能但現(xiàn)在因為新的能力而“進入了可行范圍”的事物。正如我們之前討論的那樣，這是一個我們?nèi)祟惒豢杀苊獾匕l(fā)揮核心貢獻的地方因為我們必須定義我們認為對我們有價值的東西。
那么這對教育來說意味著什么呢？現(xiàn)在許多工作都被自動化了，那么值得學習的是什么？我認為，根本的答案是如何盡可能廣泛深入地思考，盡可能多地調(diào)用知識和范式，特別是利用計算范式，并運用與計算直接相連的思維方式。
在人類歷史的過程中，積累了很多知識。但隨著思維方式的進步，直接學習所有詳細的知識已經(jīng)變得不必要了：取而代之，我們可以在更高的層次上學習，抽象出許多具體的細節(jié)。但在過去的幾十年里，出現(xiàn)了一些根本性的新事物：計算機及其所帶來的一切。
這是歷史上第一次，真正將智力任務(wù)自動化變得現(xiàn)實，這種影響是完全前所未有的。我們正在開始逐漸了解它對于我們應(yīng)該學習什么和如何學習的影響。但是，隨著所有這些新能力的出現(xiàn)，人們傾向于認為一定會失去什么東西。數(shù)學軟件Mathematica在超過三分之一個世紀以前，就已經(jīng)能夠自動地進行數(shù)學計算了，學習那些過去人們?yōu)榕宄绾瓮瓿赡承⿺?shù)學計算的所有復(fù)雜細節(jié)仍然值得嗎？
是的，在適當?shù)臅r間，學習這些細節(jié)可能是有趣的。但為了理解和充分利用我們文明的智力成就，在利用我們已經(jīng)擁有的自動化技術(shù)的努力中，將這些計算視為可以組合成“成品”的“構(gòu)建模塊”，以執(zhí)行我們想要做的任何事情，這更有意義。
有人可能認為這種利用自動化的方式只對“實際目的”重要，用于在現(xiàn)實世界中應(yīng)用知識。但實際上，正如我個人在幾十年來反復(fù)發(fā)現(xiàn)的那樣，這在概念層面上也是至關(guān)重要的。因為只有通過自動化，才能得到足夠的例子和經(jīng)驗，才能發(fā)展出達到更高水平理解所需的直覺能力。
面對世界上迅速增長的知識量，人們普遍傾向于認為人們必須不斷地變得越來越專業(yè)化。但隨著智能任務(wù)自動化的越來越成功我們可能廣泛稱之為AI這表明有一種替代方案：更多地利用這種自動化技術(shù)，以便人們能夠在更高層次上運作，“整合”，而不是專業(yè)化。
在某種程度上，這是人類最好發(fā)揮自身能力的方式：讓我們專注于制定我們想要做的“戰(zhàn)略”將如何實現(xiàn)的細節(jié)委托給可以比我們更好地完成此工作的自動化系統(tǒng)。但順便一提，AI知道如何做某件事，這一事實無疑也會使人們更容易學會如何做這件事。因為盡管我們尚未完全掌握這個故事現(xiàn)代技術(shù)似乎注定會讓人工智能成功地“學習人類學習”，并以適合任何人吸收的方式有效地呈現(xiàn)AI“知道”的事物。
那么人們應(yīng)該學習什么呢？學會使用工具來做事。但也要了解有哪些事情需要做學習事實以錨定你如何思考這些事情。今天的許多教育都是關(guān)于回答問題的。但對于未來在有AI的圖景中更重要的是學會如何提出問題，以及如何確定哪些問題值得提出。實際上，如何為要做的事情制定一個“知識戰(zhàn)略”。
而要在這方面取得成功，知識廣度和思維清晰度將很重要。而當談到思維清晰度時，在現(xiàn)代又出現(xiàn)了一些新的東西：計算思維的概念。在過去，我們有像邏輯和數(shù)學這樣的方式來構(gòu)建思考。但現(xiàn)在我們有了一些新東西：計算。
這是否意味著每個人都應(yīng)該學習一些傳統(tǒng)的編程語言呢？不是的。傳統(tǒng)的編程語言是關(guān)于告訴計算機用它們的術(shù)語做什么。是的，很多人今天都在做這個。但從根本上來說，直接自動化的時機已經(jīng)成熟（正如 ChatGPT 的例子所示）。而長期來看重要的是另一件事。它是將計算范式作為一種結(jié)構(gòu)化的思考方式，不是思考如何操作計算機，而是同時思考實體事物和抽象事物。
而且，擁有一種計算語言至關(guān)重要：一種用計算范式表達事物的語言。用簡單的自然語言表達簡單的“日常事務(wù)”是完全可能的。但是要構(gòu)建任何嚴肅的“概念塔”，就需要更加結(jié)構(gòu)化的東西。這就是計算語言的意義所在。
在歷史上，數(shù)學和數(shù)學思維的發(fā)展可以看做是一個粗略的類比。直到半個千年前，數(shù)學基本上必須用自然語言來表達。但是后來出現(xiàn)了數(shù)學符號，從而出現(xiàn)了更加簡化的數(shù)學思維方法，最終使各種數(shù)學科學成為可能。現(xiàn)在，計算語言和計算范式也是同樣的道理。除了它是一個更廣泛的故事，基本上每個領(lǐng)域或職業(yè)“X”都有一個正在出現(xiàn)的“計算X”。
在某種意義上，計算語言的重點（以及我在開發(fā) Wolfram 語言方面所做的所有努力）是讓人們能夠盡可能自動地進行計算X，并讓人們使用計算范式的全部力量來表達自己。
ChatGPT之類的東西通過拼湊現(xiàn)有的人類材料（如數(shù)十億個人類寫的文字）來提供“類人AI”。但是，計算語言使人可以直接利用計算，并具有做基本新事物的能力，這立即利用了我們定義知識策略的人類能力。
是的，雖然傳統(tǒng)編程可能會被AI大量淘汰，但計算語言是一種在人類思維和計算宇宙之間搭建的永久橋梁：一種在設(shè)計（和實現(xiàn)）語言之時既已完成了自動化的通道在某種意義上，這留下了一個適合于人們學習和使用的接口，得以擴展他們思維。
那么，關(guān)于科學的未來呢？AI是否會取代我們?nèi)祟�，例如�?ldquo;做科學”方面？我本人將計算和許多可能被視為AI的東西作為科學發(fā)現(xiàn)的工具使用了近半個世紀。是的，我的許多發(fā)現(xiàn)實際上是“由計算機完成的”。但是，科學最終涉及將事物連接到人類理解上。到目前為止，還需要人類來將計算機發(fā)現(xiàn)的東西編織成整個人類智力歷史的完整網(wǎng)絡(luò)。
但可以肯定地想象，即使是像ChatGPT這樣的AI，也可以成功地將“原始計算機發(fā)現(xiàn)”與現(xiàn)有人類知識聯(lián)系起來并“解釋”。人們還可以想象，AI可以成功地確定世界上哪些系統(tǒng)的哪些方面可以以某種正式方式描述。但是，正如建模過程的典型情況一樣，一個關(guān)鍵步驟是決定“人們所關(guān)心的事情”，以及在何方向上拓展科學。像這樣的事情 就像其他很多事情一樣 不可避免地與我們?nèi)祟愒O(shè)定的目標具體相關(guān)。
在新興的AI世界中，將有很多具體的技能對于（大多數(shù)）人類來說是失去了學習的意義就像今天自動化的進步淘汰了許多過去的技能一樣。但是正如我們已經(jīng)討論過的那樣我們可以期望“有一個地方”適合人類。而對于我們?nèi)祟悂碚f最重要的是學會如何選擇“下一步該去哪里”，以及我們應(yīng)該將人類文明帶到計算宇宙的無限可能性中的哪個方向。
后記：看一些實際數(shù)據(jù)
好了，我們已經(jīng)談了很多關(guān)于未來可能會發(fā)生什么的事情。但是過去的實際數(shù)據(jù)呢？例如，職業(yè)演變的實際歷史是什么？方便的是，美國的人口普查局記錄了自1850年以來人們職業(yè)的記錄。當然，從那時起，許多工作名稱已經(jīng)改變了。鐵路調(diào)車員，測量工和教堂管理員已經(jīng)不存在了。而電話推銷員，飛行員和網(wǎng)絡(luò)開發(fā)人員在1850年也不存在。但是通過一些努力，我們可以將它們更或多或少地匹配起來至少在將其聚合成足夠大的類別時可以這樣做。
因此，以下是50年間隔不同工作類別的餅圖：
是的，在1850年，美國堅定地成為農(nóng)業(yè)經(jīng)濟，超過一半的工作機會在農(nóng)業(yè)領(lǐng)域。但隨著農(nóng)業(yè)的效率提高引進機械，灌溉，更好的種子，肥料等等這一比例急劇下降，到今天只剩下幾個百分點。
農(nóng)業(yè)之后，1850年回到的下一個最大類別是建筑（以及其他與房地產(chǎn)相關(guān)的工作，主要是維護）。而這個類別在一個半世紀內(nèi)在大小方面并沒有太大的變化（至少到目前為止），可能是因為盡管有更多的自動化，但這只是讓樓房變得更加復(fù)雜了。
從上面的餅圖中可以看出，工作越來越多樣化是一個清晰的趨勢（而且在全球其他經(jīng)濟體的發(fā)展中也是如此）。這是經(jīng)濟學中一個舊的理論，即增加專業(yè)化與經(jīng)濟增長有關(guān)，但從我們這里的角度來看，更復(fù)雜的經(jīng)濟和更多的工作的可能性，反映了不可避免的計算不可約性，以及它所暗含的計算可約性區(qū)域的復(fù)雜網(wǎng)絡(luò)。
除了工作類別的總體分布外，我們還可以看一下隨著時間推移在個別類別上的趨勢每個類別在某種程度上提供了一個特定的歷史窗口：
我們絕對可以看到自動化導(dǎo)致的工作減少的情況。這不僅是在農(nóng)業(yè)和采礦等領(lǐng)域，還包括金融業(yè)（文員和銀行出納員更少），以及銷售和零售（在線購物）。有時候就像制造業(yè)的情況一樣工作的減少部分原因是因為自動化，而另一部分是因為工作轉(zhuǎn)移到了美國之外的國家（主要是勞動力成本更低的國家）。
在部分具有“外生性”影響的情況，例如軍事工作，存在明顯的影響。而在伴隨著技術(shù)擴散和基礎(chǔ)設(shè)施建設(shè)的過程中，交通物流等類別穩(wěn)步增長但是隨著自動化的增加，“飽和”現(xiàn)象也變得更加顯著。我稱之為“技術(shù)操作”也是一樣的故事隨著技術(shù)的普及，需要更多的“技術(shù)管理”。
另一個明顯的趨勢是，隨著世界變得“組織更加復(fù)雜”，與之相關(guān)的工作類別也在增加。因此，我們看到管理，以及行政、政府、金融和銷售等增長（所有這些都是由于計算機化而最近減少）。法律也有所增長，而且這種增長保持到了最近。
其他增長的領(lǐng)域包括醫(yī)療保健，工程，科學和教育“更多的知識，更多的事情要做” （以及更多的組織復(fù)雜性）。然后是娛樂和食品+款待，這些領(lǐng)域的增長可以歸因于人們領(lǐng)導(dǎo)（和想要）“更復(fù)雜的生活”。當然，還有信息技術(shù)，從20世紀50年代的無到有（和其他數(shù)據(jù)放在一起顯得有些突兀）。
那么，我們可以得出什么結(jié)論？數(shù)據(jù)似乎與我們以上更一般的討論非常吻合。發(fā)達地區(qū)被自動化了，需要雇用更少的人。但是技術(shù)也開啟了新的領(lǐng)域，從而增加了額外的就業(yè)。并且正如我們從計算不可約性預(yù)料到的那樣事情總體上變得越來越復(fù)雜，具有額外的知識和組織結(jié)構(gòu)，開放了更多需要人員的“邊界”。但即使有時會出現(xiàn)“突然的發(fā)明”，事情看起來總需要幾十年（或?qū)嶋H上一代人）才會發(fā)生任何顯著的就業(yè)變化。（圖中的少數(shù)幾個突變似乎主要與特定的經(jīng)濟事件有關(guān)，而且往往與政府政策的變化有關(guān)。）
但除了做不同的工作之外，還有一個問題，那就是個體如何花費他們每天的時間。雖然它肯定達不到我的（非常極端的）個人分析水平，但是在《關(guān)于美國人時間利用傳統(tǒng)的研究》（American Heritage Time Use Study）中，多年來已經(jīng)收集了一定數(shù)量的這方面的數(shù)據(jù)（通過隨機抽樣人員獲取的時間日記）。因此，例如，這里是基于此調(diào)查的圖示，顯示了在幾十年中，人們在廣泛的不同活動中花費時間數(shù)量的變化情況（主要行表示每種活動的均值，以小時為單位；陰影區(qū)表示連續(xù)的十分位劃分）：
是的，人們會花費更多的時間在“媒體和計算”上，這是看電視，玩電子游戲等等的混合物。做家務(wù)，至少對于女性來說，需要的時間變少了，這可能主要是由于自動化（家電等）。（“休閑”基本上是“閑逛”，以及愛好和社交、文化、體育活動等等；“市民”包括志愿者、宗教等活動。）
如果我們特別看看那些有償工作的人：
我們注意到幾件事。首先，半個世紀以來，工作時間的平均值并沒有太大變化，盡管分布有些擴大。對于有償工作的人來說，“媒體和計算”并沒有顯著增長，至少自20世紀80年代以來。時間總量有系統(tǒng)性增加的一個類別是運動。
那么，對于那些由于某種原因沒有從事有償工作的人呢？這種情況下的相應(yīng)結(jié)果如下所示：
雖然鍛煉的增長不明顯（盡管總時間已經(jīng)比較大），但現(xiàn)在媒體和計算機使用已經(jīng)顯著增加，男性最近的平均時間已經(jīng)接近每天6個小時這可能是“更多的生活在線上”。
但是，看所有這些時間使用的結(jié)果，我認為一個主要的結(jié)論是，在過去的半個世紀里，人們（至少在美國）花費時間的方式保持得相當穩(wěn)定盡管我們從一個幾乎沒有計算機的世界走向了一個計算機比人類還多的世界。
參考資料來源:
[1]計算不可約性原理：https://www.wolframscience.com/nks/chap-12--the-principle-of-computational-equivalence/#sect-12-6--computational-irreducibility
[2]計算等價原則：https://www.wolframscience.com/nks/chap-12--the-principle-of-computational-equivalence/
[3]Ruliad概念：https://writings.stephenwolfram.com/2021/11/the-concept-of-the-ruliad/
[4]圖靈機：https://www.wolframscience.com/nks/chap-3--the-world-of-simple-programs/#sect-3-4--turing-machines
[5]Wolfram 語言：https://www.wolfram.com/language/
[6]WolframTones：https://tones.wolfram.com/
[7]Wolfram|Alpha：https://www.wolframalpha.com/
[8]脫離肉體的人類靈魂：https://writings.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/#box-of-a-trillion-souls
[9]計算語言的理念：https://writings.stephenwolfram.com/2019/05/what-weve-built-is-a-computational-language-and-thats-very-important/
[10]Wolfram|Alpha自然語言理解系統(tǒng)：https://www.wolfram.com/natural-language-understanding/
[11]自由意志問題：https://www.wolframscience.com/nks/chap-12--the-principle-of-computational-equivalence/#sect-12-7--the-phenomenon-of-free-will
[12]Wolfram物理學：https://www.wolframphysics.org/
[13]計算思維：https://writings.stephenwolfram.com/2016/09/how-to-teach-computational-thinking/
