Sam Altman 的致辭發(fā)生在6月10日智源大會(huì)的AI安全與對(duì)齊分論壇上�，F(xiàn)場(chǎng)座無(wú)虛席，這位OpenAI CEO在屏幕上出現(xiàn)時(shí)，現(xiàn)場(chǎng)響起掌聲，幾乎所有人都舉起手機(jī)對(duì)著屏幕拍照。
不過(guò)Altman本人顯得十分平靜，甚至是謹(jǐn)慎。這是去年ChatGPT攪動(dòng)全球AI熱潮以來(lái)，Sam Altman 首度在中國(guó)背景的場(chǎng)合公開(kāi)發(fā)表意見(jiàn)。
事實(shí)上當(dāng)天他也在離中國(guó)不遠(yuǎn)的地方，此前他剛剛抵達(dá)首爾，見(jiàn)了韓國(guó)總統(tǒng)。在對(duì)話中他自己提到，上一次來(lái)中國(guó)是2016年。在發(fā)表演講后，他還與智源研究院理事長(zhǎng)張宏江進(jìn)行了一對(duì)一問(wèn)答。以下為要點(diǎn)及實(shí)錄。
要點(diǎn)：
隨著我們?cè)诩夹g(shù)上越來(lái)越接近AGI，不對(duì)齊的影響和缺陷將呈指數(shù)級(jí)增長(zhǎng)。OpenAI目前使用強(qiáng)化學(xué)習(xí)人類反饋技術(shù)來(lái)確保AI系統(tǒng)有用與安全，同時(shí)也在探索新的技術(shù)，其中一個(gè)思路是使用AI系統(tǒng)來(lái)輔助人類去監(jiān)督別的AI系統(tǒng)。十年內(nèi)人類將擁有強(qiáng)大的人工智能系統(tǒng)（AI System）。OpenAI沒(méi)有相關(guān)的新的有關(guān)開(kāi)源的時(shí)間表，盡管他承認(rèn)在有關(guān)AI安全的問(wèn)題上，開(kāi)源模型具有優(yōu)勢(shì)，但開(kāi)源所有東西可能并不是一條（促進(jìn)AI發(fā)展的）最佳路線�？疵靼咨窠�(jīng)網(wǎng)絡(luò)比看明白人類腦子容易多了。中國(guó)有最優(yōu)秀的人工智能人才，AI安全需要中國(guó)研究者的參與和貢獻(xiàn)。
以下為演講實(shí)錄：
今天，我想談?wù)勎磥?lái)。具體來(lái)說(shuō)，就是我們?cè)谌斯ぶ悄苣芰Ψ矫婵吹降脑鲩L(zhǎng)速度。我們現(xiàn)在需要做什么，為它們引入世界做好負(fù)責(zé)任的準(zhǔn)備，科學(xué)史教會(huì)我們，技術(shù)進(jìn)步遵循指數(shù)曲線。我們已經(jīng)能從歷史中看到這一點(diǎn)，從農(nóng)業(yè)、工業(yè)到計(jì)算革命。人工智能令人震撼的不僅是它的影響力，還有它的進(jìn)步速度。它拓展了人類想象力的邊界，并且以快速的步伐進(jìn)行著。
想象一下，在未來(lái)十年里，通常被稱為通用人工智能（AGI）的系統(tǒng)，在幾乎所有領(lǐng)域都超越了人類的專業(yè)水平。這些系統(tǒng)最終可能超過(guò)我們最大公司的集體生產(chǎn)力。這里面潛藏著巨大的上升空間。人工智能革命將創(chuàng)造共享財(cái)富，并使提高每個(gè)人生活水平成為可能，解決共同挑戰(zhàn)，如氣候變化和全球衛(wèi)生安全，并以無(wú)數(shù)其他方式提高社會(huì)福祉。
我深信這個(gè)未來(lái)，為了實(shí)現(xiàn)它并享受它，我們需要共同投資于AGI安全，并管理風(fēng)險(xiǎn)。如果我們不小心，一個(gè)不符合目標(biāo)的AGI系統(tǒng)，可能會(huì)通過(guò)提供沒(méi)有根據(jù)的建議，破壞整個(gè)醫(yī)療系統(tǒng)。同樣地，一個(gè)旨在優(yōu)化農(nóng)業(yè)實(shí)踐的AGI系統(tǒng)可能會(huì)由于缺乏對(duì)長(zhǎng)期可持續(xù)性的考慮而無(wú)意中耗盡自然資源或破壞生態(tài)系統(tǒng)，影響食品生產(chǎn)和環(huán)境平衡。
我希望我們都能同意，推進(jìn)AGI安全是我們最重要的領(lǐng)域之一。我想把我剩下的講話重點(diǎn)放在我認(rèn)為我們可以從哪里開(kāi)始的地方。
一個(gè)領(lǐng)域是AGI治理，這是一項(xiàng)具有全球影響的技術(shù)。魯莽開(kāi)發(fā)和部署造成的事故成本將影響我們所有人。
在這方面，有兩個(gè)關(guān)鍵要素：
首先，我們需要建立國(guó)際規(guī)范和標(biāo)準(zhǔn)，并通過(guò)包容的過(guò)程，在所有國(guó)家為AGI的使用制定平等統(tǒng)一的保護(hù)措施。在這些保護(hù)措施之內(nèi)，我們相信人們有充分的機(jī)會(huì)做出自己的選擇。
其次，我們需要國(guó)際合作來(lái)建立對(duì)日益強(qiáng)大的人工智能系統(tǒng)安全開(kāi)發(fā)的全球信任，以可驗(yàn)證的方式。這不是一件容易的事情。我們需要作為國(guó)際社會(huì)投入持續(xù)而重要的關(guān)注，才能做好這件事。道德經(jīng)提醒我們，千里之行始于足下。我們認(rèn)為在這里采取最有建設(shè)性的第一步是與國(guó)際科技界合作。
特別是，我們應(yīng)該促進(jìn)增加透明度和知識(shí)共享的機(jī)制，關(guān)于AGI安全方面的技術(shù)進(jìn)展。發(fā)現(xiàn)新出現(xiàn)安全問(wèn)題的研究人員應(yīng)該為了更大的利益分享他們的見(jiàn)解。我們需要認(rèn)真考慮如何在尊重和保護(hù)知識(shí)產(chǎn)權(quán)權(quán)利的同時(shí)，鼓勵(lì)這種規(guī)范。
如果我們做好了這一點(diǎn)，它將為我們打開(kāi)新的大門，讓我們能夠加深合作。更廣泛地說(shuō)，我們應(yīng)該投資、促進(jìn)和引導(dǎo)對(duì)目標(biāo)和安全研究的投資。
在OpenAI，我們今天的目標(biāo)研究主要集中在技術(shù)問(wèn)題上，即如何讓人工智能系統(tǒng)作為一個(gè)有用和安全的助手，在我們當(dāng)前的系統(tǒng)中行動(dòng)。這可能意味著，我們?nèi)绾斡?xùn)練ChatGPT，使它不會(huì)發(fā)出暴力威脅或協(xié)助用戶進(jìn)行有害活動(dòng)。
但是隨著我們更接近AGI，任何不符合目標(biāo)的潛在影響和程度都將呈指數(shù)增長(zhǎng)。為了提前解決這些挑戰(zhàn)，我們努力將未來(lái)災(zāi)難性結(jié)果的風(fēng)險(xiǎn)降到最低。對(duì)于當(dāng)前系統(tǒng)，我們主要使用來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練我們的模型，使其作為一個(gè)有用和安全的助手行動(dòng)。
這是后期訓(xùn)練目標(biāo)技術(shù)中的一個(gè)例子，我們也在忙于開(kāi)發(fā)新的技術(shù)。要做好這件事情需要很多艱苦的工程工作。從GPT-4完成預(yù)訓(xùn)練到部署它，我們花了8個(gè)月的時(shí)間來(lái)做這件事�？偟膩�(lái)說(shuō)，我們認(rèn)為我們?cè)谶@方面走在了正確的軌道上。GPT-4比我們以前的任何模型都更符合目標(biāo)。
然而，對(duì)于更先進(jìn)的系統(tǒng)來(lái)說(shuō)，目標(biāo)仍然是一個(gè)未解決的問(wèn)題，我們認(rèn)為這需要新的技術(shù)方法，以及更多的治理和監(jiān)督。想象一下，一個(gè)未來(lái)的AGI系統(tǒng)提出了10萬(wàn)行二進(jìn)制代碼。人類監(jiān)督者不太可能檢測(cè)到這樣一個(gè)模型是否在做一些邪惡的事情。
所以我們正在投資一些新的和互補(bǔ)的研究方向，我們希望能夠取得突破。一個(gè)是可擴(kuò)展的監(jiān)督。我們可以嘗試使用人工智能系統(tǒng)來(lái)協(xié)助人類監(jiān)督其他人工智能系統(tǒng)。例如，我們可以訓(xùn)練一個(gè)模型來(lái)幫助人類監(jiān)督者發(fā)現(xiàn)其他模型輸出中的缺陷。第二個(gè)是可解釋性。我們想嘗試更好地理解這些模型內(nèi)部發(fā)生了什么。
我們最近發(fā)表了一篇論文，使用GPT-4來(lái)解釋GPT-2中的神經(jīng)元。在另一篇論文中，我們使用模型內(nèi)部信息來(lái)檢測(cè)模型何時(shí)在說(shuō)謊。雖然我們還有很長(zhǎng)的路要走，但我們相信先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們產(chǎn)生解釋的能力。
最終，我們的目標(biāo)是訓(xùn)練人工智能系統(tǒng)來(lái)幫助目標(biāo)研究本身。這種方法的一個(gè)有希望的方面是，它隨著人工智能發(fā)展的步伐而擴(kuò)展。隨著未來(lái)模型變得越來(lái)越聰明和有用作為助手，我們將找到更好的技術(shù)，實(shí)現(xiàn)AGI的非凡利益，同時(shí)減輕風(fēng)險(xiǎn)，是我們這個(gè)時(shí)代最重要的挑戰(zhàn)之一。
以下為對(duì)話實(shí)錄：
張宏江：我們離人工智能還有多遠(yuǎn)？風(fēng)險(xiǎn)是不是很緊迫，還是我們離它還很遙遠(yuǎn)？無(wú)論是安全的人工智能，還是潛在的不安全的人工智能。
Sam Altman ：這個(gè)問(wèn)題很難準(zhǔn)確預(yù)測(cè)時(shí)間，因?yàn)樗枰碌难芯克悸�，而這些思路并不總是按照規(guī)定的日程來(lái)發(fā)展的。它可能很快就會(huì)發(fā)生，也可能需要更長(zhǎng)的時(shí)間。我認(rèn)為很難用任何程度的確定性來(lái)預(yù)測(cè)。但我確實(shí)認(rèn)為，在未來(lái)十年內(nèi)，我們可能會(huì)擁有非常強(qiáng)大的人工智能系統(tǒng)。在這樣的世界里，我認(rèn)為解決這個(gè)問(wèn)題是重要而緊迫的，這就是為什么我呼吁國(guó)際社會(huì)共同合作來(lái)解決這個(gè)問(wèn)題。歷史上確實(shí)給我們提供了一些新技術(shù)比許多人想象的更快地改變世界的例子。我們現(xiàn)在看到的這些系統(tǒng)的影響和加速度，在某種意義上是前所未有的。所以我認(rèn)為做好準(zhǔn)備，讓它盡快發(fā)生，并且解決好安全性方面的問(wèn)題，考慮到它們的影響和重要性，是非常有意義的。
張宏江：你感覺(jué)到了一種緊迫感嗎？
Sam Altman：是的，我感覺(jué)到了。我想強(qiáng)調(diào)一下，我們并不真正知道。而且人工智能的定義也不同，但是我認(rèn)為在十年內(nèi)，我們應(yīng)該為一個(gè)擁有非常強(qiáng)大系統(tǒng)的世界做好準(zhǔn)備。
張宏江：你在剛才的演講中也提到了幾次全球合作。我們知道世界在過(guò)去六七十年里面臨過(guò)很多危機(jī)。不過(guò)對(duì)于其中的很多危機(jī)，我們?cè)O(shè)法建立了共識(shí)和全球合作。你也正在進(jìn)行一次全球之旅。你正在推動(dòng)什么樣的全球合作？你對(duì)目前收到的反饋感覺(jué)如何？
Sam Altman：是的，我對(duì)目前收到的反饋非常滿意。我認(rèn)為人們非常認(rèn)真地對(duì)待人工智能帶來(lái)的風(fēng)險(xiǎn)和機(jī)遇。我認(rèn)為在過(guò)去六個(gè)月里，這方面的討論已經(jīng)有了很大進(jìn)步。人們真正致力于找出一個(gè)框架，讓我們能夠享受這些好處，同時(shí)共同合作來(lái)減輕風(fēng)險(xiǎn)。我認(rèn)為我們處于一個(gè)非常有利的位置來(lái)做這件事。全球合作總是很困難的，但我認(rèn)為這是一種機(jī)會(huì)和威脅，可以讓世界團(tuán)結(jié)起來(lái)。我們可以制定一些框架和安全標(biāo)準(zhǔn)，來(lái)指導(dǎo)這些系統(tǒng)的開(kāi)發(fā)，這將是非常有幫助的。
張宏江：在這個(gè)特定的話題上，你提到了高級(jí)人工智能系統(tǒng)的對(duì)齊是一個(gè)未解決的問(wèn)題。我也注意到OpenAI在過(guò)去幾年里投入了很多精力。你還提到了GPT-4是對(duì)齊方面的最佳例子。你認(rèn)為我們能否通過(guò)對(duì)齊來(lái)解決人工智能安全問(wèn)題？或者這個(gè)問(wèn)題比對(duì)齊更大？
Sam Altman ：我認(rèn)為對(duì)齊這個(gè)詞有不同的用法。我認(rèn)為我們需要解決的是如何實(shí)現(xiàn)安全人工智能系統(tǒng)的整個(gè)挑戰(zhàn)。對(duì)齊在傳統(tǒng)意義上是指讓模型按照用戶的意圖行事，這當(dāng)然是其中的一部分。但我們還需要回答其他一些問(wèn)題，比如我們?nèi)绾悟?yàn)證系統(tǒng)是否做了我們想要它們做的事情，以及我們要根據(jù)誰(shuí)的價(jià)值觀來(lái)對(duì)齊系統(tǒng)。但我認(rèn)為重要的是要看到實(shí)現(xiàn)安全人工智能所需要的全貌。
張宏江：是的，如果我們看看GPT-4所做的事情，在很大程度上，它仍然是從技術(shù)角度來(lái)看的。但除了技術(shù)之外，還有許多其他因素。這是一個(gè)非常復(fù)雜的問(wèn)題。通常復(fù)雜問(wèn)題是系統(tǒng)性的。人工智能安全可能也不例外。除了技術(shù)方面之外，你認(rèn)為還有哪些因素和問(wèn)題對(duì)人工智能安全至關(guān)重要？我們應(yīng)該如何應(yīng)對(duì)這些挑戰(zhàn)？特別是我們大多數(shù)人都是科學(xué)家，我們應(yīng)該做什么？
Sam Altman：這當(dāng)然是一個(gè)非常復(fù)雜的問(wèn)題。我會(huì)說(shuō)沒(méi)有技術(shù)解決方案，其他一切都很難。我認(rèn)為把很多精力放在確保我們解決了安全方面的技術(shù)問(wèn)題上是非常重要的。正如我提到的，弄清楚我們要根據(jù)什么樣的價(jià)值觀來(lái)對(duì)齊系統(tǒng)，這不是一個(gè)技術(shù)問(wèn)題。它需要技術(shù)輸入，但它是一個(gè)需要全社會(huì)深入討論的問(wèn)題。我們必須設(shè)計(jì)出公平、有代表性和包容性的系統(tǒng)。而且，正如你指出的，我們不僅要考慮人工智能模型本身的安全性，還要考慮整個(gè)系統(tǒng)的安全性。所以建立安全分類器和檢測(cè)器，可以在模型之上運(yùn)行，可以監(jiān)控使用策略的遵守情況，這也很重要。然后，我也認(rèn)為很難提前預(yù)測(cè)任何技術(shù)會(huì)出現(xiàn)什么問(wèn)題。所以從真實(shí)世界中學(xué)習(xí)和迭代地部署，看看當(dāng)你把模型放到現(xiàn)實(shí)中時(shí)會(huì)發(fā)生什么，并改進(jìn)它，并給人們和社會(huì)時(shí)間去學(xué)習(xí)和更新，并思考這些模型將如何以好的和壞的方式影響他們的生活。這也很重要。
張宏江：你剛才提到了全球合作。你已經(jīng)訪問(wèn)了很多國(guó)家，你提到了中國(guó)。但你能否分享一些你在合作方面取得的成果？你對(duì)下一步有什么計(jì)劃或想法？從這次世界之旅中，從你與各種政府、機(jī)構(gòu)、機(jī)構(gòu)之間的互動(dòng)中？
Sam Altman：我認(rèn)為通常需要很多不同的視角和人工智能安全。我們還沒(méi)有得到所有的答案，這是一個(gè)相當(dāng)困難和重要的問(wèn)題。
此外，正如所提到的，這不是一個(gè)純粹的技術(shù)問(wèn)題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國(guó)家的用戶偏好。我們需要很多不同的投入才能實(shí)現(xiàn)這一目標(biāo)。中國(guó)擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說(shuō)，我認(rèn)為，考慮到解決高級(jí)人工智能系統(tǒng)對(duì)齊的困難，需要來(lái)自世界各地的最好的頭腦。所以我真的希望中國(guó)的人工智能研究人員在這里做出巨大的貢獻(xiàn)。
張宏江：我明白今天的論壇是關(guān)注AI安全的，因?yàn)槿藗儗?duì)OpenAI很好奇，所以我有很多關(guān)于OpenAI的問(wèn)題，不僅僅是AI安全。我這里有一個(gè)觀眾的問(wèn)題是，OpenAI有沒(méi)有計(jì)劃重新開(kāi)源它的模型，就像在3.0版本之前那樣？我也認(rèn)為開(kāi)源有利于AI安全。
Sam Altman：我們有些模型是開(kāi)源的，有些不是，但隨著時(shí)間的推移，我認(rèn)為你應(yīng)該期待我們將來(lái)會(huì)繼續(xù)開(kāi)源更多的模型。我沒(méi)有一個(gè)具體的模型或時(shí)間表，但這是我們目前正在討論的事情。
張宏江：我們把所有的努力都投入到了開(kāi)源中，包括模型本身、開(kāi)發(fā)模型的算法、優(yōu)化模型和數(shù)據(jù)之間關(guān)系的工具。我們相信有必要分享，并讓用戶感覺(jué)到他們控制了自己所使用的東西。你是否有類似的反饋？或者這是你們?cè)贠penAI中討論的內(nèi)容？
Sam Altman：是的，我認(rèn)為開(kāi)源在某種程度上確實(shí)有一個(gè)重要的作用。最近也有很多新的開(kāi)源模型出現(xiàn)。我認(rèn)為API模型也有一個(gè)重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調(diào)。如果某件事情不起作用，你可以收回它。在當(dāng)前模型的規(guī)模下，我不太擔(dān)心這個(gè)問(wèn)題。但是隨著模型變得像我們期望的那樣強(qiáng)大，如果我們對(duì)此是正確的，我認(rèn)為開(kāi)源一切可能不是最佳路徑，盡管有時(shí)候它是正確的。我認(rèn)為我們只需要仔細(xì)地平衡一下。
張宏江：關(guān)于GPT-4和AI安全方面的后續(xù)問(wèn)題是，我們是否需要改變整個(gè)基礎(chǔ)設(shè)施或整個(gè)AGI模型的架構(gòu)，以使其更安全、更容易被檢查？你對(duì)此有什么想法？
Sam Altman：這肯定有可能，我們需要一些非常不同的架構(gòu)，無(wú)論是從能力還是從安全性方面來(lái)看。我認(rèn)為我們將能夠在可解釋性方面取得一些進(jìn)展，在當(dāng)前類型的模型上，并讓它們更好地向我們解釋它們?cè)谧鍪裁匆约盀槭裁础５牵绻谧儞Q器之后還有另一個(gè)巨大的飛躍，那也不會(huì)讓我感到驚訝。而且實(shí)際上我們已經(jīng)在原始的變換器之后，架構(gòu)已經(jīng)發(fā)生了很大的變化。
張宏江：作為一個(gè)研究人員，我也很好奇，下一步的AGI研究方向是什么？在大模型、大語(yǔ)言模型方面，我們會(huì)不會(huì)很快看到GPT-5？下一個(gè)前沿是不是在具身模型上？自主機(jī)器人是不是OpenAI正在或者準(zhǔn)備探索的領(lǐng)域？
Sam Altman：我也很好奇下一步會(huì)發(fā)生什么，我最喜歡做這項(xiàng)工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒(méi)有答案，所以我們?cè)谔剿骱芏嗫赡艿男路妒健．?dāng)然，在某個(gè)時(shí)候，我們會(huì)嘗試做一個(gè)GPT-5模型，但不會(huì)是很快。我們不知道具體什么時(shí)候。我們?cè)贠penAI剛開(kāi)始的時(shí)候就做過(guò)機(jī)器人方面的工作，我們對(duì)此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個(gè)領(lǐng)域。
張宏江：聽(tīng)起來(lái)很棒。你在演講中也提到了你們是如何用GPT-4來(lái)解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴(kuò)展的嗎？這種方向是不是OpenAI未來(lái)會(huì)繼續(xù)推進(jìn)的？
Sam Altman：我們會(huì)繼續(xù)推進(jìn)這個(gè)方向。
張宏江：那你認(rèn)為這種方法可以應(yīng)用到生物神經(jīng)元上嗎？因?yàn)槲覇?wèn)這個(gè)問(wèn)題的原因是，有一些生物學(xué)家和神經(jīng)科學(xué)家，他們想借鑒這個(gè)方法，在他們的領(lǐng)域里研究和探索人類神經(jīng)元是如何工作的。
Sam Altman： 在人工神經(jīng)元上觀察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認(rèn)為這種方法對(duì)于人工神經(jīng)網(wǎng)絡(luò)是有效的。我認(rèn)為使用更強(qiáng)大的模型來(lái)幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個(gè)方法應(yīng)用到人類大腦上。
張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個(gè)問(wèn)題是，如果這個(gè)世界上只有三個(gè)模型，那么會(huì)不會(huì)更安全？這就像核控制一樣，你不想讓核武器擴(kuò)散。我們有這樣的條約，我們?cè)噲D控制能夠獲得這項(xiàng)技術(shù)的國(guó)家數(shù)量。那么控制模型數(shù)量是不是一個(gè)可行的方向？
Sam Altman：我認(rèn)為對(duì)于世界上有少數(shù)模型還是多數(shù)模型更安全，有不同的觀點(diǎn)。我認(rèn)為更重要的是，我們是否有一個(gè)系統(tǒng)，能夠讓任何一個(gè)強(qiáng)大的模型都經(jīng)過(guò)充分的安全測(cè)試？我們是否有一個(gè)框架，能夠讓任何一個(gè)創(chuàng)造出足夠強(qiáng)大的模型的人，既有資源，也有責(zé)任，來(lái)確保他們創(chuàng)造出的東西是安全和對(duì)齊的？
張宏江：昨天在這個(gè)會(huì)議上，MIT未來(lái)生命研究所的Max教授提到了一種可能的方法，就是類似于我們控制藥物開(kāi)發(fā)的方式�？茖W(xué)家或者公司開(kāi)發(fā)出新藥，你不能直接上市。你必須經(jīng)過(guò)這樣的測(cè)試過(guò)程。這是不是我們可以借鑒的？
Sam Altman：我絕對(duì)認(rèn)為，我們可以從不同行業(yè)發(fā)展出來(lái)的許可和測(cè)試框架中借鑒很多東西。但我認(rèn)為從根本上說(shuō)，我們已經(jīng)有了一些可以奏效的方法。
張宏江：非常感謝你，Sam。謝謝你抽時(shí)間來(lái)參加這次會(huì)議，雖然是虛擬的。我相信還有很多問(wèn)題，但考慮到時(shí)間，我們不得不到此為止。希望下次你有機(jī)會(huì)來(lái)中國(guó)，來(lái)北京，我們可以有更深入的討論。非常感謝你。
