展會信息港展會大全

吳恩達:過度夸大AI風險會催生令人窒息的法規(guī)
來源:互聯(lián)網(wǎng)   發(fā)布日期:2023-12-22 10:46:15   瀏覽:5114次  

導讀:我是從一個陌生人身上第一次感受到了 2023 年出現(xiàn)的大變化。3 月份,當我們一起等電梯時,她告訴我,她剛剛用 ChatGPT 幫她寫了一份營銷工作報告。 她討厭寫報告,因為她覺得自己不太擅長。但這次她的經(jīng)理表揚了她。這是作弊嗎?她認為不是,因為她盡了自己...

我是從一個陌生人身上第一次感受到了 2023 年出現(xiàn)的大變化。3 月份,當我們一起等電梯時,她告訴我,她剛剛用 ChatGPT 幫她寫了一份營銷工作報告。

她討厭寫報告,因為她覺得自己不太擅長。但這次她的經(jīng)理表揚了她。這是作弊嗎?她認為不是,因為她盡了自己所能。

這個陌生人對生成式人工智能的體驗只是數(shù)百萬人中的一例。許許多多和她一樣的人現(xiàn)在正在嘗試弄清楚,這項激進的新技術的用途,并想知道它能為他們做什么。

從很多方面來說,現(xiàn)在圍繞生成式人工智能的熱議讓人想起了互聯(lián)網(wǎng)的早期時光:有一種興奮和期待的感覺,還有一種我們要邊走邊看的感覺。

換句話說,我們現(xiàn)在所處的狀態(tài)就像 2000 年左右的互聯(lián)網(wǎng)繁榮時期。在此之后,許多公司將破產(chǎn)。我們可能需要數(shù)年時間才能看到這個時代的 Facebook(現(xiàn)在的 Meta)、Twitter(現(xiàn)在的 X)或 TikTok 出現(xiàn)。

技術咨詢公司 Booz Allen Hamilton 的生成式人工智能主管艾利遜史密斯(Alison Smith)表示:“人們不愿意想象 10 年后的未來,因為沒有人想看起來很愚蠢。但我認為這將遠遠超出我們的預期。”

(來源:SELMAN DESIGN)

互聯(lián)網(wǎng)改變了一切,改變了我們?nèi)绾喂ぷ骱拖r間,改變了我們?nèi)绾闻c朋友和家人共度時光,改變了我們?nèi)绾螌W習、消費、墜入愛河。但它也給我們帶來了網(wǎng)絡霸凌、報復性色情和惡搞。

它助長了種族滅絕事件和心理健康危機,并創(chuàng)造了監(jiān)控資本主義,及其令人上癮的算法和掠奪性廣告,使之成為我們這個時代主導的市場力量。只有當人們開始大量使用它,或者與其有關的社交媒體等殺手級應用程序出現(xiàn)時,這些缺點才會變得明顯。

生成是人工智能可能也是如此。我們已經(jīng)有了基礎設施,來自 OpenAI、谷歌、Meta 和其他一些公司的基礎生成式模型,除了構建它的人之外,其他人可能會以開發(fā)者做夢也想不到的方式使用和濫用模型。

史密斯說:“如果沒有個人用戶真正參與其中,我們就無法完全了解其潛力和風險。”

生成式人工智能是在互聯(lián)網(wǎng)的數(shù)據(jù)上訓練的,因此繼承了許多懸而未決的問題,包括與偏見、錯誤信息、侵犯版權、侵犯人權和全面經(jīng)濟動蕩有關的問題。我們必須了解這些問題。

當我們看著生成式人工智能革命逐漸展開時,以下是六個尚未解決的問題。這一次,我們有機會做得更好。

我們會緩解偏見問題嗎?

偏見已經(jīng)成為人工智能相關危害的代名詞,這是有充分理由的。現(xiàn)實世界的數(shù)據(jù),尤其是從互聯(lián)網(wǎng)上抓取的文本和圖像,充斥著各種各樣的數(shù)據(jù),從性別刻板印象到種族歧視。根據(jù)這些數(shù)據(jù)訓練的模型會自帶這些偏見,然后在任何可能用到它們的地方強化它們。

聊天機器人和圖像生成器傾向于將工程師描繪成白人和男性,將護士描繪成白人和女性。黑人則有被面部識別程序誤認為嫌疑人的風險,導致錯誤逮捕。招聘算法偏愛男性而非女性,這加深了許多行業(yè)和領域本就根深蒂固的偏見,而算法本來是為了解決偏見的。

如果沒有新的數(shù)據(jù)集或訓練模型的新方法(這兩種方法都可能需要數(shù)年的工作),偏見問題的根本原因將一直存在。但這并沒有阻止它成為研究的熱點。

OpenAI 一直致力于使用諸如從人類反饋中強化學習(RLHF,reinforcement learning from human feedback)等技術來減少其大型語言模型的偏見。這將引導模型的輸出更符合人類測試員所喜歡的文本類型。

其他減少偏見的技術包括使用合成數(shù)據(jù)集。Runway 是一家為視頻制作制作生成模型的初創(chuàng)公司,在訓練圖像制作模型 Stable Diffusion 的一個版本時,它使用了人工智能生成的種族、性別、職業(yè)和年齡不同的人的圖像等合成數(shù)據(jù)。

該公司報告稱,基于該數(shù)據(jù)集訓練的模型生成了更多皮膚較黑的人的圖像和更多女性的圖像。如果要求它提供一張商人的照片,現(xiàn)在的成品圖片會包括戴頭巾的婦女。醫(yī)生的形象也將有更多不同膚色和性別的人。

批評者則認為,這些解決方案只是掩蓋了基礎模型存在的問題,而沒有真正解決問題。但史密斯在 Booz Allen Hamilton 的同事、該公司的負責任人工智能主管杰夫謝弗(Geoff Schaefer)認為,這種算法偏見暴露的社會偏見,從長遠來看可能是有用的。

例如,他指出,即使從數(shù)據(jù)集中刪除了有關種族的明確信息,種族偏見仍然會扭曲數(shù)據(jù)驅動的決策,因為種族可以從人們的地址中推斷出來,這揭示了種族隔離和住房歧視問題的存在。他說:“我們在一個地方收集了一堆數(shù)據(jù),這種(數(shù)據(jù)中隱藏的)相關性將變得非常明顯。”

謝弗認為,這一代人工智能也可能發(fā)生類似的情況:“社會上的這些偏見將突然出現(xiàn)。”他說,這將導致更有針對性的政策制定。

但許多人對這種樂觀態(tài)度持謹慎態(tài)度。問題雖然暴露出來,但并不能保證它會得到解決。政策制定者仍在努力解決多年前暴露出來的,在住房、招聘、貸款、治安等方面存在的社會偏見。與此同時,人們正在承受后果。

我們的預測:偏見將繼續(xù)成為大多數(shù)生成式人工智能模型的固有特征,但變通辦法和提高認識可以幫助決策者解決最顯眼的麻煩。

人工智能將如何改變我們應用版權的方式?

的作品中獲利感到憤怒,他們對 OpenAI、微軟和其他公司提起了集體訴訟,聲稱它們侵犯了版權。圖片版權商蓋蒂(Getty)正在起訴圖像生成工具 Stable Diffusion 背后的公司 Stability AI。

這些訴訟很重要。莎拉西爾弗曼(Sarah Silverman)和喬治RR馬。℅eorge R.R. Martin)等知名作家的參與引起了媒體的關注。這些案件將改寫關于什么是公平利用他人作品的規(guī)則,至少在美國是這樣。

但這些訴訟不會很快結束。代表 280 多家人工智能公司的 Gunderson Dettmer 律師事務所專門從事知識產(chǎn)權許可的合伙人凱蒂加德納(Katie Gardner)表示,法院還需要數(shù)年時間才能做出最終裁決。她說,到那時,“這項技術將在經(jīng)濟中根深蒂固,無法再被廢除。”

與此同時,科技行業(yè)正以驚人的速度在這些被指控的侵權行為的基礎上發(fā)展。加德納說:“我不認為公司會靜觀其變?赡軙幸恍┓娠L險,但跟不上競爭對手意味著更大的風險。”

一些公司已采取措施限制侵權的可能性。OpenAI 和 Meta 聲稱,自己已經(jīng)為創(chuàng)作者引入了從未來數(shù)據(jù)集中刪除作品的方法。OpenAI 現(xiàn)在會阻止 DALL-E 的用戶以在世藝術家的風格獲取圖像。但是,加德納說,“這些都是為了在法律訴訟中支持他們的論點。”

谷歌、微軟和 OpenAI 現(xiàn)在會保護其模型的用戶免受潛在的法律訴訟風險。在等待法院審理案件的時間里,微軟對其代碼生成助理 GitHub Copilot 的賠償政策原則上會保護那些使用它的人。

微軟 CEO 薩蒂亞納德拉(Satya Nadella)在接受《麻省理工技術評論》采訪時表示:“我們將承擔這一負擔,這樣我們產(chǎn)品的用戶就不必擔心了。”

與此同時,各種新的許可協(xié)議正在涌現(xiàn)。美國圖片庫供應商 Shutterstock與 OpenAI 簽署了一份為期六年的圖像使用協(xié)議。Adobe 聲稱,自家的圖像制作模型“螢火蟲”僅使用授權圖像、Adobe Stock 數(shù)據(jù)集中的圖像或不再受版權保護的圖像進行訓練。

然而,Adobe Stock 的一些貢獻者表示,他們并未提前知曉此事,而且對此并不滿意。

現(xiàn)在,藝術家們正在用自己的技術進行反擊。一種名為 Nightshade 的工具允許用戶以人類無法察覺但會破壞機器學習模型的方式更改圖像,使其在訓練過程中對圖像進行錯誤分類。因此,針對媒體的網(wǎng)絡共享和重新調(diào)整用途的規(guī)范將發(fā)生重大改變。

我們的預測:高調(diào)的訴訟將繼續(xù)引起人們的關注,但這不太可能阻止公司繼續(xù)開發(fā)生成式模型。新的市場將圍繞道德數(shù)據(jù)集涌現(xiàn),公司和創(chuàng)作者之間的貓老鼠游戲也將持續(xù)發(fā)展。

它將如何改變我們的工作?

我們早就聽說人工智能正在挑戰(zhàn)我們的工作。這次的區(qū)別是,白領、數(shù)據(jù)分析師、醫(yī)生、律師和記者等職業(yè),看起來也面臨風險。

聊天機器人可以在高中考試、專業(yè)醫(yī)療執(zhí)照考試和律師考試中名列前茅。他們可以總結會議,甚至撰寫基本的新聞文章。人類還剩下什么可以做?答案并不簡單。

許多研究人員否認大型語言模型的表現(xiàn)體現(xiàn)了真正的智能。但即使是這樣,大多數(shù)職業(yè)也比這些模型能做的任務多得多。

2022 年夏天,美國賓夕法尼亞大學沃頓商學院研究創(chuàng)新的伊桑莫里克(Ethan Mollick)幫助波士頓咨詢公司進行了一項實驗,研究 ChatGPT 對顧問的影響。

該團隊向數(shù)百名顧問提供了與一家虛構的鞋業(yè)公司有關的 18 項任務,如“針對被忽視的市場或運動提出至少 10 個新鞋的想法”和“基于用戶群的細分鞋業(yè)市場”。其中一些人使用 ChatGPT 來幫助他們,另一些人則沒有使用。

結果令人震驚:莫里克在一篇關于這項研究的博客文章中寫道:“使用 ChatGPT-4 的顧問比沒有使用的顧問表現(xiàn)得好很多,而且是在我們衡量績效的每個方面都更好。”

風險投資公司 Air Street Capital 的創(chuàng)始人、人工智能狀況報告團隊負責人拿單貝納奇(Nathan Benaich)表示,許多企業(yè)已經(jīng)在使用大型語言模型來查找和獲取信息,該報告是一份全面的研究和行業(yè)趨勢年度總結。

他覺得這很受歡迎。“希望分析師能成為一個人工智能模型。”他說,“這些東西大多讓人頭疼。”

他的觀點是,把繁重的工作交給機器,可以讓人們專注于工作中更有成就感的部分。這項技術似乎也能提高勞動力群體的技能水平:早期的研究,比如莫里克對顧問的研究和其他對程序員的研究表明,經(jīng)驗不足的人從使用人工智能中獲得的提升更大。

生成式人工智能不會僅僅改變白領的工作。圖像和視頻制作模型可以在沒有人類插畫師、攝像師或演員的情況下制作出源源不斷的圖片和電影。 2023 年美國作家和演員的罷工清楚地表明,這將是未來幾年的爆發(fā)點。

即便如此,許多研究人員認為這項技術可以為員工賦能,而不是取代他們。畢竟,自工業(yè)革命以來,技術更新總伴隨著崗位更替。隨著舊工作崗位的消失,新的工作崗位也隨之產(chǎn)生。史密斯說:“我非常強烈地感覺到這是一個積極因素,會帶來凈增。”

但變化總是痛苦的,受影響個人的損失總會被凈增掩蓋。技術劇變也傾向于集中財富和權力,加劇不平等。

莫利克寫道:“在我看來,問題不再是人工智能是否會重塑工作,而是我們希望這意味著什么。”

我們的預測:對大規(guī)模失業(yè)的擔憂會被夸大。但生成式人工智能工具將繼續(xù)在工作場所普及。人們的職務可能會發(fā)生變化,可能需要學習新技能。

它會生產(chǎn)出哪些錯誤信息?

2023 年最受歡迎的三張(人工智能生成)照片是,教皇穿著巴黎世家蓬松的衣服,唐納德特朗普被警察按倒在地,以及五角大樓發(fā)生爆炸。它們都是假的,但這并不妨礙它們被數(shù)百萬人看到和分享。

(來源:資料圖)

使用生成式模型來創(chuàng)建偽造的文本或圖像比以往任何時候都更容易。許多人警告說,錯誤信息將在網(wǎng)上泛濫。OpenAI 合作進行了一項研究,指出了許多潛在的濫用其技術進行假新聞宣傳的情況。

在 2023 年的一份報告中,OpenAI 警告說,大型語言模型可能被用于大規(guī)模制作更具說服力的宣傳,因此更難被發(fā)現(xiàn)。美國和歐盟的專家已經(jīng)表示,未來的選舉將面臨風險。

毫不奇怪,拜登政府在 10 月份將人工智能生成內(nèi)容的標記和檢測作為其人工智能行政命令的重點。

但該行政令不能從法律商強制生成式工具制造商將文本或圖像標記為人工智能的產(chǎn)物,而且我們最好的人工智能檢測工具還不夠好,不值得信任。

本月終于完成的歐盟《人工智能法案(EU AI Act)》將更進一步。全面立法的一部分要求公司在人工智能生成的文本、圖像或視頻中添加水印,并在人們與聊天機器人互動時向他們明確表示對方是機器人!度斯ぶ悄芊ò浮芬埠苡行Ч哼@些規(guī)則將具有約束力,違規(guī)者將被處以高額罰款。

美國還表示,將審計任何可能對國家安全構成威脅的人工智能,包括干預選舉。“這是向前邁出的一大步。”貝納奇說。

但即使是這些模型的開發(fā)者也不知道它們的全部能力:“在模型發(fā)布前,政府或其他獨立機構可以迫使公司對其進行全面測試,但這個想法似乎不現(xiàn)實。”

一個大問題是:在一項技術被使用之前,我們不可能知道它會被濫用的所有方式。謝弗說:“在 2023 年,有很多關于減緩人工智能發(fā)展的討論。但我們持相反的觀點。”

除非這些工具被盡可能多的人以不同的方式使用,否則我們不會讓它們變得更好,他說:“我們不會理解這些奇怪的風險會以何種微妙的方式表現(xiàn)出來,也不會理解什么事件會觸發(fā)它們。”

我們的預測:隨著技術使用量的增加,新形式的濫用將繼續(xù)出現(xiàn)。會有一些最明顯的例子,比如涉及到選舉操縱。

我們會正視它的成本嗎?

生成式人工智能的開發(fā)成本,包括人類和環(huán)境成本,也需要考慮。“隱形工人問題”是一個公開的秘密:我們避免了生成式模型所能產(chǎn)生的最糟糕的結果,這在一定程度上要歸功于一群默默無聞的(通常是低收入的)外包工人。他們標記訓練數(shù)據(jù),并在測試過程中剔除有毒的,有時是創(chuàng)傷性的輸出內(nèi)容。這就是數(shù)據(jù)時代的血汗工廠。

2023 年,OpenAI 在肯尼亞雇傭外包員工的行為受到了《時代》和《華爾街日報》等主流媒體的密切關注。OpenAI 希望通過構建一個過濾器來改進其生成式模型,該過濾器將向用戶隱藏仇恨、淫穢和其他冒犯內(nèi)容。

但要做到這一點,它需要人們找到并標記大量此類有毒內(nèi)容作為樣本,以便其自動過濾器能夠學會發(fā)現(xiàn)它們。OpenAI 雇傭了外包公司 Sama,據(jù)稱該公司在肯尼亞雇傭了低薪工人。

隨著生成式人工智能現(xiàn)在成為主流,人力成本將成為人們關注的焦點,這將給建立這些模型的公司帶來壓力,因為它們需要幫助改進全世界各地廉價勞動力的工作條件。

另一個巨大的成本,即訓練大型生成式模型所需的能量,將在情況好轉之前攀升。8 月,英偉達宣布 2024 年第二季度收益超過 135 億美元,是上年同期的兩倍。其中大部分收入(103 億美元)來自數(shù)據(jù)中心,換句話說許多公司使用了英偉達的硬件來訓練人工智能模型。

英偉達 CEO 黃仁勛表示:“需求非常巨大。我們正處于生成式人工智能的起步階段。”他承認這里存在能源問題,并預測這一繁榮甚至可能推動計算硬件類型的改變。他說:“世界上絕大多數(shù)的計算基礎設施都必須是節(jié)能的。”

我們的預測:公眾對人工智能相關勞動力和環(huán)境成本的認識提高將給科技公司帶來壓力。但不要指望這兩方面很快會有顯著改善。

末日論會繼續(xù)主導政策制定嗎?

末日論,即擔心智能機器的出現(xiàn)可能會帶來災難性,甚至世界末日般的后果,長期以來一直隱藏在人工智能光鮮亮麗表面的背后。但狂熱的炒作,加上人工智能先驅杰弗里辛頓(Geoffrey Hinton)在 5 月份高調(diào)宣布,他現(xiàn)在害怕自己幫助創(chuàng)造的技術,又讓末日論進入了公眾視野。

在 2023 年,很少有問題能引起如此大的分歧。辛頓和圖靈獎得主楊立昆(Yann LeCun)等人工智能名人在社交媒體上公開爭論不休。楊立昆創(chuàng)立了 Meta 的人工智能實驗室,并認為末日論是荒謬的。

辛頓、OpenAI CEO 山姆奧特曼(Sam Altman)和其他人建議,(未來)人工智能系統(tǒng)應該有類似于核武器的保障措施。這樣的對話引起了人們的注意。

但今年 7 月,在美國科學家聯(lián)合會核信息項目經(jīng)理馬特科爾達(Matt Korda)在 Vox 上與人合著的一篇文章中,他譴責了這些“混亂的類比”及其引發(fā)的“沒營養(yǎng)的媒體恐慌”。

我們很難理解哪些是真實的,哪些不是,因為我們不知道人們發(fā)出警報的動機,貝納奇說:“很多人靠著這些東西變得非常富有,這似乎很奇怪,而很多人正是那些要求更大控制權的人。這就像是,‘嘿,我發(fā)明了一種非常強大的東西!它有很多風險,但我有解藥。’”

有些人擔心所有這些散布恐懼的行為的影響。在 X 上,深度學習先驅吳恩達(Andrew Ng)寫道:“我對人工智能未來最擔心的是,如果過度夸大的風險(如人類滅絕),進而讓科技游說者制定了壓制開源和壓制創(chuàng)新的、令人窒息的法規(guī)。”這場辯論還讓資源和研究人員遠離更直接的風險,如偏見、就業(yè)動蕩和錯誤信息。

谷歌的人工智能研究員弗朗索瓦肖萊(Franois Chollet)表示:“有些人推動生存風險的議題,因為他們認為這將有利于自己的公司。談論生存風險既突出了你的道德意識和責任感,又分散了對更現(xiàn)實和緊迫問題的注意力。”

貝納奇指出,一些人左手給大家敲響警鐘,卻用另一只手為他們的公司籌集 1 億美元。“你可以說末日論是一種籌款策略。”他說。

我們的預測:散布恐懼的聲音會消失,但對決策者議程的影響可能會持續(xù)一段時間。我們會看到越來越多關于重新關注更直接危害的呼吁。

仍然缺失:人工智能的殺手級應用

ChatGPT 差點就沒能問世,聽起來是不是很奇怪?在 2022 年 11 月發(fā)布之前,OpenAI 的聯(lián)合創(chuàng)始人兼首席科學家伊利亞蘇茨凱弗(Ilya Sutskever)對其準確性并不滿意。該公司的其他人擔心這并不是什么真正的進步。在當時,ChatGPT 更多的是技術的重新混合,而非革命性的進步。

它是由 GPT-3.5 驅動的,GPT-3.5 是 OpenAI 幾個月前開發(fā)的一個大型語言模型。但聊天機器人整合了許多互動性強的調(diào)整,特別是更具對話性和切中要害的回應。

“它既方便又實用。”蘇茨凱弗說,“這是人工智能領域之外的人第一次看到人工智能的進步。”

由 ChatGPT 掀起的炒作還沒有完結的跡象。“人工智能是圈子里唯一的游戲。”蘇茨凱弗說,“這是科技界最重要的事情,科技也是經(jīng)濟中最重要的東西。我認為我們將繼續(xù)對人工智能的作用感到驚訝。”

但現(xiàn)在我們已經(jīng)看到了人工智能的能力,接下來最關鍵的問題或許是它能用來做什么。OpenAI 構建這項技術時沒有考慮到實際用途。研究人員在發(fā)布 ChatGPT 時似乎只說了一件事:用它做你想做的事。從那以后,每個人都在爭先恐后地想知道那是什么。

“我覺得 ChatGPT 很有用。”蘇茨凱弗說,“我經(jīng)常用它來處理各種隨意的事情。”他說,他用它來查找某些單詞,或者幫助他更清楚地表達自己。

有時他會用它來查找事實(盡管它并不總能返回事實)。OpenAI 的其他人將其用于度假計劃,比如列出“世界上排名前三的潛水點是什么?”,學些編程技巧或者尋找 IT 技術支持。

有用,但不會改變游戲規(guī)則。這些例子中的大多數(shù)都可以使用現(xiàn)有的工具來完成,比如搜索。

與此同時,據(jù)說谷歌內(nèi)部員工對該公司自己的聊天機器人 Bard(現(xiàn)在由谷歌的 GPT-4 競品 Gemini 模型驅動)的有用性表示懷疑。

據(jù)彭博社報道,谷歌 Bard 的用戶體驗負責人凱茜佩爾(Cathy Pearl)8 月在 Discord 上寫道:“我仍在思考的最大挑戰(zhàn)是:大模型究竟有什么用?怎樣才能真正做出些什么?(答案)還不清楚!”

如果沒有殺手級的應用程序,吸引人們的效果就會減弱。投資公司紅杉資本的統(tǒng)計數(shù)據(jù)顯示,盡管像 ChatGPT、Character.AI 和 Lensa 這樣的人工智能應用程序在網(wǎng)上瘋傳,但它們流失用戶的速度比 YouTube、Instagram 和 TikTok 等同樣流行的平臺更快。

“消費技術的規(guī)則仍然適用。”貝納奇說,“經(jīng)過幾個月的炒作,會有很多嘗試,但很多東西都只能在水里淹死。”

當然,互聯(lián)網(wǎng)的早期時代也充滿了錯誤的嘗試。在它改變世界之前,互聯(lián)網(wǎng)的繁榮也曾以蕭條告終。今天的生成式人工智能也可能失敗,并被下一件熱門事件所掩蓋。

無論發(fā)生什么,現(xiàn)在人工智能已經(jīng)完全成為主流,小眾問題已經(jīng)成為每個人的問題。正如謝弗所說,“我們將被迫以前所未有的方式解決這些問題。”

作者簡介:威爾道格拉斯海文(Will Douglas Heaven)是《麻省理工科技評論》人工智能欄目的高級編輯,他在這里報道新的研究、新興趨勢及其背后的人。此前,他是英國廣播公司(BBC)科技與地緣政治網(wǎng)站 Future Now 的創(chuàng)始編輯,也是 New Scientist 雜志的首席技術編輯。他擁有英國倫敦帝國理工學院計算機科學博士學位,深諳與機器人合作的體驗。

支持:Ren

贊助本站

人工智能實驗室
相關內(nèi)容
AiLab云推薦
推薦內(nèi)容
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯(lián)系我們 | 廣告服務 | 公司動態(tài) | 免責聲明 | 隱私條款 | 工作機會 | 展會港