本來想用一個標(biāo)題黨的標(biāo)題《有頭有臉的AI從業(yè)者，都去參加NeurIPS了》，但是考慮到這不符合TechVerse一貫的風(fēng)格，就算了吧：）但是，如果你最近聽說周圍的創(chuàng)業(yè)者投資人去美國出差了，那么很有可能，ta正在參加NeurIPS。
NeurIPS (Conference on Neural Information Processing Systems) 在人工智能（AI）領(lǐng)域中占有極其重要的地位。它是世界上最著名和最有影響力的AI和機器學(xué)習(xí)會議之一。
NeurIPS 2023，即第37屆神經(jīng)信息處理系統(tǒng)年會，將于2023年12月10日至16日在新奧爾良的Ernest N. Morial會展中心舉行。本次會議將包括多個環(huán)節(jié)，如行業(yè)博覽會、虛擬通行證、教程、親和力研討會、會議環(huán)節(jié)以及在一周末尾的研討會。
本次大會旨在匯集機器學(xué)習(xí)、神經(jīng)科學(xué)、統(tǒng)計學(xué)、優(yōu)化、計算機視覺、自然語言處理、生命科學(xué)、社會科學(xué)等領(lǐng)域的研究人員。會議內(nèi)容廣泛，包括概率方法（如變分推理、因果推理、高斯過程）、強化學(xué)習(xí)（包括決策與控制、規(guī)劃、分層強化學(xué)習(xí)、機器人學(xué)）以及機器學(xué)習(xí)的社會經(jīng)濟方面（如公平性、可解釋性、人工智能交互、隱私、安全、策略行為）。此外，還有包括控制理論、學(xué)習(xí)理論和算法博弈論在內(nèi)的理論焦點。
會議的亮點之一是邀請領(lǐng)域內(nèi)知名專家的演講。例如，Linda Smith將介紹“一致性統(tǒng)計數(shù)據(jù)、自我生成的經(jīng)驗以及為什么年輕人比當(dāng)前的人工智能更聰明”，而Jelani Nelson將討論“草圖：核心工具、學(xué)習(xí)增強和適應(yīng)性魯棒性”。另一個有趣的環(huán)節(jié)是由Alexander Rush主持的“超越規(guī)�；〗M討論會”，將有Aakanksha Chowdhery、Angela Fan、Percy Liang和Jie Tang等專家參與討論。
NeurIPS 2023有著嚴(yán)格的論文提交流程，強調(diào)匿名化的重要性，以遵守雙盲評審政策。會議鼓勵使用大型語言模型（LLM），但要求完全透明地展示方法論。作者需要確保他們的提交符合組織者設(shè)定的特定格式指南和截止日期。
論文評選：
NeurIPS 2023 宣布了其論文獎項。本年度的獲獎?wù)撐陌?ldquo;時間測試獎”以及以下三個類別中各兩篇杰出論文獎：
杰出主軌道論文：
“Privacy Auditing with One (1) Training Run”：提出了一種使用單次訓(xùn)練運行來審計具有差分隱私的機器學(xué)習(xí)系統(tǒng)的方案。
“Are Emergent Abilities of Large Language Models a Mirage?”：提出了關(guān)于大型語言模型出現(xiàn)的新能力是否為幻覺的討論。
杰出主軌道亞軍論文：
“Scaling Data-Constrained Language Models”：探討了在數(shù)據(jù)受限情況下擴展語言模型的方法。
“Direct Preference Optimization: Your Language Model is Secretly a Reward Model”：介紹了一種新的優(yōu)化方法，直接優(yōu)化語言模型以符合人類偏好。
杰出數(shù)據(jù)集和基準(zhǔn)軌道論文：
“ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation”：介紹了一個大型、多尺度的數(shù)據(jù)集，用于物理機器學(xué)習(xí)氣候模擬。
“DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models”：提出了一個全面評估GPT模型可信度的基準(zhǔn)。
此外，"Distributed Representations of Words and Phrases and their Compositionality" 獲得了“時間測試獎”，這是2013年NeurIPS論文，介紹了word2vec這一開創(chuàng)性的詞嵌入技術(shù)。
主題分享：
NeurIPS 2023的組織委員會宣布了本年度的主題演講嘉賓及日程安排。會議期間每天的主程序中都有兩場邀請演講，會議開幕日（周一）有一常所有主題演講都將在F廳進行，并計劃于1月底向公眾開放錄像。
以下是一些亮點演講及其簡介：
周一 - Bjrn Ommer:
主題：“NextGenAI: The Delusion of Scaling and the Future of Generative AI”，探討了深度生成模型在計算機視覺和學(xué)習(xí)中的變革性作用及其對未來交互方式的影響。
周二 - Lora Aroyo:
主題：“The Many Faces of Responsible AI”，討論了在機器學(xué)習(xí)中將數(shù)據(jù)多樣性和文化意識融入AI系統(tǒng)以提升其可信度和安全性。
周二 - Linda Smith:
主題：“Coherence statistics, self-generated experience and why young humans are much smarter than current AI”，展示了嬰幼兒日常生活經(jīng)驗的自然一致性結(jié)構(gòu)如何促進從稀疏數(shù)據(jù)和一次性經(jīng)驗中快速學(xué)習(xí)和創(chuàng)新推廣。
周三 - Jelani Nelson:
主題：“Sketching: core tools, learning-augmentation, and adaptive robustness”，介紹了數(shù)據(jù)“草圖”的核心工具和最新進展，以及如何增強草圖算法的性能保證。
周三 - 超越規(guī)模化小組討論:
主持人：Alexander Rush，與Aakanksha Chowdhery、Angela Fan、Percy Liang和Jie Tang等人進行討論。
周四 - Christopher Ré:
主題：“Systems for Foundation Models, and Foundation Models for Systems”，探討了基礎(chǔ)模型如何改變我們構(gòu)建的系統(tǒng)，并介紹了新型架構(gòu)。
周四 - Susan Murphy:
主題：“Online Reinforcement Learning in Digital Health Interventions”，討論了在線強化學(xué)習(xí)算法在數(shù)字健康干預(yù)中的應(yīng)用及挑戰(zhàn)。
大廠的參與：
在NeurIPS 2023上，Google DeepMind將展示其180多篇論文和多項前沿AI模型演示，涉及全球天氣預(yù)測、材料發(fā)現(xiàn)和AI生成內(nèi)容水印等領(lǐng)域。他們還將展示最大且最強大的AI模型Gemini。研究重點包括跨模態(tài)學(xué)習(xí)、AI安全性、可解釋性以及通用AI系統(tǒng)的發(fā)展。例如，UniSim是一個模擬現(xiàn)實世界互動的通用模擬器，而Tracr是一種新的解釋性方法評估工具。此外，DeepMind還將展示其對全球AI社區(qū)的支持，包括支持多元化AI和機器學(xué)習(xí)社區(qū)的發(fā)展。
在NeurIPS 2023上，微軟展示了8篇研究論文，涵蓋從自動生成文本到機器翻譯、文本圖像生成、無監(jiān)督機器翻譯的理論，以及離線強化學(xué)習(xí)等多個領(lǐng)域。這些研究探討了AI/ML技術(shù)的最新進展，包括如何提高模型的性能、可解釋性和魯棒性。其中一個重要的創(chuàng)新是AR-Diffusion模型，用于文本生成，還有針對長期模型編輯的GRACE方法，以及互動估計的新概念和度量標(biāo)準(zhǔn)。
在NeurIPS 2023，微軟展示了以下8篇論文：
AR-Diffusion: 擴展擴散模型到文本生成，通過自回歸擴散改進順序結(jié)構(gòu)處理。
Dissecting In-Context Learning of Translations in GPTs: 探索在GPT模型中通過上下文顯示翻譯的重要性。
TextDiffuser: 通過兩步流程改進圖像中的文本生成，使用擴散模型創(chuàng)建圖像。
A Theory of Unsupervised Translation: 提出一種框架分析無監(jiān)督機器翻譯，尤其是在源語言和目標(biāo)語言不相關(guān)時。
(S)GD over Diagonal Linear Networks: 研究梯度下降和隨機梯度下降中的隨機性和步長對對角線性網(wǎng)絡(luò)的正則化影響。
Adversarial Model for Offline Reinforcement Learning: 引入ARMOR，一種新的離線強化學(xué)習(xí)框架，通過對抗性訓(xùn)練提高策略。
Aging with GRACE: 提出GRACE方法，作為一種長期模型編輯技術(shù)，通過在流錯誤中進行局部修正。
A Unified Model and Dimension for Interactive Estimation: 探索互動估計概念和新的不相似度維度度量，了解其學(xué)習(xí)框架中的易用性。
NeurIPS 2023 顯著地表現(xiàn)出了AI研究領(lǐng)域的最新趨勢和發(fā)展。與往年相比，這一屆NeurIPS的一些關(guān)鍵特點和變化包括：
論文數(shù)量和參與度的增加：2023年，NeurIPS接收了3,584篇論文，舉辦了14個教程和58個研討會。與過去相比，這反映了AI領(lǐng)域的顯著增長和研究活動的增加。
作者數(shù)量的增長：2023年的平均論文作者數(shù)增加到了4.98，而2022年為4.66。過去十年中，每篇論文的作者數(shù)量持續(xù)增加，十年間增長超過50%
2024年，AI會走向何處呢？
