目前，許多大學(xué)都秉承全面綜合審查的理念。
在美國大學(xué)招生咨詢協(xié)會（NACAC）最近的一項調(diào)查中，70% 的招生官表示，在選擇申請者時，他們認(rèn)為個人品質(zhì)是一個重要的因素。
然而，現(xiàn)實中的審查并不能確保公平，并且招生工作也受到相關(guān)資源的限制。
為應(yīng)對上述挑戰(zhàn)，賓夕法尼亞大學(xué) Benjamin Lira 領(lǐng)導(dǎo)的研究團(tuán)隊訓(xùn)練了一個名為“Robustly Optimized BERT Pretraining Approach（RoBERTa）”的語言模型，用于審查入學(xué)申請者課外或工作中的論文，并尋找其中蘊含的 7 種個人品質(zhì)。
研究結(jié)果表明，基于人工評分訓(xùn)練的 AI 模型能在幾分鐘內(nèi)生成數(shù)百萬個個人品質(zhì)分?jǐn)?shù)，精確地復(fù)制人工評分，而且具有可解釋性和公平性。
相關(guān)研究論文以“Using artificial intelligence to assess personal qualities in college admissions”為題，已發(fā)表到 Science 子刊 Science Advances 上。
然而，研究團(tuán)隊也強調(diào)：“沒有算法能夠決定大學(xué)入學(xué)過程的目標(biāo)，或者哪些個人品質(zhì)最重要，在自動化審查過程之前需要大學(xué)明確其入學(xué)目標(biāo)。”
AI 成功識別個人品質(zhì)
在許多大學(xué)中，全面綜合審查已經(jīng)成為一種廣泛采用的招生評估方法，該方法將個人品質(zhì)視為至關(guān)重要的考量。人們認(rèn)為該方法可以促進(jìn)公平，因為它允許申請者展示非認(rèn)知技能和品格，而這些在標(biāo)準(zhǔn)化考試中無法反映出來。
然而，歷史上的案例顯示，綜合審查制度也可能帶來不公平，特別是在評估標(biāo)準(zhǔn)不明確、缺乏解釋或披露的情況下。當(dāng)前的綜合審查缺乏透明度，招生官員主要依賴個人陳述來評估申請者的品質(zhì)，但這些細(xì)節(jié)對于申請者和公眾來說仍然不清晰。
改進(jìn)綜合審查的方法包括采用更透明和系統(tǒng)化的評估方法，使用結(jié)構(gòu)化的評分標(biāo)準(zhǔn)，以及進(jìn)行多次獨立的評估。這些建議體現(xiàn)了心理測量原則的應(yīng)用，可以提高評估的可靠性、有效性和可解釋性，從而減少潛在的偏見。
然而，現(xiàn)實中依然存在問題，主要包括大學(xué)招生官面臨不斷增加的申請數(shù)量，時間和資源的限制。如果資源無限，那么可以更好地優(yōu)化評估，實現(xiàn)更大的公平性。
在這項研究中，團(tuán)隊借助 AI 技術(shù)開發(fā)了一種能更好地評估個人品質(zhì)的方法。首先，他們選取了去標(biāo)識化的 309594 份大學(xué)申請樣本，每份申請都包括一篇 150 字的論文，描述申請者選擇的課外活動或工作。
接下來，研究人員和招生人員選取了其中的 3131 篇論文用來訓(xùn)練語言模型RoBERTa。他們在申請者的論文中尋找他們是否具有以下 7 種品質(zhì)：學(xué)習(xí)能力、毅力、目標(biāo)追求、團(tuán)隊合作、內(nèi)在動力、領(lǐng)導(dǎo)能力和利他目標(biāo)，而這些品質(zhì)可以幫助確定哪些申請者最有可能在大學(xué)中成功。
最后，研究人員將這些微調(diào)的模型用于審查另外 306463 篇文章，并為每篇文章打分。
結(jié)果發(fā)現(xiàn)，研究人員和招生人員在每篇文章中都找到了七種個人品質(zhì)中的證據(jù)。有些個人品質(zhì)比其他更常見。例如，他們分別在 42% 和 44% 的文章中識別出了“領(lǐng)導(dǎo)能力”；相比之下，他們只在 19% 和 21% 的文章中識別出了“毅力”。
AI 輔助判斷，而不是取代
然而，這項研究也存在一定的局限性。
首先，研究未包括 Common Application 所要求的個人陳述，這限制了研究的廣度。未來的研究應(yīng)考慮包括這一要素，尤其是考慮到近期申請人的個人陳述是以 PDF 附件形式提交的。
其次，數(shù)據(jù)集中的高中 GPA 僅基于一小部分申請人，這可能影響研究的代表性。未來的研究需要更多關(guān)注如何獲取更多可用數(shù)據(jù)。
第三，個人品質(zhì)對大學(xué)畢業(yè)的預(yù)測效應(yīng)在適度程度上較高，但這只是相對于標(biāo)準(zhǔn)化考試成績來說。長期生活結(jié)果的預(yù)測具有復(fù)雜性，需要考慮多種因素。未來研究可以探索其他未考慮的因素，如學(xué)費支付、學(xué)術(shù)準(zhǔn)備和支持等。
第四，研究僅關(guān)注大學(xué)畢業(yè)作為結(jié)果，而未考慮其他成功方面，如 GPA、課外活動和社區(qū)貢獻(xiàn)。這需要更廣泛的共識，優(yōu)化大學(xué)入學(xué)決策的目標(biāo)和實施方式。未來的研究可以考慮更多方面的成功和其對個人品質(zhì)的影響。
因此，本次研究對全面審查和選擇性入學(xué)的當(dāng)前狀況帶來了批判性的觀點。未來的研究和實踐應(yīng)該集中于在自動化流程之前明確全面審查的目標(biāo)。
另外，研究還發(fā)現(xiàn)，坎貝爾定律表明，在高風(fēng)險決策中（與低風(fēng)險研究相對），對評估賦予的權(quán)重越大，就越容易引發(fā)扭曲的動機。例如，申請者可能會嘗試塑造自己的論文，也許使用 AI 工具（如 ChatGPT），來迎合招生官和訓(xùn)練的算法的要求。
值得注意的是，算法也會犯錯，特別是在尋找模式方面。例如，該研究微調(diào)的 RoBERTa 模型為句子“I donated heroin to the children’s shelter”（我向兒童收容所捐贈了海洛因）賦予了極高的社會目標(biāo)分?jǐn)?shù)。
因此，該研究建議使用 AI 來輔助而不是替代人工判斷。沒有算法能夠決定大學(xué)入學(xué)流程的目標(biāo)，或者哪些個人品質(zhì)最為重要。將算法視為人工判斷的補充而不是替代，也可以應(yīng)對算法回避的問題，即在有矛盾證據(jù)的情況下，人們更傾向于信任人工決策者而不是算法。
