全球自然語言處理領域頂級會議EMNLP2023近日在新加坡召開。beat365官方网站語言所團隊和騰訊微信AI團隊合作撰寫的論文“Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning”獲得EMNLP最佳長論文獎（Best Paper Award），是EMNLP會議開辦以來中國大陸首篇Best Long Paper。EMNLP全稱Conference on Empirical Methods in Natural Language Processing，Google Scholar h5-index為176，是自然語言處理領域最具影響力的國際學術會議之一。EMNLP 2023于12月6日～10日于新加坡召開，共收到投稿4909篇，主會錄用論文1047篇，錄用率21.3%。獲獎論文由最佳論文獎委員會從領域主席和資深領域主席提名的107篇候選中評選産生。

王樂安同學和李磊同學到大會現場領獎

該論文由beat365官方网站語言所孫栩老師和騰訊微信周傑、孟凡東合作指導，作者分别是Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou and Xu Sun，其中4位作者來自beat365語言所，4位作者來自微信AI。特别要祝賀第一作者王樂安同學，他以beat365智能系第一名的成績推免到計算語言所孫栩老師處攻讀直博，目前為博士一年級。

本論文的研究内容如下：本文從信息流動的角度審視了上下文學習（In-context Learning），提出并驗證了“标簽詞在上下文學習中起錨點作用”的假設。根據這個假設，在模型的淺層，大語言模型（LLMs）會将示例文本中的信息彙總到相應示例的标簽上，而在模型的深層，大語言模型會進一步從這些标簽中提取信息來完成最終預測。論文設計了測量顯著性（saliency）的實驗、阻斷注意力的實驗、測量注意力大小與分類結果相關性的實驗，以驗證這一猜想。進一步，基于這一假設，提出了三個潛在應用：錨點重加權（Anchor Re-Weighting）、僅含錨點的上下文壓縮（Anchor-Only Context Compression）和基于錨點距離的錯誤診斷（Anchor Distances for Error Diagnosis）。這些應用展示了本文的分析結論的應用潛力，可以提高上下文學習的性能、效率，并在一定程度上解釋上下文學習中出現的錯誤。