beat365官方网站、前沿計算研究中心助理教授孔雨晴撰寫的論文“Dominantly Truthful Peer Prediction Mechanisms with a Finite Number of Tasks.”被Journal of the ACM在線接收 [1] 。Journal of the ACM, 簡稱J. ACM,為美國計算機學會ACM的綜合性頂刊,涵蓋了計算機科學領域最重要 (the most significant)、有長期價值 (lasting value) 的工作。要被接受,一篇論文必須被認為在其領域内真正傑出 (To be accepted, a paper must be judged to be truly outstanding in its field.) [2]。

本論文的研究内容如下:在人工智能和區塊鍊領域,獲得高質量的主觀信息極為重要。對于人工智能,這種信息有助于提高訓練模型的準确性。在區塊鍊中,高質量信息确保智能合約的有效執行和交易的公正性。然而,獲得高質量的主觀信息并不是一件容易的事情,由于我們無法驗證主觀信息,獲得信息的質量和真實性可能很難判斷。考慮下面的例子:“你喜歡我寫的這篇科幻小說嗎?” “喜歡。” 但事實上,你可能并不喜歡。為了激勵你說真話,我們将設計激勵機制。如果你說你喜歡,機制将給你x元,如果你說你不喜歡,機制将給你y元。然而,稍微分析一下,我們将知道不管怎麼設計x和y,這個激勵機制都是失效的。如果x>y,你将一直說喜歡,即使你不喜歡,如果x<y,你将一直說不喜歡,即使你喜歡。然而如果增加一個人答題,且考慮多個類似的問題 (例如“你喜歡1号小說嗎?”,“你喜歡2号小說嗎?”,“你喜歡3号小說嗎?”等等),過去的工作設計出了誠實占優的激勵機制——對于任意個體,不管其他人如何,誠實永遠是她的最優策略。然而這些機制又面臨着可行性問題——它們需要詢問機制參與者無窮多道問題。因此,一個重要的開放性問題産生:是否存在誠實占優機制隻需要詢問機制參與者有限道問題?
本篇工作回答了以上的開放問題,并設計了一系列隻需要有限道問題的誠實占優機制。其核心技術是本文設計的一系列新的信息度量——它們既滿足信息單調性也是多項式形式,因此可以通過有限樣本進行無偏估計。其中最簡單的信息度量——行列式互信息——引出的行列式互信息機制在二項問題上隻需要2人4題就可以達到誠實占優的性質。
本篇工作設計的機制也已被若幹美國區塊鍊公司[3]應用于鍊上信息的收集與激勵,除了目前的應用外,以上機制也可以用于激勵高質量數據标注。準确的訓練數據标注對于訓練模型至關重要。通過利用以上機制,公司和研究人員可以建立有效的激勵結構,鼓勵個人提供準确可靠的數據标簽,從而提高包含大語言模型在内的數據驅動模型的質量和可靠性。希望以上機制可以在未來助力更多數據驅動的、去中心化的應用場景和平台。
[1] Yuqing Kong. 2023. Dominantly Truthful Peer Prediction Mechanisms with a Finite Number of Tasks. J. ACM Just Accepted (December 2023). https://doi.org/10.1145/3638239
[2] https://dl.acm.org/journal/jacm
[3] https://medium.com/upshothq/introducing-upshot-one-a-q-a-protocol-58dd4ba0d612