SIGMOD會議是數據庫領域最具影響力的國際學術會議，與VLDB和ICDE并稱為數據庫領域的三大頂級會議。崔斌教授課題組發表于SIGMOD 2024的論文《CAFE: Towards Compact, Adaptive, and Fast Embedding for Large-scale Recommendation Models》榮獲了SIGMOD24 Honorable Mention for Best Artifact Award，該獎項每年授予至多三篇文章，旨在表彰那些在可複現性、靈活性和可移植性方面表現卓越的研究工作。

論文信息：

CAFE: Towards Compact, Adaptive, and Fast Embedding for Large-scale Recommendation Models. Proceedings of the International Conference on Management of Data (SIGMOD), 2024.

作者：Hailin Zhang, Zirui Liu, Boxuan Chen, Yikai Zhao, Tong Zhao, Tong Yang, and Bin Cui.

論文鍊接：https://dl.acm.org/doi/10.1145/3639306

代碼地址：https://github.com/PKU-DAIR/CAFE

關鍵詞：Embedding; Deep Learning Recommendation Model; Sketch

導讀

近年來，深度學習推薦模型（DLRM）中嵌入表的内存需求不斷增長，給模型訓練和部署帶來了巨大的挑戰。現有的嵌入壓縮解決方案無法同時滿足三個關鍵設計要求：高内存效率、低延遲和動态數據分布的适應性。本文提出了CAFE，一種緊湊、自适應和低延遲的嵌入壓縮框架，可以同時滿足上述要求。CAFE的設計理念是動态地為重要的特征（稱為熱特征）分配更多的内存資源，為不重要的特征分配更少的内存。在CAFE中，我們提出了一種快速且輕量級的草圖數據結構，名為HotSketch，用于捕獲特征重要性并實時識别熱特征。對于每個熱特征，我們為其分配唯一的嵌入；對于非熱門特征，我們使用哈希嵌入技術允許多個特征共享一個嵌入。在該設計理念下，我們進一步提出了多級哈希嵌入框架來優化非熱門特征的嵌入表。我們從理論上分析了HotSketch的準确性，并分析了模型的收斂性。實驗表明，CAFE顯着優于現有的嵌入壓縮方法，在10000倍的壓縮比下，在Criteo Kaggle數據集和CriteoTB數據集上的測試AUC分别提高了3.92%和3.68%。

圖1. CAFE示意圖

崔斌教授課題組（PKU-DAIR實驗室）長期從事數據庫系統、大數據管理與分析、人工智能系統等領域的前沿研究，在理論和技術創新以及系統研發上取得多項成果，已在國際頂級學術會議和期刊發表學術論文200餘篇，發布多個開源項目。課題組同學曾數十次獲得包括中國計算機學會優博、人工智能學會優博、ACM中國優博、北京市優博、beat365優博、微軟學者、蘋果獎學金、谷歌獎學金、字節獎學金等榮譽。實驗室持續與工業界展開卓有成效的合作，與騰訊、阿裡巴巴、字節、百度、蘋果、微軟等多家知名企業開展項目合作和前沿探索，解決實際問題，進行科研成果的轉化落地。