12月4日上午，beat365在第二教學樓開展第二期“計星啟程”師生面對面交流活動。本次活動邀請beat365助理教授唐浩老師與多位研究生深入交流，beat365團委書記于丹老師、李胤君老師一同參加。

第二期“計星啟程”師生面對面活動合影

師生圍繞大模型研究、AI for Science、跨學科合作及學術職業規劃等主題展開讨論。唐浩老師提出優化模型效率、開發小型專用模型、知識蒸餾等多種解決方案，以應對大模型研究中的資源受限問題，并針對多模态研究及MOE方法改進等具體問題給出可行建議，鼓勵學生從任務需求出發，深入挖掘研究痛點，推動創新突破。唐浩老師表示，AI技術在AIGC、虛拟人、教育等面向消費者的領域具有巨大潛力，同時AI for Science領域也蘊含長遠價值，建議學生在計算機領域建立科研基礎後探索交叉學科方向。随後，唐浩老師分享了自己從博士求學到回國任教的心路曆程，建議同學們專注當下，踏實積累，積極參與國際交流以開闊視野，可根據個人性格與目标選擇适合的科研環境。

唐浩老師與學生們親切交流

本次訪談交流活動激發了學生對研究方向和未來發展的深入思考，參與師生一緻表示将進一步加強互動與合作，攜手推動人工智能領域的學術研究與實踐邁向更高水平。

部分精選師生對話：

吳钰晗同學：訓練大模型解答化學競賽題遇到了題目中圖片理解的瓶頸，想詢問您的建議，以及這個任務上的模型訓練提升是否能泛化，對AI for science或相關領域有所增益？

唐浩老師：針對化學競賽題中圖片理解的瓶頸，建議嘗試提升模型的多模态能力，特别是結合文本與圖像數據的處理。這可以通過引入多模态模型架構（如 CLIP 或 BLIP）和針對化學領域定制的預訓練任務來實現。在訓練過程中，可以利用強化學習（如基于人類反饋的強化學習，RLHF）進一步優化模型，使其在化學領域的推理能力得到增強。此外，構建一個高質量的化學題目多模态數據集（包括化學結構圖、反應式和題幹文本等）也非常關鍵，這将有助于模型更好地理解和泛化化學知識。

關于任務提升的泛化性，解決化學競賽題的能力對 AI for Science 和其他相關領域有顯著增益。例如：（1）科學教育：模型解題能力可以幫助學生更高效地學習化學，同時輔助教育領域的智能化發展，比如自動化作業批改和個性化學習路徑規劃。（2）科學研究：化學解題能力的提升可以擴展到化學反應預測、新材料設計等領域，為科研工作者提供高效工具。（3）跨學科應用：多模态能力和推理機制的增強對生物化學、材料科學、甚至藥物開發領域的複雜問題求解都有潛在幫助。

因此，這不僅是一個教育應用的機會，更是一個推動 AI for Science 發展的方向。建議從小規模多模态數據集開始試驗，逐步擴展至更複雜的化學場景，為模型性能提升和應用探索奠定基礎。

王曉東同學：目前我主要在做代碼理解和GUI理解方面的測試工作，目标是将手機上的界面信息有效提取出來，提供給大模型。使用AI來驅動并訓練專用的多模态模型可能更高效。模型生成方面，需要您的專業指導，如何将技術和代碼結合起來？圖像理解方面，GUI由許多元素組成，涉及到分辨性和尺度的問題，需要在處理這些方面時予以考慮。

唐浩老師：處理尺度問題時，多尺度特征表達是一種常用且有效的解決方案。這種方法的核心是針對不同尺度分别提取特征，并将這些特征進行融合。例如，對于一張大圖，可以首先在大尺度上提取整體特征，然後将圖像縮小一半，在中尺度上提取細節特征，再進一步縮小，在更小的尺度上提取更精細的特征。多次重複這一過程，我們可以獲得不同尺度的特征表達，并将這些特征融合起來，形成最終的綜合特征用于識别或分析。這種方法與 Swing Transformer 的滑動窗口機制類似，非常适合多尺度表征學習。具體到 GUI 理解，界面通常由許多不同層次的元素組成——從整體布局到具體按鈕和文本。因此，多尺度方法可以幫助我們在不同分辨率下捕捉這些元素的特征，從全局到局部，實現更全面的理解。

此外，結合多模态模型，如圖像與文本的聯合理解，我們可以将多尺度特征作為輸入，配合模型的注意力機制，進一步提升對 GUI 信息的提取和理解效率。通過這種方式，可以更高效地将提取的界面信息提供給大模型，滿足多模态任務的需求。

“計星啟程”師生面對面交流活動

通過采訪beat3652024年新入職教師，宣傳展示新入職老師的研究方向與科研成果，幫助廣大學生了解學院新入職教師們的科研方向及亮點，方便學生自主科學地選擇課程及導師，堅定科研方向。同時進一步加強年輕教師與學生們的溝通，形成學-研-教融合的有機體系，助力學院學科建設高質量發展。

文案：彭亦男

審核：于丹 李胤君