近日，煙臺(tái)大學(xué)計(jì)算機(jī)與控制工程學(xué)院童向榮教授團(tuán)隊(duì)的最新研究成果被國(guó)際多源信息融合頂級(jí)期刊《Information Fusion》（INFFUS）錄用，論文題目為“Dual-layer cross-modal alignment recommendation based on the diffusion model”。根據(jù)2025年發(fā)布的中科院期刊分區(qū)表顯示，Information Fusion是中科院1區(qū)Top期刊，其最新JCR影響因子達(dá)15.5。
多模態(tài)對(duì)齊是人工智能領(lǐng)域的研究熱點(diǎn)。現(xiàn)有多模態(tài)推薦系統(tǒng)能有效整合用戶(hù)行為、產(chǎn)品圖像和文本等多模態(tài)信息，但在多模態(tài)對(duì)齊過(guò)程中容易產(chǎn)生語(yǔ)義偏差，導(dǎo)致用戶(hù)行為信息丟失。針對(duì)上述問(wèn)題，童向榮教授團(tuán)隊(duì)提出了一種基于擴(kuò)散模型的雙層跨模態(tài)對(duì)齊推薦方法，有效平衡且對(duì)齊多模態(tài)數(shù)據(jù)，系統(tǒng)架構(gòu)如圖所示。
研究團(tuán)隊(duì)創(chuàng)新性地提出了兩項(xiàng)關(guān)鍵技術(shù)：一是在統(tǒng)一的訓(xùn)練框架下，同時(shí)處理不同質(zhì)量的模態(tài)，并根據(jù)各模態(tài)在推薦任務(wù)中的貢獻(xiàn)度，為每個(gè)模態(tài)賦予不同的權(quán)重，從而更加精確地反映用戶(hù)對(duì)各模態(tài)的偏好程度。二是提出雙層跨模態(tài)對(duì)齊機(jī)制，在特征對(duì)齊層，通過(guò)對(duì)不同模態(tài)特征空間的對(duì)齊，減少模態(tài)特征分布差異帶來(lái)的干擾；在行為對(duì)齊層中，引入用戶(hù)行為信息，使特征對(duì)齊后可能產(chǎn)生語(yǔ)義偏差的特征進(jìn)一步向用戶(hù)和項(xiàng)目真實(shí)嵌入對(duì)齊，從而優(yōu)化項(xiàng)目的統(tǒng)一表示。
該研究成果以煙臺(tái)大學(xué)為第一單位，研究生修玉涵為第一作者，童向榮為通訊作者。團(tuán)隊(duì)在推薦系統(tǒng)方向的研究上已形成系列研究成果，一年來(lái)，煙臺(tái)大學(xué)為第一單位、童向榮為通訊作者已發(fā)表3篇中科院1區(qū)Top期刊論文，促進(jìn)了該領(lǐng)域的發(fā)展。研究工作獲得國(guó)家自然科學(xué)基金、山東省基金、煙臺(tái)市基金的支持。
來(lái)稿時(shí)間：7月17日 審核：劉俞斌 責(zé)任編輯：徐揚(yáng)
