3月27日清晨,阿里阿里巴巴發布并開源首個端到端全模態大模型通義千問Qwen2.5-Omni-7B,開源可一起處理文本、全模圖畫、模型音頻和視頻等多種輸入,阿里并實時生成文本與天然語音組成輸出。開源在威望的全模多模態交融使命OmniBench等測評中,Qwen2.5-Omni改寫業界紀錄,模型全維度遠超Google的阿里Gemini-1.5-Pro等同類模型。Qwen2.5-Omni以挨近人類的開源多感官方法「立體」認知國際并與之實時交互,還能經過音視頻辨認心情,全模在雜亂使命中進行更智能、模型更天然的阿里反應與決議計劃?,F在,開源開發者和企業可免費下載商用Qwen2.5-Omni,全模手機等終端智能硬件也可輕松布置運轉。
圖示 功能測評比照。
Qwen2.5-Omni采用了通義團隊全新創始的Thinker-Talker雙核架構、Position Embedding (方位嵌入)交融音視頻技能、方位編碼算法TMRoPE(Time-aligned Multimodal RoPE)。雙核架構Thinker-Talker讓Qwen2.5-Omni具有了人類的“大腦”和“發聲器”,形成了端到端的一致模型架構,完成了實時語義了解與語音生成的高效協同。詳細而言,Qwen2.5-Omni支撐文本、圖畫、音頻和視頻等多種輸入方式,可一起感知一切模態輸入,并以流式處理方法實時生成文本與天然語音呼應。
得益于上述打破性立異技能,Qwen2.5-Omni在一系列平等規劃的單模態模型威望基準測驗中,展示出了全球最強的全模態優異功能,其在語音了解、圖片了解、視頻了解、語音生成等范疇的測評分數,均領先于專門的Audio或VL模型,且語音生成測評分數(4.51)達到了與人類相等的才能。
相較于動輒數千億參數的閉源大模型,Qwen2.5-Omni以7B的小尺度讓全模態大模型在工業上的廣泛使用成為可能。即使在手機上,也能輕松布置和使用Qwen2.5-Omni模型。當時,Qwen2.5-Omni已在魔搭社區和Hugging Face 同步開源,用戶也可在Qwen Chat上直接體會。
從2023年起,阿里通義團隊就連續開發了掩蓋0.5B、1.5B、3B、7B、14B、32B、72B、110B等參數的200多款「全尺度」大模型,包括文本生成模型、視覺了解/生成模型、語音了解/生成模型、文生圖及視頻模型等「全模態」,真實完成了讓普通用戶和企業都用得上、用得起AI大模型。到現在,海內外AI開源社區中千問Qwen的衍生模型數量打破10萬,逾越美國Llama系列模型,是公認的全球榜首開源模型。