附近上门阿里开源超强多模态模子！70亿参数干翻谷歌，看一眼秒出食谱，还能视频聊天

发布日期：2025-03-28 20:14 点击次数：75

作家 | 陈骏达剪辑 | 心缘附近上门

智东西3月27日报谈，今天，阿里巴巴通义千问发布了新一代端到端多模态旗舰模子Qwen2.5-Omni-7B。这一模子好像及时处治文本、图像、音频和视频等多种输入神志，并通过及时流式反馈同期生成文本与当然语音合成输出。

该模子现已在Hugging Face、魔搭、DashScope和GitHub上开源，继承宽松的Apache 2.0开源左券，模子论文也全面开源，详解了背后的时刻细节。同期，用户可以在Demo中体验互动功能，或是在Qwen Chat中像打电话或视频通话雷同与Qwen聊天。

千问团队称，Qwen2.5-Omni继承了全新的Thinker-Talker架构，撑捏跨模态融会和流式文本、语音反馈，撑捏分块输入和即时输出。

在与同等限制的模子进行基准测试相比时，Qwen2.5-Omni进展出一定上风，并跳动了Gemini 1.5 Pro和GPT-4o-mini等闭源模子。

Qwen2.5-Omni在音频材干上优于雷同大小的Qwen2-Audio，并与Qwen2.5-VL-7B保捏同等水平。在泰斗多模态融会测试OmniBench上，Qwen2.5-Omni赢得了SOTA进展，杰出Gemini 1.5 Pro，进步幅度达30.8%。

Qwen2.5-Omni在端到端语音领导随同方面进展出与文本输入处治雷同的成果，在MMLU通用学问融会和GSM8K数学推理等基准测试赢得了可以的收获。

开源地址：https://huggingface.co/Qwen/Qwen2.5-Omni-7B

论文地址：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf

Demo体验：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo

一、全模态及时交互，看一眼食材秒出食谱

在博客著述中附近上门，千问团队放出了多个Qwen2.5-Omni在践诺全国多模态场景中的测试案例。

当今，台湾SWAGQwen2.5-Omni共有Cherry和Ethan两种语音可供遴荐。Cherry音色对应的是女声，Ethan音色对应的是男声。从听感来看，这两种语音确实、当然，会在话语时加入停顿、口吻词等本色。

Qwen2.5-Omni能在场景中及时处治、分析多模态本色。

举例，鄙人厨时，可以拿着食材研讨通义应该怎样处治，或是环顾厨房里的调料，看究竟应该用哪些调料，可谓是厨房小白福音了。

Qwen2.5-Omni能听懂音乐，判断歌曲是什么格调，继承了何种调子，并提倡对原创歌曲歌词、节拍等方面的见解。

在绘制时，Qwen2.5-Omni可以字据草图判断绘制本色，还能给出画面的构图建议。

此外，Qwen2.5-Omni还可以在户外场景判断天气、在学习场景中援助解题、论文阅读，具备较好的通用多模态材干。

二、自研端到端架构，赢得多模态融会基准测试SOTA

Qwen2.5-Omni继承Thinker-Talker双核架构。Thinker模块如同大脑，留心处治文本、音频、视频等多模态输入，生成高层语义表征及对应文本本色。

Talker模块则雷同发声器官，以流式模式秉承Thinker及时输出的语义表征与文本，流通合成闹翻语音单位。

Thinker基于Transformer解码器架构，会通音频/图像编码器进行特征索求；Talker则继承双轨自归来Transformer解码器策画，在磨真金不怕火和推理进程中径直秉承来自Thinker的高维表征，并分享一起历史凹凸文信息，酿成端到端的息争模子架构。

千问团队还提倡了一种新的位置编码时刻，称为TMRoPE（Time-aligned Multimodal RoPE），通落后间轴对王人齐备视频与音频输入的同步。

在多项基准测试中，Qwen2.5-Omni在包括图像，音频，音视频等多样模态下的进展都优于雷同大小的单模态模子以及闭源模子。

值得一提的是，在多模态融会基准测试OmniBench上，Qwen2.5-Omni达到了SOTA进展，其得分为56.13%，跳动第2名Gemini 1.5 Pro的42.91%。

在视频到文本任务上，Qwen2.5-Omni也跳动了蓝本的开源SOTA模子和GPT-4o-mini。

在其他基准测试中，如语音识别（Common Voice）、翻译（CoVoST2）、音频融会（MMAU）、图像推理（MMMU、MMStar）、视频融会（MVBench）以及语音生成（Seed-tts-eval和主不雅当然听感），Qwen2.5-Omni的收获均跳动了Qwen家眷的其他单模态模子。

结语：更弘大的Qwen2.5-Omni还在路上

Qwen2.5-Omni-7B还是发布便赢得海表里用户的祥和，有不少网友已经开启了催更模式，比如加多对小语种的撑捏、开拓千问外洋App，或是与智能眼镜等硬件相聚。

据千问团队先容，将来，他们还会发布材干更强、速率更快的模子，并膨胀其多模态输出材干附近上门，涵盖图像、视频和音乐等多种神志。

附近上门 阿里开源超强多模态模子！70亿参数干翻谷歌，看一眼秒出食谱，还能视频聊天