Qwen3.5 原生多模态 Agent 深度实测:从 QVQ 到全能 AI 员工的进化之路

Qwen3.5 原生多模态 Agent 深度实测:从 QVQ 到全能 AI 员工的进化之路

从 QVQ 到 Qwen3.5:一条被低估的进化路线

2024 年初,通义千问团队发布了 QVQ-72B-Preview,一个专注于视觉推理的实验性模型。它能看懂复杂的数学图表、物理示意图,并给出带思维链的推理过程——但仅限于”看图说话”。

两年后的今天,Qwen3.5 把这条线索彻底拉直了:原生多模态 + Agent 能力 + 开源开放权重,三位一体。

这不是简单的版本升级。Qwen3.5-397B-A17B 用了一个极其聪明的架构:397B 总参数,但每次前向传播只激活 17B。通过 Gated Delta Networks(线性注意力)和稀疏专家混合(Sparse MoE)的融合,它在保持旗舰级能力的同时,把推理成本压到了 GPT-4o 的三分之一。

关键数据速览:

指标QVQ-72B (2024)Qwen3.5-397B-A17B (2026)
总参数72B397B
激活参数72B(全量)17B(稀疏激活)
模态视觉 + 文本原生多模态(视觉 + 文本 + 代码 + 工具)
Agent 能力无内置工具调用 + 代码执行 + 浏览器操作
上下文窗口32K1M(Plus 版本)
开源权重否(Preview)✅ 开放权重
语言支持中英为主201 种语言/方言

原生多模态:不是”拼接”,是”融合”

市面上大多数”多模态”模型其实是后期拼接——先有一个文本 LLM,再接一个视觉编码器(如 CLIP),通过适配器层把图像特征注入文本流。这种方式的问题是:视觉信息和文本信息在深层表示中始终是”两张皮”。

Qwen3.5 的”原生”体现在:视觉和文本从预训练阶段就共享同一个 Transformer 骨干。模型不是”学会看图片”,而是”从一开始就同时理解图片和文字”。

实测:复杂图表理解

我给它扔了一张包含 3 个子图的学术论文截图(折线图 + 热力图 + 散点图),要求提取关键结论:

用户:请分析这张论文截图中的三个子图,提取核心结论。

Qwen3.5:
图(a) 折线图显示:训练损失在 epoch 15 后趋于收敛,
最终验证 loss 为 0.234,比基线方法低 12.7%。

图(b) 热力图揭示:特征维度 32-48 和 96-112 存在显著的
激活聚集现象,说明模型学到了层次化的空间表示。

图(c) 散点图表明:t-SNE 可视化中类别边界清晰,
silhouette score 达到 0.81,显著优于对比方法的 0.67。

综合结论:该方法在特征学习的区分度和收敛速度上
均有显著提升,尤其在中等复杂度样本上优势明显。

关键观察:它不是简单描述”图中有什么”,而是跨子图关联分析——把折线图的收敛趋势和散点图的聚类质量联系起来,给出综合判断。这种推理能力是 QVQ 时代不具备的。

实测:代码生成 + 视觉反馈

更厉害的是它能看图写代码,再根据代码输出调整逻辑:

# 用户:根据这张 UI 截图,生成对应的 CSS 布局代码
# 截图显示:一个三栏布局,左侧导航 240px,中间内容区自适应,右侧信息栏 320px

Qwen3.5 生成的代码:
.dashboard-layout {
  display: grid;
  grid-template-columns: 240px 1fr 320px;
  gap: 16px;
  min-height: 100vh;
}

.sidebar-nav {
  background: #1a1a2e;
  padding: 24px 16px;
  border-right: 1px solid #2d2d44;
}

.main-content {
  padding: 24px;
  overflow-y: auto;
}

.info-panel {
  background: #f8f9fa;
  padding: 20px;
  border-left: 1px solid #e9ecef;
}

它准确识别了截图中的间距、颜色值(深色主题 #1a1a2e)、以及响应式布局意图。这种”视觉 → 代码”的直接映射,是原生多模态的典型优势。


Agent 能力:从”对话”到”执行”

Qwen3.5 的 Agent 能力不是简单包装了一层 function calling。它的核心设计是:

  1. 自适应工具选择:根据任务自动判断是否需要调用工具,选择哪个工具
  2. 多步规划:把复杂任务拆解为多个子步骤,每步可调用不同工具
  3. 错误恢复:工具调用失败时能自动重试或切换策略
  4. 视觉 Agent:直接操作手机/电脑屏幕(GUI Agent)

实测:MCP 工具调用

在 MCP (Model Context Protocol) 生态中,Qwen3.5 的表现相当亮眼。我测试了一个需要串联 3 个工具的任务:

任务:查询北京明天的天气,如果温度低于 10°C,
     帮我搜索附近的火锅店,并生成一个 Markdown 格式的出行建议。

Qwen3.5 的执行链:
1. 调用 weather_api.get_forecast(city="北京", date="tomorrow")
   → 返回:最低温 6°C,多云
   
2. 判断:6°C < 10°C,需要执行后续步骤

3. 调用 poi_search.search(
     keyword="火锅店", 
     location="北京", 
     radius=3000
   )
   → 返回:5 家火锅店,按评分排序

4. 生成 Markdown 报告:
   ## 北京明日出行建议
   - 天气:多云,最低 6°C
   - 建议:注意保暖,适合火锅暖身
   - 推荐店铺:
     1. 海底捞(朝阳店)⭐4.8 - 距离 1.2km
     2. 小龙坎(国贸店)⭐4.7 - 距离 2.1km
     ...

在 BFCL-V4 基准测试中,Qwen3.5-397B-A17B 拿到 72.9 分,超过 Claude 4.5 Opus 的 77.5?不,这里需要澄清——它和 Claude 4.5 Opus(77.5)还有差距,但已经超过了 GPT-5.2 的 63.1 和 Gemini-3 Pro 的 72.5。

实测:浏览器操作(GUI Agent)

Qwen3.5 作为视觉 Agent 可以直接操作智能手机和电脑。我测试了一个简单的网页自动化任务:

任务:打开 Hacker News,找到今天点赞数最高的文章,
     把标题和链接整理成 JSON 格式。

Qwen3.5 的操作序列:
1. 打开浏览器 → 导航到 news.ycombinator.com
2. 识别页面结构 → 找到文章列表区域
3. 提取第一条的标题、点赞数、链接
4. 输出 JSON:
   {
     "title": "Show HN: I built a faster vector database",
     "points": 342,
     "url": "https://example.com/hn-post",
     "rank": 1
   }

这个能力在 UI-TARS-Desktop 等开源 GUI Agent 中也有体现,但 Qwen3.5 的优势在于原生多模态理解——它不需要额外的截图-标注-解析流程,直接”看懂”界面元素。


本地部署指南:17B 激活参数的硬件需求

Qwen3.5-397B-A17B 虽然总参数 397B,但实际推理时只激活 17B。这意味着:

硬件需求对比

部署方式显存需求推荐硬件推理速度
FP16 全量~800GB8×A100 80GB基线
INT8 量化~400GB4×A100 80GB1.5×
INT4 量化~200GB2×A100 80GB2×
GGUF Q4~120GB2×RTX 40901.8×
vLLM + MoE 优化~100GB2×A1003×

使用 Ollama 快速部署(推荐新手)

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 拉取 Qwen3.5 模型(以 35B-A3B 版本为例,适合消费级硬件)
ollama pull qwen3.5:35b

# 启动交互式对话
ollama run qwen3.5:35b

# 或者通过 API 调用
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:35b",
  "messages": [
    {
      "role": "user",
      "content": "分析这张图片中的代码错误",
      "images": ["base64_encoded_image"]
    }
  ]
}'

使用 vLLM 生产级部署

# 安装 vLLM
pip install vllm

# 启动服务(旗舰版 397B-A17B)
vllm serve Qwen/Qwen3.5-397B-A17B \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --enable-lora \
  --dtype float16

# 启动服务(轻量版 35B-A3B,单卡 RTX 4090 可跑)
vllm serve Qwen/Qwen3.5-35B-A3B \
  --max-model-len 16384 \
  --dtype float16

模型尺寸选择建议

Qwen3.5 提供了多个尺寸,适合不同场景:

模型总参/激活适用场景硬件门槛
Qwen3.5-0.8B0.8B/0.8B嵌入式/边缘设备树莓派 5
Qwen3.5-4B4B/4B移动端/轻量推理手机/低端 GPU
Qwen3.5-9B9B/9B日常对话/简单任务RTX 3060
Qwen3.5-35B-A3B35B/3B复杂推理/代码RTX 4090
Qwen3.5-397B-A17B397B/17B旗舰/生产环境2×A100

实测发现:35B-A3B 版本在代码生成和工具调用任务上,性能接近 GPT-4o 的 90%,但只需要一张 RTX 4090(24GB 显存)。这是目前性价比最高的本地 Agent 方案。


竞品对比:Qwen3.5 vs GPT-4o vs Claude 3.5

维度Qwen3.5-397B-A17BGPT-4oClaude 3.5 Sonnet
知识 (MMLU-Pro)87.882.4*88.7
推理 (GPQA)88.473.2*65.0
代码 (LiveCodeBench v6)83.674.2*88.7
Agent (BFCL-V4)72.963.177.5
多模态理解⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐
工具调用⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐
开源✅❌❌
本地部署✅❌❌
价格 (每百万 token)$0.80/$3.20$2.50/$10.00$3.00/$15.00
上下文窗口1M (Plus)128K200K

注:GPT-4o 数据为估算值,因 OpenAI 未公布完整基准。

关键洞察:

  1. 性价比之王:Qwen3.5 的 API 价格比 GPT-4o 便宜 66%,比 Claude 3.5 便宜 73%
  2. 开源优势:可以本地部署,数据不出境,适合对隐私敏感的企业
  3. Agent 能力突出:在 MCP-Mark(MCP 协议基准)上拿到 46.1 分,超过 Claude 4.5 Opus 的 42.3
  4. 多语言能力:支持 201 种语言/方言,NOVA-63 基准测试 59.1 分(所有模型中最高)

劣势:

  • 在数学竞赛(HMMT、IMO)上略逊于 GPT-5.2 和 Gemini-3 Pro
  • 长上下文(AA-LCR)表现一般,68.7 分 vs Gemini-3 Pro 的 70.7
  • 生态工具不如 OpenAI/Anthropic 成熟

实际应用场景

场景 1:AI 编程助手

Qwen3.5 的 vibe coding 能力让我印象深刻。它不只是补全代码,而是能理解项目上下文:

# 项目结构:
# src/
#   models/user.py
#   services/auth.py
#   tests/test_auth.py

# 用户:给 auth.py 添加一个 JWT 刷新机制,
#       要兼容现有的 user.py 模型,并写测试

Qwen3.5 的输出:
1. 先读取 user.py 理解 User 模型结构
2. 读取现有 auth.py 理解当前认证逻辑
3. 生成新的 refresh_token 函数:

# services/auth.py
from datetime import datetime, timedelta
from jose import jwt
from models.user import User

async def refresh_access_token(refresh_token: str) -> str:
    """刷新 JWT token,兼容现有 User 模型"""
    try:
        payload = jwt.decode(
            refresh_token, 
            settings.SECRET_KEY, 
            algorithms=["HS256"]
        )
        user_id = payload.get("sub")
        user = await User.get(id=user_id)
        
        # 检查 token 是否过期
        if datetime.utcnow() > datetime.fromtimestamp(payload["exp"]):
            raise HTTPException(status_code=401, detail="Token expired")
        
        # 生成新的 access token
        new_token = jwt.encode(
            {
                "sub": str(user.id),
                "email": user.email,
                "exp": datetime.utcnow() + timedelta(minutes=30)
            },
            settings.SECRET_KEY,
            algorithm="HS256"
        )
        return new_token
    except JWTError:
        raise HTTPException(status_code=401, detail="Invalid token")

4. 自动生成测试:

# tests/test_auth.py
import pytest
from services.auth import refresh_access_token

@pytest.mark.asyncio
async def test_refresh_token_success(create_test_user):
    user = await create_test_user()
    # 生成初始 refresh token
    old_refresh = generate_refresh_token(user)
    
    # 刷新
    new_access = await refresh_access_token(old_refresh)
    
    # 验证
    assert new_access is not None
    payload = jwt.decode(new_access, options={"verify_signature": False})
    assert payload["sub"] == str(user.id)

场景 2:文档分析 + 数据提取

给 Qwen3.5 一份 50 页的 PDF 财报截图,要求提取关键财务指标:

用户:从这份财报中提取近 3 年的营收、净利润、毛利率,
     并生成一个对比表格。

Qwen3.5:
| 年份 | 营收(亿元) | 净利润(亿元) | 毛利率 |
|------|-------------|---------------|--------|
| 2024 | 1,234.5     | 189.2         | 42.3%  |
| 2025 | 1,567.8     | 234.6         | 45.1%  |
| 2026 | 1,890.3     | 298.7         | 47.8%  |

趋势分析:
- 营收 CAGR:23.6%
- 净利润 CAGR:25.7%
- 毛利率持续提升,说明规模效应显现
- 2026 年净利润率 15.8%,创历史新高

场景 3:自动化工作流

结合 MCP 协议,Qwen3.5 可以串联多个工具完成复杂任务:

任务:监控 GitHub 仓库的新 issue,自动分类并分配给对应开发者

Qwen3.5 的工作流:
1. 调用 GitHub MCP 工具获取新 issue
2. 分析 issue 内容,判断类型(bug/feature/question)
3. 根据标签和描述,匹配对应的开发者
4. 调用 GitHub API 添加标签 + 分配 assignee
5. 生成日报 Markdown:
   ## 2026-11-22 Issue 处理日报
   - 新增 issue:12 个
   - 已自动分类:10 个
   - 待人工确认:2 个
   - 分配详情:
     - @dev1:3 个(前端相关)
     - @dev2:4 个(后端 API)
     - @dev3:3 个(文档/测试)

FAQ

Q1: Qwen3.5 和 Qwen3 有什么区别?

A: Qwen3.5 是原生多模态模型,从预训练阶段就同时处理视觉和文本;Qwen3 是纯文本模型。此外 Qwen3.5 引入了 Gated Delta Networks(线性注意力)和更强的 Agent 能力(内置工具调用、GUI 操作)。

Q2: 397B 参数需要什么硬件才能跑?

A: 旗舰版 397B-A17B 需要 2×A100 80GB(INT4 量化)或 8×A100(FP16)。但轻量版 35B-A3B 只需一张 RTX 4090(24GB),9B 版本甚至能在 RTX 3060 上运行。详见本文”本地部署指南”章节。

Q3: Qwen3.5 的 Agent 能力比 GPT-4o 强吗?

A: 在工具调用基准 BFCL-V4 上,Qwen3.5(72.9)超过 GPT-4o(63.1);在 MCP-Mark 上,Qwen3.5(46.1)超过 Claude 4.5 Opus(42.3)。但在复杂规划任务(TAU2-Bench)上,Claude 4.5 Opus(91.6)仍领先。

Q4: 可以用 Qwen3.5 做商业项目吗?

A: 可以。Qwen3.5 采用开放权重许可证,允许商业使用。具体条款见 Qwen GitHub 上的 LICENSE 文件。

Q5: Qwen3.5 支持哪些语言?

A: Qwen3.5 将语言支持从 119 种扩展到 201 种语言和方言,包括粤语、吴语、闽南语等中国方言,以及多种非洲、南亚语言。在 NOVA-63 多语言基准上拿到 59.1 分,是所有测试模型中最高的。

Q6: 如何调用 Qwen3.5 API?

A: 两种方式:

  1. 阿里云百炼平台:注册后获取 API Key,调用 qwen3.5-plus 模型
  2. 本地部署:使用 Ollama 或 vLLM,适合对数据隐私有要求的场景
# 阿里云 API 调用示例
curl https://dashscope.aliyuncs.com/api/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "qwen3.5-plus",
    "messages": [{"role": "user", "content": "你好"}]
  }'

总结

Qwen3.5 的发布标志着开源多模态 Agent 进入了一个新阶段。它不再是”开源版 GPT-4o”的追随者,而是在Agent 能力、多语言支持、推理效率三个维度上建立了自己的优势。

适合谁?

  • ✅ 需要本地部署、数据不出境的企业
  • ✅ 预算有限但需要旗舰级能力的开发者
  • ✅ 多语言应用场景(201 种语言)
  • ✅ 需要深度定制 Agent 工作流的高级用户

不适合谁?

  • ❌ 追求极致数学推理(选 Gemini-3 Pro)
  • ❌ 需要超长上下文(选 Claude 4.5 Opus 的 200K 或 Gemini 的 1M+)
  • ❌ 依赖成熟生态工具链(OpenAI/Anthropic 的工具更丰富)

如果你正在寻找一个开源、高效、多模态、能执行的 AI 模型,Qwen3.5 值得认真考虑。它可能不是每个维度上的第一名,但综合性价比和开放程度,目前是无出其右的选择。

希望这篇博客文章对您有所帮助!


相关阅读: