feat(qianfan): scope vision support to multimodal models

2026-07-20 05:27:59 +08:00 · 2026-05-06 16:11:10 +08:00
parent 63f99af1e6
commit a5790d82f6
15 changed files with 212 additions and 50 deletions
--- a/docs/en/models/qianfan.mdx
+++ b/docs/en/models/qianfan.mdx
@@ -15,7 +15,7 @@ Option 1: Native integration (recommended):

 | Parameter | Description |
 | --- | --- |
-| `model` | Default recommendation: `ernie-5.0`; also supports `ernie-4.5-turbo-128k`, `ernie-4.5-turbo-32k`, `ernie-x1-turbo-32k` |
+| `model` | Default recommendation: `ernie-5.0`; also supports `ernie-x1.1`, `ernie-4.5-turbo-128k`, `ernie-4.5-turbo-32k` |
 | `qianfan_api_key` | Qianfan API key, usually starting with `bce-v3/` |
 | `qianfan_api_base` | Optional, defaults to `https://qianfan.baidubce.com/v2` |

@@ -24,13 +24,18 @@ Option 1: Native integration (recommended):
 | Model | Use Case |
 | --- | --- |
 | `ernie-5.0` | Default recommendation; latest ERNIE flagship with the strongest overall capability |
+| `ernie-x1.1` | Deep-thinking reasoning model with lower hallucination and stronger instruction following / tool calling |
 | `ernie-4.5-turbo-128k` | Long-context and general chat |
 | `ernie-4.5-turbo-32k` | General chat with a balanced context window and cost |
-| `ernie-x1-turbo-32k` | Tasks that need stronger reasoning |

 ## Vision tool

-After `qianfan_api_key` is configured, Agent mode can auto-discover Qianfan for the Vision tool. The recommended Qianfan vision model is `ernie-4.5-turbo-vl`:
+Once `qianfan_api_key` is configured, Agent mode can auto-discover Qianfan for the Vision tool:
+
+- When the main model itself is multimodal (e.g. `ernie-5.0`, `ernie-x1.1`, `ernie-4.5-turbo-vl`), images are handled directly by the main model with no extra setup.
+- When the main model is text-only (e.g. `ernie-4.5-turbo-128k`), the Vision tool automatically falls back to `ernie-4.5-turbo-vl`.
+
+To force a specific Vision model, set it explicitly in `config.json`:

 ```json
 {
--- a/docs/en/releases/v2.0.8.mdx
+++ b/docs/en/releases/v2.0.8.mdx
@@ -30,7 +30,7 @@ The voice and streaming building blocks come from a community contribution #2791

 - **DeepSeek V4 series**: Added `deepseek-v4-pro` / `deepseek-v4-flash`, with `deepseek-v4-flash` set as the new default
 - **Unified thinking-mode toggle**: DeepSeek V4, Qwen3 and other thinking-capable models now share the same `enable_thinking` switch
- **Baidu Qianfan / ERNIE first-class integration**: New `qianfan` provider supporting `ernie-5.0` (default recommendation), `ernie-4.5-turbo-128k`, `ernie-4.5-turbo-32k`, `ernie-x1-turbo-32k`. Dedicated `qianfan_api_key` / `qianfan_api_base` settings keep OpenAI config clean; legacy `wenxin` / `wenxin-4` paths are fully preserved. #2790 Thanks [@jimmyzhuu](https://github.com/jimmyzhuu)
+- **Baidu Qianfan / ERNIE first-class integration**: New `qianfan` provider supporting `ernie-5.0` (default recommendation), `ernie-x1.1`, `ernie-4.5-turbo-128k`, `ernie-4.5-turbo-32k`. Dedicated `qianfan_api_key` / `qianfan_api_base` settings keep OpenAI config clean; legacy `wenxin` / `wenxin-4` paths are fully preserved. #2790 Thanks [@jimmyzhuu](https://github.com/jimmyzhuu)

  Documentation: [Baidu Qianfan / ERNIE](https://docs.cowagent.ai/en/models/qianfan)

--- a/docs/en/tools/vision.mdx
+++ b/docs/en/tools/vision.mdx
@@ -23,7 +23,7 @@ If the current provider fails, the tool automatically tries the next one until i
 | Vendor | Vision Model | Notes |
 | --- | --- | --- |
 | OpenAI / Compatible | Main model | All OpenAI-compatible multimodal models |
-| Baidu Qianfan | ernie-4.5-turbo-vl | Auto-discovered when `qianfan_api_key` is configured; can also be selected via `tool.vision.model` |
+| Baidu Qianfan | Main model | Multimodal main models (e.g. `ernie-5.0`) handle images directly; falls back to `ernie-4.5-turbo-vl` for text-only main models |
 | Qwen (DashScope) | Main model | Via MultiModalConversation API |
 | Claude | Main model | Anthropic native image format |
 | Gemini | Main model | inlineData format |
--- a/docs/ja/models/qianfan.mdx
+++ b/docs/ja/models/qianfan.mdx
@@ -15,7 +15,7 @@ description: Baidu Qianfan ERNIE モデル設定

 | パラメータ | 説明 |
 | --- | --- |
-| `model` | デフォルトの推奨は `ernie-5.0`。`ernie-4.5-turbo-128k`、`ernie-4.5-turbo-32k`、`ernie-x1-turbo-32k` も利用できます |
+| `model` | デフォルトの推奨は `ernie-5.0`。`ernie-x1.1`、`ernie-4.5-turbo-128k`、`ernie-4.5-turbo-32k` も利用できます |
 | `qianfan_api_key` | Qianfan API Key。通常は `bce-v3/` で始まります |
 | `qianfan_api_base` | 任意。デフォルトは `https://qianfan.baidubce.com/v2` |

@@ -24,13 +24,18 @@ description: Baidu Qianfan ERNIE モデル設定
 | モデル | 用途 |
 | --- | --- |
 | `ernie-5.0` | デフォルト推奨。文心の最新フラッグシップモデルで、総合性能が最も強い |
+| `ernie-x1.1` | 深層推論モデル。ハルシネーションが少なく、指示追従とツール呼び出しが強化 |
 | `ernie-4.5-turbo-128k` | 長いコンテキストと一般的なチャット向け |
 | `ernie-4.5-turbo-32k` | コンテキスト長とコストのバランスが良い一般チャット向け |
-| `ernie-x1-turbo-32k` | より強い推論が必要なタスク向け |

 ## Vision ツール

-`qianfan_api_key` を設定すると、Agent モードの Vision ツールは Qianfan を自動検出できます。推奨する Qianfan の視覚モデルは `ernie-4.5-turbo-vl` です：
+`qianfan_api_key` を設定すると、Agent モードの Vision ツールは Qianfan を自動検出します：
+
+- 主モデルが多モーダル（`ernie-5.0`、`ernie-x1.1`、`ernie-4.5-turbo-vl` など）の場合は、追加設定なしで主モデルがそのまま画像を処理します。
+- 主モデルがテキスト専用（`ernie-4.5-turbo-128k` など）の場合は、Vision ツールが自動的に `ernie-4.5-turbo-vl` にフォールバックします。
+
+特定の Vision モデルを強制したい場合は、`config.json` で明示的に指定できます：

 ```json
 {
--- a/docs/ja/releases/v2.0.8.mdx
+++ b/docs/ja/releases/v2.0.8.mdx
@@ -30,7 +30,7 @@ description: CowAgent 2.0.8 - 飛書チャネル全面アップグレード（

 - **DeepSeek V4 シリーズ**：`deepseek-v4-pro` / `deepseek-v4-flash` を追加、デフォルトモデルを `deepseek-v4-flash` に切り替え
 - **思考モデルスイッチの統一**：DeepSeek V4、Qwen3 など思考対応モデルの切り替え動作を `enable_thinking` に統一
- **百度千帆 / ERNIE のファーストクラス対応**：新たな `qianfan` プロバイダーを追加。`ernie-5.0`（デフォルト推奨）、`ernie-4.5-turbo-128k`、`ernie-4.5-turbo-32k`、`ernie-x1-turbo-32k` をサポート。`qianfan_api_key` / `qianfan_api_base` の独立設定により OpenAI 設定を汚染せず、旧来の `wenxin` / `wenxin-4` パスも完全互換 #2790 Thanks [@jimmyzhuu](https://github.com/jimmyzhuu)
+- **百度千帆 / ERNIE のファーストクラス対応**：新たな `qianfan` プロバイダーを追加。`ernie-5.0`（デフォルト推奨）、`ernie-x1.1`、`ernie-4.5-turbo-128k`、`ernie-4.5-turbo-32k` をサポート。`qianfan_api_key` / `qianfan_api_base` の独立設定により OpenAI 設定を汚染せず、旧来の `wenxin` / `wenxin-4` パスも完全互換 #2790 Thanks [@jimmyzhuu](https://github.com/jimmyzhuu)

  ドキュメント：[百度千帆 / ERNIE](https://docs.cowagent.ai/ja/models/qianfan)

--- a/docs/ja/tools/vision.mdx
+++ b/docs/ja/tools/vision.mdx
@@ -23,7 +23,7 @@ Vision ツールは多段階の自動選択＋自動フォールバック戦略
 | ベンダー | ビジョンモデル | 説明 |
 | --- | --- | --- |
 | OpenAI / 互換プロトコル | メインモデル | すべての OpenAI 互換マルチモーダルモデルに対応 |
-| Baidu Qianfan | ernie-4.5-turbo-vl | `qianfan_api_key` を設定すると自動検出され、`tool.vision.model` でも指定できます |
+| Baidu Qianfan | メインモデル | 多モーダルの主モデル（`ernie-5.0` など）は直接画像を処理。テキスト専用主モデルの場合は `ernie-4.5-turbo-vl` に自動フォールバック |
 | 通義千問 (DashScope) | メインモデル | MultiModalConversation API 経由 |
 | Claude | メインモデル | Anthropic ネイティブ画像形式 |
 | Gemini | メインモデル | inlineData 形式 |
--- a/docs/models/qianfan.mdx
+++ b/docs/models/qianfan.mdx
@@ -15,7 +15,7 @@ description: 百度千帆 ERNIE 模型配置

 | 参数 | 说明 |
 | --- | --- |
-| `model` | 默认推荐使用 `ernie-5.0`；也可使用 `ernie-4.5-turbo-128k`、`ernie-4.5-turbo-32k`、`ernie-x1-turbo-32k` |
+| `model` | 默认推荐使用 `ernie-5.0`；也可使用 `ernie-x1.1`、`ernie-4.5-turbo-128k`、`ernie-4.5-turbo-32k` |
 | `qianfan_api_key` | 千帆 API Key，格式通常以 `bce-v3/` 开头 |
 | `qianfan_api_base` | 可选，默认为 `https://qianfan.baidubce.com/v2` |

@@ -24,13 +24,18 @@ description: 百度千帆 ERNIE 模型配置
 | 模型 | 适用场景 |
 | --- | --- |
 | `ernie-5.0` | 默认推荐，文心新一代旗舰模型，综合能力最强 |
+| `ernie-x1.1` | 深度思考推理模型，幻觉更低、指令遵循与工具调用更强 |
 | `ernie-4.5-turbo-128k` | 长上下文和通用对话 |
 | `ernie-4.5-turbo-32k` | 通用对话，成本和上下文更均衡 |
-| `ernie-x1-turbo-32k` | 需要更强推理能力的任务 |

 ## Vision 工具

-配置 `qianfan_api_key` 后，Agent 的 Vision 工具可以自动使用千帆视觉模型。默认推荐使用 `ernie-4.5-turbo-vl`：
+配置 `qianfan_api_key` 后，Agent 的 Vision 工具可以自动使用千帆视觉模型：
+
+- 当主模型本身是多模态时（如 `ernie-5.0`、`ernie-x1.1`、`ernie-4.5-turbo-vl`），直接由主模型识别图像，无需额外配置
+- 当主模型是纯文本时（如 `ernie-4.5-turbo-128k`），Vision 工具会自动 fallback 到 `ernie-4.5-turbo-vl`
+
+如需手动指定 Vision 模型，可在 `config.json` 中显式配置：

 ```json
 {
--- a/docs/releases/v2.0.8.mdx
+++ b/docs/releases/v2.0.8.mdx
@@ -30,7 +30,7 @@ description: CowAgent 2.0.8 - 飞书渠道全面升级（语音、流式打字

 - **DeepSeek V4 系列**：新增 `deepseek-v4-pro` / `deepseek-v4-flash`，并将默认模型切换为 `deepseek-v4-flash`
 - **思考模型开关统一**：DeepSeek V4、Qwen3 等思考模型的开关行为对齐到 `enable_thinking`
- **百度千帆模型接入**：新增百度千帆厂商，支持 `ernie-5.0`、`ernie-4.5-turbo-128k` 等模型， 相关文档查看 [百度千帆](https://docs.cowagent.ai/models/qianfan)。#2790 Thanks @jimmyzhuu
+- **百度千帆模型接入**：新增百度千帆厂商，支持 `ernie-5.0`、`ernie-4.5-turbo-128k` 等模型，并支持图像识别工具，相关文档查看 [百度千帆](https://docs.cowagent.ai/models/qianfan)。#2790 Thanks @jimmyzhuu
 - **新增有道翻译**：`translate` 模块新增有道翻译支持 #2797 Thanks @Zmjjeff7

 ## 🛠 OpenAI 客户端重构
--- a/docs/tools/vision.mdx
+++ b/docs/tools/vision.mdx
@@ -19,12 +19,12 @@ Vision 工具采用多级自动选择 + 自动兜底策略，无需手动配置
 | 厂商 | 视觉模型 | 说明 |
 | --- | --- | --- |
 | OpenAI / 兼容协议 | 使用主模型 | 支持所有 OpenAI 协议兼容的多模态模型 |
-| 百度千帆 (Qianfan) | ernie-4.5-turbo-vl | 配置 `qianfan_api_key` 后自动发现，也可通过 `tool.vision.model` 指定 |
 | 通义千问 (DashScope) | 使用主模型 | 例如 qwen3.6-plus 等 |
 | Claude | 使用主模型 | Anthropic 原生图像格式 |
 | Gemini | 使用主模型 | inlineData 格式 |
 | 豆包 (Doubao) | 使用主模型 | doubao-seed-2-0 系列原生支持 |
 | Kimi (Moonshot) | 使用主模型 | kimi-k2.6、kimi-k2.5 原生支持 |
+| 百度千帆 (Qianfan) | 使用主模型 | 默认使用多模态主模型 (如 ernie-5.0)，主模型不支持时兜底使用 ernie-4.5-turbo-vl |
 | 智谱 AI | glm-5v-turbo | 固定使用视觉专用模型 |
 | MiniMax | MiniMax-Text-01 | 固定使用视觉专用模型 |

@@ -42,7 +42,7 @@ Vision 工具采用多级自动选择 + 自动兜底策略，无需手动配置
 {
    "tool": {
        "vision": {
-            "model": "ernie-4.5-turbo-vl"
+            "model": "gpt-4.1"
        }
    }
 }