智慧图问

注意：该插件目前面向测试企业用户开放，如需使用请填写申请表单，我们将尽快评估您的需求。

功能介绍

图片解析插件，主要功能为图片理解与识别，并对图片内容进行总结概述，输出用户可理解的自然语言文本描述（句子或段落）。识别能力包含文字OCR解析、人物识别、植物识别、商品识别、车辆识别等。

文字OCR可对网页截图、办公文档、表格、题目公式、海报广告等进行解析；

人物识别包含演员、歌手、企业家等公众人物，可参考百度百科词条人物（不包含国内国际政要等敏感人物）；

植物识别能力可识别常见的树木、花卉、农作物等；

商品识别能力可输出常见商品名称；

车辆识别包含常见车型、品牌以及颜色等属性。

针对通用图片，图片解析插件插件可输出简要图片内容描述，包含图片人物的表情动作描述、物品状态属性描述、景物风景描述等。满足智能AI应用在视觉感知能力的扩展与交互。

本文介绍了实现对智慧图问插件的调用使用说明。

服务后缀名称说明

配置插件应用服务成功后，可以查看服务后缀名称、服务地址等信息。如何配置插件应用服务，详见插件编排使用说明。

配置插件应用成功后，查看服务地址、服务后缀名称。

说明：只有服务状态为上线状态，才可以查看自动生成的服务地址、服务后缀名称。

在插件的详情页中，查看完整的服务地址。

请求示例（流式）

bash

Python

响应示例（流式）

# 首包需要的回显信息
data: {'plugin_id': 'uuid-chatocr', 'requests': {'query': '通知书上的大学是什么？', 'filename': '通知书.jpeg'}, 'response': {'error_no': 0, 'error_msg': 'success', 'format': 'json', 'result': {'llm_result': '根据提供的图像文字信息，通知书上的大学是“某某大学”。', 'ocr_result': [{'rect': {'left': 399, 'top': 304, 'width': 291, 'height': 92}, 'word': '某某大学'}, {'rect': {'left': 206, 'top': 509, 'width': 687, 'height': 118}, 'word': '录取通知书'}]}}}
# 后续为用户请求的响应结果
data: {'id': 'as-rpf9gsgffn', 'object': 'chat.completion', 'created': 1694434293, 'sentence_id': 0, 'is_end': False, 'is_truncated': False, 'result': '根据提供的图像文字信息，通知书上的大学是“某某大学”。', 'need_clear_history': False, 'usage': {'prompt_tokens': 563, 'completion_tokens': 9, 'total_tokens': 572}}

错误码

若请求错误，服务器将返回的JSON文本包含以下参数：

名称	描述
error_code	错误码
error_msg	错误描述信息，帮助理解和解决发生的错误

例如Access Token失效返回：

{
  "error_code": 110,
  "error_msg": "Access token invalid or no longer valid"
}

需要重新获取新的Access Token再次请求。

错误码	错误信息	描述
0	正常	正常
216100	请求参数错误	请求参数错误
216400	服务处理异常错误	服务处理异常错误
216203	图片处理失败	图片处理失败

curl --location 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/plugin//?access_token%09=' \ --header 'Content-Type: application/json' \ --data '{ "query": "string", "plugins": [ "string" ], "stream": true, "llm\t": {}, "input_variables": {}, "history\t": {}, "verbose\t": true }'

{ "id": "as-k4r8wt8xr8", "object": "chat.completion", "created": 1692174171, "result": "根据提供的图像文字信息，通知书上的大学是“某某大学”。", "is_truncated": false, "need_clear_history": false, "usage": { "prompt_tokens": 190, "completion_tokens": 27, "total_tokens": 217 }, "meta_info": { "requests": { "query": "通知书上的大学是什么？", "filename": "通知书.jpeg" }, "response": { "error_no": 0, "error_msg": "success", "format": "json", "result": { "llm_result": "根据提供的图像文字信息，通知书上的大学是“某某大学”。", "ocr_result": [ { "rect": { "left": 399, "top": 304, "width": 291, "height": 92 }, "word": "某某大学" }, { "rect": { "left": 206, "top": 509, "width": 687, "height": 118 }, "word": "录取通知书" } ] }, "logid": 2796978908 } } }

功能介绍#

服务后缀名称说明#

请求示例（流式）#

响应示例（流式）#

错误码#

请求参数

返回响应

功能介绍

服务后缀名称说明

请求示例（流式）

响应示例（流式）

错误码