批量推理
功能介绍
批量推理可以?次性处理?量数据，并对这些数据进?统?推理预测，最后将结果输出到指定位置。适合?批量数据处理、分析的场景等。批量推理的计费仅为实时推理的40%，帮助您有效节省资源消耗成本。
批量推理方式
任务式批量推理batch job
对于大型数据集或者在您不需要立即响应模型预测请求时，推荐使用离线批量推理任务。需要配合百度云对象存储（BOS）使用。
支持模型列表
原生多模态
| 模型名称 |
| ERNIE-4.5-8K-Preview |
| Llama-4-Maverick-17B-128E-Instruct |
| Llama-4-Scout-17B-16E-Instruct |
文本生成
ERNIE系列-旗舰模型
| 模型名称 |
| ERNIE-X1-Turbo-32k |
| ERNIE-X1-32k |
| ERNIE-4.5-Turbo-128k |
| ERNIE-4.5-Turbo-32k |
| ERNIE-4.5-8k-Preview |
| ERNIE-4.0-Turbo-8K |
| ERNIE-4.0-8K |
| ERNIE-3.5-8K |
ERNIE系列-主力模型
| 模型名称 |
| ERNIE-Speed-8k |
| ERNIE-Speed-128k |
| ERNIE-Speed-Pro-128k |
| ERNIE-Lite-8k |
| ERNIE-Lite-128k |
| ERNIE-Lite-Pro-128k |
ERNIE系列-轻量模型
ERNIE系列-垂直场景模型
| 模型名称 |
| ERNIE-Character-8k |
| ERNIE-Character-Fiction-8k |
DeepSeek系列
QianFan系列
| 模型名称 |
| Qianfan-8B |
| Qianfan-70B |
| DeepSeek-R1-Distill-Qianfan-8B |
| DeepSeek-R1-Distill-Qianfan-70B |
其他
| 模型名称 |
| Llama-4-Maverick |
| Llama-4-Scout |
| GLM-4-32B-0414 |
| Qwen2.5-7B-Instruct |
| BLOOMZ-7B |
| Meta-Llama-3-8B |
| Meta-Llama-3-70B |
| Llama-2-7B-Chat |
| Llama-2-13B-Chat |
| Llama-2-70B-Chat |
| ChatGLM2-6B-32K |
| AquilaChat-7B |
| Mixtral-8x7B-Instruct |
| SQLCoder-7B |
| CodeLlama-7B-Instruct |
| XuanYuan-70B-Chat-4bit |
| ChatLaw |
| Yi-34B-Chat |
| Gemma-7B-it |
深度思考模型
| 模型名称 |
| DeepSeek-R1 |
| DeepSeek-R1-Distill-Qwen-32B |
| DeepSeek-R1-Distill-Qwen-14B |
| DeepSeek-R1-Distill-Qwen-7B |
| DeepSeek-R1-Distill-Qwen-1.5B |
| DeepSeek-R1-Distill-Llama-70B |
| DeepSeek-R1-Distill-Llama-8B |
| DeepSeek-R1-Distill-Qianfan-Llama-70B |
| DeepSeek-R1-Distill-Qianfan-Llama-8B |
| QWQ-32B |
| GLM-Z1-32B-0414 |
| GLM-Z1-Rumination-32B-0414 |
图像理解
| 模型名称 |
| ERNIE-4.5-8K-Preview |
| ERNIE-4.5-turbo-vl-32k |
| Qianfan-Llama-VL-8B |
| Llama-4-Maverick-17B-128E-Instruct |
| Llama-4-Scout-17B-16E-Instruct |
| Qwen-VL-Chat |
| InternVL-2B |
| InternVL-8B |
| InternVL-26B |
| InternVL2_5-4B |
| InternVL2_5-8B |
| InternLM-XComposer2 |
batch job使用指南
1、数据准备
上传文件到BOS对象存储，如您未开通BOS功能，可提前开通。
2、创建批量推理任务
3、查询批量推理任务
- 点击任务名称或选择操作列的“详情”按钮，即可查看本任务详细信息。
4、下载批量推理结果
点击结果集存储BOS
