Ollama
在本地运行大型语言模型，支持 Llama、Mistral 等主流开源模型
推荐 GPU：RTX 4090 或 A100
查看模板About this template
模板概览
vLLM 是一个快速且易用的大型语言模型推理和服务库，采用了 PagedAttention 技术大幅提升显存利用率和吞吐量。它兼容 OpenAI API，支持连续批处理和流式输出，非常适合高并发的生产环境部署。
PagedAttention 优化显存使用
支持连续批处理，提升吞吐量
OpenAI API 兼容接口
支持量化模型（AWQ、GPTQ）
多 GPU 张量并行推理
Model parameters
模型参数
以下是该模板推荐的默认配置，可以根据实例规格和应用场景继续调整。
上下文长度
32K – 128K
PRESET 01
最大输出
16K
PRESET 02
量化支持
AWQ / GPTQ
PRESET 03
接口协议
OpenAI 兼容
PRESET 04
批处理
连续批处理
PRESET 05
推荐显存
40 GB 起
PRESET 06
Supported functionality
能力支持
不同类型的模型拥有各自专用的输入输出方式，部署后可通过统一的服务地址进行访问。
输入能力
文本代码
输出能力
文本
部署包含：GPU 加速流式响应健康检查日志监控
API usage
快速开始
部署完成后，可使用默认端口调用 vLLM 服务。
快速开始
curlcurl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"meta-llama/Llama-2-7b","messages":[{"role":"user","content":"Hello"}]}'部署完成后的本地服务地址
http://localhost:8000Runtime configuration
运行配置
镜像中的软件版本、端口和硬件建议会随模板一起提供，减少首次部署的准备工作。
软件版本
vllm0.3.0
python3.10
cuda12.1
资源与网络
推荐 GPU
A100 或 H100
服务端口
8000
部署类型
GPU 云实例
More templates