vLLM
高性能 LLM 推理引擎，支持 PagedAttention 和连续批处理
推荐 GPU：A100 或 H100
查看模板About this template
模板概览
Ollama 是一个轻量级、可扩展的框架，用于在本地构建和运行大型语言模型。它提供了简单的 API 和命令行工具，让你能够轻松地下载、运行和管理各种开源 LLM 模型。Ollama 支持自动 GPU 加速，优化了模型加载和推理性能，非常适合开发和测试场景。
支持 Llama 3、Mistral、Gemma 等主流开源模型
简洁的 REST API 和 Python/JavaScript SDK
自动 GPU 加速和内存管理
模型热加载和版本控制
低延迟推理，适合实时应用
Model parameters
模型参数
以下是该模板推荐的默认配置，可以根据实例规格和应用场景继续调整。
模型格式
GGUF
PRESET 01
上下文长度
4K – 32K
PRESET 02
量化格式
Q4 / Q5 / Q8
PRESET 03
接口协议
Native / OpenAI
PRESET 04
GPU 加速
自动检测
PRESET 05
并发模式
单请求
PRESET 06
Supported functionality
能力支持
不同类型的模型拥有各自专用的输入输出方式，部署后可通过统一的服务地址进行访问。
输入能力
文本
输出能力
文本
部署包含：GPU 加速流式响应健康检查日志监控
API usage
快速开始
部署完成后，可使用默认端口调用 Ollama 服务。
快速开始
curlcurl http://localhost:11434/api/generate \
-d '{"model":"llama3","prompt":"Hello","stream":false}'部署完成后的本地服务地址
http://localhost:11434Runtime configuration
运行配置
镜像中的软件版本、端口和硬件建议会随模板一起提供，减少首次部署的准备工作。
软件版本
ollama0.1.27
cuda12.1
资源与网络
推荐 GPU
RTX 4090 或 A100
服务端口
11434
部署类型
GPU 云实例
More templates