Ollama
在本地运行大型语言模型，支持 Llama、Mistral 等主流开源模型
推荐 GPU：RTX 4090 或 A100
查看模板About this template
模板概览
Text Generation Inference (TGI) 是 HuggingFace 开发的高性能 LLM 推理服务器。它针对 Transformer 模型进行了深度优化，支持张量并行、Flash Attention、动态批处理等技术，为生产环境提供稳定可靠的推理服务。
Flash Attention 和 Paged Attention
张量并行多 GPU 推理
动态批处理优化吞吐量
支持量化和推测解码
gRPC 和 REST API
与 HuggingFace Hub 无缝集成
Model parameters
模型参数
以下是该模板推荐的默认配置，可以根据实例规格和应用场景继续调整。
上下文长度
8K – 128K
PRESET 01
注意力
Flash Attention
PRESET 02
量化支持
BitsAndBytes
PRESET 03
接口协议
gRPC / REST
PRESET 04
批处理
动态批处理
PRESET 05
并行方式
张量并行
PRESET 06
Supported functionality
能力支持
不同类型的模型拥有各自专用的输入输出方式，部署后可通过统一的服务地址进行访问。
输入能力
文本代码
输出能力
文本
部署包含：GPU 加速流式响应健康检查日志监控
API usage
快速开始
部署完成后，可使用默认端口调用 Text Generation Inference 服务。
快速开始
curlcurl http://localhost:8080/generate_stream \
-H "Content-Type: application/json" \
-d '{"inputs":"Explain GPU inference in one sentence"}'部署完成后的本地服务地址
http://localhost:8080Runtime configuration
运行配置
镜像中的软件版本、端口和硬件建议会随模板一起提供，减少首次部署的准备工作。
软件版本
tgi1.4.2
cuda12.1
资源与网络
推荐 GPU
A100 或 H100
服务端口
8080
部署类型
GPU 云实例
More templates