模型库/大语言模型/llama.cpp

大语言模型支持一键部署TEXT / REASONING

llama.cpp

llama-cpp•GPU Cloud Template

高效的 CPU/GPU LLM 推理引擎，支持量化模型

LLM量化CPU/GPU

一键部署查看使用示例

准备好开始构建？

模板已预置运行环境、常用依赖和默认端口，选择 GPU 后即可启动服务。

立即部署

运行模式按需 GPU 实例

环境准备预装依赖

访问端口8080

About this template

模板概览

llama.cpp 是用 C++ 编写的高性能 LLM 推理库，支持 CPU 和 GPU 加速。它专注于效率和可移植性，支持 4-bit、5-bit、8-bit 等多种量化格式，让你能够在有限的硬件资源上运行大型模型。

纯 C++ 实现，高性能低延迟

支持 4-bit/5-bit/8-bit 量化

CPU 和 GPU（CUDA、Metal）加速

支持 GGUF 格式模型

OpenAI 兼容 HTTP 服务器

Model parameters

模型参数

以下是该模板推荐的默认配置，可以根据实例规格和应用场景继续调整。

模型格式

GGUF

PRESET 01

上下文长度

4K – 32K

PRESET 02

量化格式

Q4 / Q8

PRESET 03

推理后端

CPU / CUDA / Metal

PRESET 04

接口协议

OpenAI 兼容

PRESET 05

推荐显存

4 GB 起

PRESET 06

Supported functionality

能力支持

不同类型的模型拥有各自专用的输入输出方式，部署后可通过统一的服务地址进行访问。

输入能力

文本代码

输出能力

文本

部署包含：GPU 加速流式响应健康检查日志监控

API usage

快速开始

部署完成后，可使用默认端口调用 llama.cpp 服务。

TEXT / REASONING

快速开始

curl

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"local-model","messages":[{"role":"user","content":"Hello"}]}'

部署完成后的本地服务地址http://localhost:8080

Runtime configuration

运行配置

镜像中的软件版本、端口和硬件建议会随模板一起提供，减少首次部署的准备工作。

软件版本

llama.cppb2024

cuda12.1

资源与网络

llama.cpp

准备好开始构建？

模板概览

模型参数

能力支持

快速开始

运行配置

更多同类模板

Ollama

vLLM

Open WebUI

Text Generation Inference