术语/缩略语 |
含义 |
|---|---|
AccTransformer |
AccTransformer是面向通用模型的推理服务化场景，实现开放、可扩展的推理服务化平台架构，支持对接业界主流推理框架接口，满足大语言模型、文生图等多类型模型的高性能推理需求。 |
LLM |
Large Language Model，大语言模型。 |
TGI |
Text Generation Inference，文本生成推理。是一个用于部署和服务大型语言模型的工具包。TGI为最流行的开源LLM提供高性能文本生成，包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等。 |
vLLM |
vLLM是一个开源的大模型推理加速框架。 |
Trition |
Triton是一个开源的推理服务软件，全称为Triton Inference Server。通过Triton，您可以在基于GPU或CPU的各种基础架构（云、数据中心或边缘）上部署、运行和扩展来自任何框架的AI模型。 |
GMIS |
General Model Inference Scheduler，是一个用于模型推理的调度器。它在大型模型训练中起着关键作用，旨在减少计算资源的空闲时间，提高计算资源的利用率，从而加快模型训练和模型推理的进度模型推理调度器，提供各种模型调度能力。 |
LLM-RT |
运行时的插件。 |
Daemon |
Daemon（守护进程）是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。它不需要用户输入就能运行，同时提供某种服务，不仅对整个系统，还可以对某个用户程序提供服务。 |
Backend |
模型执行器，推理服务化框架后端对接模型推理层模块。 |
EndPoint |
推理服务化协议和接口封装，兼容Triton/OpenAI/TGI/vLLM等第三方框架接口。 |
DevOps |
Development和Operations的组合词，是一种重视“软件开发人员（Dev）”和“IT运维技术人员（Ops）”之间沟通合作的文化、运动或惯例。它通过自动化“软件交付”和“架构变更”的流程，使得构建、测试、发布软件能够更加地快捷、频繁和可靠。 |
PGP |
Pretty Good Privacy，PGP是一种加密通信协议，可用于保护电子邮件、文件和其他数据的机密性和完整性。数字签名是一种数字证书，用于验证文件或电子邮件的发送者身份和文件或电子邮件的完整性。PGP签名指南提供了使用PGP进行数字签名的详细步骤和建议，以确保签名的安全性和有效性。 |
haveged |
haveged服务，提供一个简单易用的不可预测随机数生成器，其基于HAVEGE算法。 |
KMC |
Key Management Center，密钥管理系统。用于管理和保护加密算法中使用的密钥。它可以为企业或组织提供安全的密钥存储、密钥分发、密钥轮换、密钥备份和密钥恢复等功能。KMC秘钥库可以确保密钥的安全性和可靠性，防止密钥泄露、丢失或被篡改。同时，KMC秘钥库还可以支持多种加密算法和密钥长度，满足不同应用场景的需求。 |
CB |
Continuous Batching，连续批处理。 |
HDK |
Hardware Developer Kit，硬件开发工具包。 |