此量化方式将k cache和v cache量化为8 bit,通过减少KV Cache的显存占用,提升吞吐。 仅 Atlas A2 推理系列产品 支持KV Cache int8量化。 KV Cache int8仅支持搭配W8A8使用。 bfloat16权重不支持KV Cache int8量化。 KV Cache int8搭配W8A8量化后权重目录结构: ├─ config.json ├─ quant_model_weight_w8a8.safetensors ├─ quant_model_description_w8a8.json ├─ tokenizer_