| 维度 | 取值 | 说明 | | --- | --- | --- | | 量化对象 | 注意力 Q/K/V 激活 | 送入 Flash Attention 的激活张量(形状 (B, H, S, D)),faq/fak/fa_v 三分支均被量化;K/V 承接缓存压缩,Q 使能低精度得分计算 | | 位宽 | 8bit | Q/K/V 均为 8bit | | 数据类型 | FP8(E4M3) | 8bit 浮点,指数4位、尾数3位,可表示最大值448 | | 参数获取方式 | 动态 | 每个 token 前向在线求 min/max 并计算 scale,免校准 | | 量化粒度 | per-to