AI工程：大模型应用开发实战

预填充 模型并行处理输入token。一次能处理多少个token取决于硬件在给定时间内的运算能力。因此，预填充是计算受限的。 解码 模型每次生成一个输出token。从宏观层面看，这一步通常涉及加载大型矩阵（如模型权重），这受限于硬件的数据加载速度。因此，解码是内存带宽受限的。