推理底座调优的适用性判断

推理底座调优的适用性判断推理调优前先区分模型计算、内存传输和请求调度的瓶颈。不同瓶颈对应的手段不能互相替代。选择最小改动批处理适合可等待任务量化需要评估输出误差缓存只对重复输入有效。先验证一个假设再扩大变更。不外推局部结果记录模型、硬件、输入形状和限制条件不同版本或负载下要重新测量。