#基础设施 · AI快讯

1天前

作者称团队此前加入了 session warming 功能，但目前默认禁用。作者表示，该功能本质上是向推理服务商“撒谎”，让客户端显得比实际更活跃，并消除了服务商可用于优化自身资源的信号，因此好奇推理服务商对此会作何反应。