谷歌近日推出了一种新的压缩算法TurboQuant，旨在镌汰东说念主工智能系统的内存需求。该算法特地针对大谈话模子和向量搜索引擎中的键值缓存瓶颈问题。跟着高下文窗口的增大开云体育，这些缓存成为主要的内存瓶颈。TurboQuant不错在无需再行检修或微调模子的情况下，将键值缓存压缩至3比特精度，何况基本保捏模子准确率不受影响。

测试划定涌现，TurboQuant对包括Gemma和Mistral在内的开源模子已毕了约6倍的键值缓存内存压缩后果。在英伟达H100加快器上的测试中，与未量化的键向量比拟开云体育，该算法最高可已毕约8倍的性能提高。商讨东说念主员默示，这项工夫不仅适用于AI模子，还能增宽广限制搜索引擎的向量检索武艺。谷歌计算在2026年4月的海外学习表征会议上展示这一工夫。