大模型工程

注意力变体

通过 KV 共享、低秩压缩或稀疏连接降低注意力缓存与计算成本。

核心要点