KVSharer Cache 共享 KV 基于不相似性成功跨层
一、背景本文中咱们引见一种最新的KVCache共享论文KVSharer,与之前经常出现的层内共享不同,KVSharer重要关注跨层共享,并且是整个层的共享,对应的论文,[2410.18517]KVSh...
共1页 1条
一、背景本文中咱们引见一种最新的KVCache共享论文KVSharer,与之前经常出现的层内共享不同,KVSharer重要关注跨层共享,并且是整个层的共享,对应的论文,[2410.18517]KVSh...