【大模型框架】【推理加速】KV CACHE
创始人
2024-11-15 04:02:47

1. 思想

核心思想是空间换时间来进行加速

2. 基本原理

transformer是自回归生成模型，abc三个字符预测def
过程是:
 abc -> d
 d进行回归得到abc,回归讲究的是回去，如香港回归
 abcd -> e
 这里abc的运算中间值Q V可以保存下来作为Cache，避免后面继续再算了
 abcde -> f
 最终得到def

参考：

怎么加快大模型推理？10分钟学懂VLLM内部原理，KV Cache，PageAttention_哔哩哔哩_bilibili

https://zhuanlan.zhihu.com/p/700197845icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/700197845

上一篇：Gather 全球化进程迅速 多重利好推动未来发展

下一篇：LeetCode：2740. 找出分区值（Java 排序）

相关内容

热门资讯

裸辞做“一人公司”，我后悔了 去年这个时候，一位以色列程序员正在东南亚旅行。他顺手把一个在脑子里转了很久的想法做成了产品，一个让任...
南京建成国内首个Pre-6G试... 4月21日，2026全球6G技术与产业生态大会在南京开幕。全息互动技术展台前，一名远在北京的工作人员...
超梵求职受邀参加“2025抖音... 超梵求职受邀参加“2025抖音巨量引擎成人教育行业生态大会”，探讨分享优质内容传播，服务万千学员。 ...
摩托罗拉Razr 2026（R... IT之家 4 月 22 日消息，摩托罗拉宣布新一代 Razr 折叠手机将于 4 月 29 日在美国发...
库克卸任，特纳斯领航：苹果新纪... 苹果首席执行官蒂姆·库克将卸任，硬件工程主管约翰·特纳斯将接任，苹果公司今天宣布此事。 库克将在夏季...