腾讯音乐天琴实验室MUSELight加速框架再升级，助力科技生产力进一步解放
1月29日，腾讯音乐正式发布了奇喵相机应用，用户可以上传单张图片，无需训练等待即可在10秒内生成好玩的形象复刻照片。而奇喵相机领先行业水平的绘图速度背后，则是得益于腾讯音乐娱乐集团（TME）旗下天琴实验室深耕多时的MUSE FaceIn形象复刻能力，以及MUSELight 大模型加速框架。在MUSELight的加持下，奇喵相机获得了 30%+ 的性能提升，极大缩短了出图时间，提升用户体验的“丝滑感”。
奇喵相机主页图
近日，天琴实验室正式发行MUSELight 2.0版本，这一业内领先的大模型推理加速应用，将从技术层面协助行业解决大语言模型（Large Language Models，LLMs）及Stable Diffusion（SD）模型在实际部署应用上的难点，为LLM和SD模型在多个领域的应用落地提供了有利支持，助推企业和机构更好实现数字化转型和智能化升级。
助力解决大模型部署难点，MUSELight 2.0版技术再升级
近一年来，在自然语言处理（Natural Language Processing，NLP）领域，随着ChatGPT等大语言模型问世，国内外开源大语言模型生态逐渐丰富，在不同领域均出现了庞大的需求和应用落地案例。此外，SD模型也在视觉生成领域掀起了一场“工业革命”，带动了一批新的AI画图需求和落地应用。然而，大模型部署所需的成本及硬件要求，让多数企业望而却步。如何提高模型的推理速度，并在一卡难求的情况下提高显卡利用率，降低大模型部署成本，已成为业内关注的热点问题。
作为腾讯音乐首个音视频实验室，天琴实验室针对大模型应用落地的痛点，已于今年5月发布了MUSELight大模型推理加速框架1.0版本，获得业内诸多好评。
据了解，天琴实验室本次研发的MUSELight加速框架2.0版本引入了Flash Attention 2、Flash Decoding，启发式自动选择不同的 Attention 实现算子等技术，支持多个主流开源LLM及SD模型的推理加速，且加速速度在业内遥遥领先。MUSELight通过对模型重新进行自顶向下的独创性优化，合理安排显存内存间数据交换、显存复用、优化计算流程，针对不同GPU架构，对不同类型计算层进行数据和计算线程的重排，以及特别的推理场景算子优化等技巧，使得其能够大幅提升显存利用率和计算效率，减少大量非必要的访存、计算开销，为解决模型推理部署中的瓶颈问题提供了强有力支持。
助推多个模型应用落地，MUSELight 2.0版广受认可
据悉，MUSELight 2.0版对SD模型加速版本lyraSD也进行了升级，新增了支持所有SD1.X 以及SDXL 版本模型加速的功能，且加速性能与业内其他加速框架相比提升了5%-40%不等。此外，lyraSD还支持多种主流SD绘图场景以及插件，如文生图、图生图、模型热切换，各种插件热切换（如Lora，LCM Lora，ControlNet，IPAdapter）等，并支持stable-diffusion-webui和diffusers框架下的推理。
lyraSD与目前开源的、使用广泛加速框架测速对比图
在奇喵相机之外，MUSELight更与腾讯云进行深度合作，向行业合作伙伴进行赋能，助力行业提供更快的大模型推理体验，同时大幅度降低成本。此外，MUSELight还与作为全球数字科创领域独角兽的APUS达成了云上云下全方位合作，提升绘图中台能力30%-40%，APUS负责人评价道：“MUSELight的加速效果和使用都非常好，很好地满足我们的需求。”
LLMs方面，升级版的MUSELight推理加速引擎可实现对ChatGLM-6B模型进行5.5倍加速，最大吞吐量达9000+ tokens/s。除了实现更高效的计算外，MUSELight 2.0版本还支持长序列场景下的推理，能满足更高的推理需求，扩充了LLM产品的应用场景，为用户提供更优秀的使用体验。
以lyraLLaMA-13B为例，MUSELight与行业内其他加速框架测速对比图
在实际应用落地方面，MUSELight为微信键盘的文本润色模块提供了部署支持，模型加速收益显著，达到了大语言模型的上线标准。具体而言，短文本可以基本“秒”生成，用户“几乎”无需等待；同时产品场景也得到扩充，能够支持长文本润色，排版优化等功能，进一步提升了用户体验。微信键盘文本润色模块相关负责人表示：“整体上看MUSELight为微信键盘文本润色模块带来了大约100%的速度提升以及50%的成本降低，很好地满足了业务快速上线的需求”。
除微信键盘外，天琴实验室还与腾讯会议、科恩实验室等业务团队合作完成了多个模型的大规模部署上线，得到了客户的广泛认可和高度评价。同时，MUSELight 2.0版本已为直播礼物实时绘图、壁画悬浮歌词音箱绘图等提供了解决方案。通过应用MUSELight加速框架，部署LLM及SD模型的成本大幅降低，让更多企业承担得起大模型的部署和应用费用，进一步推动了科技成果有效落地转化，“智赋”各行各业。天琴实验室表示，“未来会持续同步新功能和支持的新模型”，进一步降低企业大模型部署成本，助推大模型应用落地。
作为中国在线音乐娱乐服务开拓者，腾讯音乐娱乐集团始终致力于推动科技创新，通过技术和数据的赋能，为用户带来更好的产品体验。未来，AI领域和数字音乐产业势必将面临诸多新挑战，相信天琴实验室能够为行业的大模型应用带来更多案例与赋能，引领数字音乐行业高质量发展。