商汤科技：书生·浦语2.0正式发布回归语言建模本质_科技资讯

金融界

2024-01-18 11:17:53

观点网讯：1月17日，据商汤科技消息，商汤科技与上海AI实验室联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语2.0（InternLM2）。

据介绍，InternLM2的核心理念在于回归语言建模的本质，致力于通过提高语料质量及信息密度，实现模型基座语言建模能力质的提升，进而在数理、代码、对话、创作等各方面都取得长足进步，综合性能达到开源模型的领先水平。

InternLM2是在2.6万亿token的高质量语料上训练得到的。沿袭第一代书生·浦语（InternLM）设定，InternLM2包含7B及20B两种参数规格及基座、对话等版本，满足不同复杂应用场景需求，继续开源，提供免费商用授权。

此外，InternLM2支持20万 tokens的上下文，能够一次性接受并处理约30万汉字（约五六百页的文档）的输入内容，准确提取关键信息，实现长文本中“大海捞针”。

来源：观点网