理光开发出高性能日语大语言模型
创始人
2024-06-06 22:21:03

新华社东京6月4日电(记者钱铮)日本理光公司日前表示,该公司利用和日本理化学研究所共同研发得到的指令数据训练理光的日语大语言模型,提高了模型的指令遵循性能。

理光公司3日发布新闻公报说,他们用10329份指令数据对公司研发的130亿参数日语大语言模型进行了指令调优。与调优前相比,大语言模型的指令遵循性能得分从1.19分大幅提高至3.02分。

指令调优是训练大语言模型的一个过程,主要为了缩小模型的下一个标记预测目标与用户期望的模型遵循人类指令的目标之间差距。

理光公司说,随着老龄化和随之而来的劳动人口减少,许多企业寄希望于利用人工智能来提高生产效率,实现高附加值的劳动方法。而要将人工智能应用于实际业务,需要让大语言模型追加学习包括企业所处行业、所经营业务、以及企业固有用语等在内的大量数据。

相比英语国家围绕大语言模型研发的竞争,日语大语言模型的研发相对滞后。这主要是因为日语的语法和表达与英语完全不同,以英语为基础的模型难以充分发挥功能,而研发适合日语的模型首先必须花时间研究日语的特征。

大语言模型的研发还需要大量数据,而日语的数据远少于英语,品质和多样性方面也存在问题,日语数据的收集和完善需要大量时间和成本。大语言模型研发还需要很高的算力,而日本超算和云等计算资源原本就不足,能运用这些计算资源的技术和人才也不足。(完)

相关内容

热门资讯

2025年3000元左右高性价... 在2025年的手机市场中,3000元价位段已成为各大品牌争夺的焦点区域。这个价位不仅能提供旗舰级的核...
事关互联网应用程序个人信息收集... 为规范互联网应用程序个人信息收集使用活动,保护个人信息权益,促进个人信息合理利用,根据《中华人民共和...
真是马倒成功了!义乌产的哭哭马... 网友:“这真是马倒成功了”。 1月10日,#义乌产的哭哭马火了#登上热搜第一。 媒体报道显示,近日,...
去年,C919只交付15架:产... 最近,中国商飞交出了国产大飞机C919的成绩单。 15架! 如何评价这一成绩? 对比历史数据看,20...
原创 《... 哈喽,大家好,今天小墨这篇评论,主要来分析侏罗纪公园蚊子设定成真 其成携带动物 DNA 的飞行采样器...