金融界2024年4月5日消息,据国家知识产权局公告,华为云计算技术有限公司申请一项名为“预训练方法、装置、计算设备集群、及存储介质“,公开号CN117830662A,申请日期为2022年9月。
专利摘要显示,本申请涉及人工智能技术领域,公开了一种预训练方法、装置、计算设备集群、及存储介质,该方法包括:将第一图像输入预训练模型得到多个第一像素的特征,其中,第一图像属于多个数据集中的第一数据集,多个数据集与多个标签集一一对应,第一图像包括上述多个第一像素,多个第一像素中的每个第一像素的标签都属于第一数据集对应的标签集,多个标签集中的所有标签分别有一个对应的文本特征;根据上述多个第一像素的特征和多个标签集中的所有标签对应的文本特征更新预训练模型。本申请能够利用多个数据集进行联合预训练,并能自动利用不同数据集的标注之间的联系,从而提升预训练效果。
来源:金融界