携程网申请数据处理专利,能够实现对海量埋点数据进行分析
金融界
2024-02-02 17:07:09

原标题:携程网申请数据处理专利,能够实现对海量埋点数据进行分析

金融界2024年1月31日消息,据国家知识产权局公告,携程旅游网络技术(上海)有限公司申请一项名为“基于数据湖的埋点数据处理方法、系统、设备及存储介质“,公开号CN117472693A,申请日期为2023年11月。

专利摘要显示,本发明提供了基于数据湖的埋点数据处理方法、系统、设备及存储介质,该方法包括:根据用户在分析平台上配置的埋点私参结构,为每一个埋点创建对应的Hive表和Iceberg表;基于新增参数的埋点、埋点结构、埋点字段类型更新或新建埋点所对应的Iceberg表,新增参数对应的字段;通过编写Spark任务,对全量的埋点数据进行处理;通过Spark任务与Iceberg表之间接口,将Hive表中的数据批量写入到Iceberg表中;使用SQL计算引擎向外部提供查询服务,通过SQL计算引擎查询Iceberg表数据。本发明能够实现对海量埋点数据进行分析,对于上亿的数据进行分析时,能够做到秒级输出分析结果,提高了对埋点数据的处理速度和数据写入Iceberg数据湖的效率,并且保证了埋点分析功能的可用性和时效性。

来源:金融界

相关内容

热门资讯

原创 6... 国家航天局商业航天司刚挂牌成立,一个万亿级的资本盛宴正在拉开帷幕。 航天科技、航天科工两大集团目前资...
2025年人工智能核心产业规模... 来源:21世纪经济报道 记者从中国信息通信研究院了解到,今年以来,我国人工智能产业呈加速发展态势,2...
火了!订单已排到明年5月→ 一双袜子,既能与各大知名企业建立深度合作,又能创造过亿产值、赢得市场广泛赞誉,作为大悟县重点引进的服...
人形机器人:热潮之下需有冷思考 来源:中国质量报 □ 胡立彪 当前,人形机器人产业热潮涌动。数据显示,今年前8个月,我国机器人领域一...
原创 高... 在全球手机市场中,高通骁龙的实力一直都很强,无论是性能跑分还是手机厂商搭载的数量,都属于佼佼者的存在...