金融界2024年1月31日消息,据国家知识产权局公告,携程旅游网络技术(上海)有限公司申请一项名为“基于数据湖的埋点数据处理方法、系统、设备及存储介质“,公开号CN117472693A,申请日期为2023年11月。
专利摘要显示,本发明提供了基于数据湖的埋点数据处理方法、系统、设备及存储介质,该方法包括:根据用户在分析平台上配置的埋点私参结构,为每一个埋点创建对应的Hive表和Iceberg表;基于新增参数的埋点、埋点结构、埋点字段类型更新或新建埋点所对应的Iceberg表,新增参数对应的字段;通过编写Spark任务,对全量的埋点数据进行处理;通过Spark任务与Iceberg表之间接口,将Hive表中的数据批量写入到Iceberg表中;使用SQL计算引擎向外部提供查询服务,通过SQL计算引擎查询Iceberg表数据。本发明能够实现对海量埋点数据进行分析,对于上亿的数据进行分析时,能够做到秒级输出分析结果,提高了对埋点数据的处理速度和数据写入Iceberg数据湖的效率,并且保证了埋点分析功能的可用性和时效性。
来源:金融界