携程网申请数据处理专利,能够实现对海量埋点数据进行分析
金融界
2024-02-02 17:07:09

原标题:携程网申请数据处理专利,能够实现对海量埋点数据进行分析

金融界2024年1月31日消息,据国家知识产权局公告,携程旅游网络技术(上海)有限公司申请一项名为“基于数据湖的埋点数据处理方法、系统、设备及存储介质“,公开号CN117472693A,申请日期为2023年11月。

专利摘要显示,本发明提供了基于数据湖的埋点数据处理方法、系统、设备及存储介质,该方法包括:根据用户在分析平台上配置的埋点私参结构,为每一个埋点创建对应的Hive表和Iceberg表;基于新增参数的埋点、埋点结构、埋点字段类型更新或新建埋点所对应的Iceberg表,新增参数对应的字段;通过编写Spark任务,对全量的埋点数据进行处理;通过Spark任务与Iceberg表之间接口,将Hive表中的数据批量写入到Iceberg表中;使用SQL计算引擎向外部提供查询服务,通过SQL计算引擎查询Iceberg表数据。本发明能够实现对海量埋点数据进行分析,对于上亿的数据进行分析时,能够做到秒级输出分析结果,提高了对埋点数据的处理速度和数据写入Iceberg数据湖的效率,并且保证了埋点分析功能的可用性和时效性。

来源:金融界

相关内容

热门资讯

秒懂普及,微信斗牛房卡专卖店联... 微信炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡...
两分钟讲述,牛牛房卡购买渠道卡... 卡卡大厅是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:160470940许多玩家在游戏中会购买房卡...
一分钟教会你,微信金花链接房卡... 牛魔王正厅是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:160470940许多玩家在游戏中会购买房...
安卓系统奇幻变脸古装,安卓系统... 你知道吗?安卓系统最近可是来了一场奇幻的变脸秀,简直就像是从现代穿越到了古代,让人眼前一亮!想象那些...
秒懂普及,有没有炸金花房卡买新... 新毛豆互娱是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:15984933许多玩家在游戏中会购买房卡...