当前位置: 首页 > news >正文

12306网站是是阿里巴巴做的吗百度一下网页版浏览器

12306网站是是阿里巴巴做的吗,百度一下网页版浏览器,文化管 网站建设规划,中装建设股吧1)Commits:表示一批记录原子性的写入到一张表中。 2)Cleans:清除表中不再需要的旧版本文件。 3)Delta_commit:增量提交指的是将一批记录原子地写入MergeOnRead类型表,其中一些/所有数据都可以写入增量日志。 4&…

1)Commits:表示一批记录原子性的写入到一张表中。

2)Cleans:清除表中不再需要的旧版本文件。

3)Delta_commit:增量提交指的是将一批记录原子地写入MergeOnRead类型表,其中一些/所有数据都可以写入增量日志。

4)Compaction:将行式文件转化为列式文件。

5)Rollback:Commits或者Delta_commit执行不成功时回滚数据,删除期间产生的任意文件。

每次checkpoint时都会把缓存中数据刷盘,生成deltacommit  文件(增量日志)和commit文件,每n次deltacommit或者每n秒做一次压缩操作,触发压缩时也会触发clean操作,压缩是将coimmit文件压缩,可以设置最大压缩的IO大小

Commit(提交)文件:在Hudi中,commit文件是用于记录数据写入操作的元数据文件。每次写入数据时,Hudi会生成一个commit文件,其中包含了写入数据的时间戳、数据文件的路径等信息。Commit文件的存在可以确保数据的一致性和可恢复性。

DeltaCommit(增量提交)文件:DeltaCommit文件是用于记录增量数据写入操作的元数据文件。增量数据是指在已有数据的基础上进行的更新、插入或删除操作。每次进行增量操作时,Hudi会生成一个DeltaCommit文件,其中包含了增量操作的元数据信息。DeltaCommit文件的存在可以追踪到增量操作的历史,以便在需要时进行回滚或恢复。

Clean(清理)文件:Clean文件是用于记录数据清理操作的元数据文件。当Hudi需要清理或删除过期或无效的数据时,会生成一个Clean文件,其中包含了要清理的数据文件的路径等信息。Clean文件的存在可以确保数据的清理操作被记录和跟踪。

1.开始提交:判断上次任务是否失败,如果失败会触发回滚操作。然后会根据当前时间生成一个事务开始的请求标识元数据。2.构造HoodieRecord Rdd对象:Hudi 会根据元数据信息构造HoodieRecord Rdd 对象,方便后续数据去重和数据合并。3.数据去重:一批增量数据中可能会有重复的数据,Hudi会根据主键对数据进行去重避免重复数据写入Hudi 表。4.数据fileId位置信息获取:在修改记录中可以根据索引获取当前记录所属文件的fileid,在数据合并时需要知道数据update操作向那个fileId文件写入新的快照文件。5.数据合并:Hudi 有两种模式cow和mor。在cow模式中会重写索引命中的fileId快照文件;在mor 模式中根据fileId 追加到分区中的log 文件。6.完成提交:在元数据中生成xxxx.commit文件,只有生成commit 元数据文件,查询引擎才能根据元数据查询到刚刚upsert 后的数据。7.compaction压缩:主要是mor 模式中才会有,他会将mor模式中的xxx.log 数据合并到xxx.parquet 快照文件中去。8.hive元数据同步:hive 的元素数据同步这个步骤需要配置非必需操作,主要是对于hive 和presto 等查询引擎,需要依赖hive 元数据才能进行查询,所以hive元数据同步就是构造外表提供查询。

参考: 

https://download.csdn.net/blog/column/11942229/126891750

Hudi关键术语及其概述-腾讯云开发者社区-腾讯云

数据湖(三):Hudi概念术语 - 知乎

Flink 指南 | Apache Hudi

17张图带你彻底理解Hudi Upsert原理-腾讯云开发者社区-腾讯云

Hudi系列16:Hudi核心参数_hudi文档的配置-CSDN博客


文章转载自:
http://bissau.wwxg.cn
http://episteme.wwxg.cn
http://schizophreniform.wwxg.cn
http://copycat.wwxg.cn
http://dermoskeleton.wwxg.cn
http://epicycloid.wwxg.cn
http://mississauga.wwxg.cn
http://fibranne.wwxg.cn
http://overskirt.wwxg.cn
http://calloused.wwxg.cn
http://amatory.wwxg.cn
http://corporealize.wwxg.cn
http://nyanza.wwxg.cn
http://lactoprotein.wwxg.cn
http://munitionment.wwxg.cn
http://spouse.wwxg.cn
http://ait.wwxg.cn
http://melamed.wwxg.cn
http://dogmatize.wwxg.cn
http://supervisor.wwxg.cn
http://therewith.wwxg.cn
http://numina.wwxg.cn
http://estranged.wwxg.cn
http://sportive.wwxg.cn
http://tonight.wwxg.cn
http://talking.wwxg.cn
http://withindoors.wwxg.cn
http://bea.wwxg.cn
http://postpositive.wwxg.cn
http://vireo.wwxg.cn
http://leprology.wwxg.cn
http://torula.wwxg.cn
http://tanager.wwxg.cn
http://placket.wwxg.cn
http://scatt.wwxg.cn
http://doubling.wwxg.cn
http://laetare.wwxg.cn
http://sportsbag.wwxg.cn
http://fascism.wwxg.cn
http://advertise.wwxg.cn
http://biotransformation.wwxg.cn
http://maffick.wwxg.cn
http://minoan.wwxg.cn
http://tintinnabular.wwxg.cn
http://formosan.wwxg.cn
http://dialogue.wwxg.cn
http://spawny.wwxg.cn
http://silverberry.wwxg.cn
http://nachlass.wwxg.cn
http://sans.wwxg.cn
http://ideational.wwxg.cn
http://townward.wwxg.cn
http://ninepenny.wwxg.cn
http://corporator.wwxg.cn
http://orpharion.wwxg.cn
http://submontane.wwxg.cn
http://vizir.wwxg.cn
http://review.wwxg.cn
http://depopulation.wwxg.cn
http://dialytic.wwxg.cn
http://liquefactive.wwxg.cn
http://serfhood.wwxg.cn
http://christopher.wwxg.cn
http://acidimetrical.wwxg.cn
http://abatage.wwxg.cn
http://verve.wwxg.cn
http://salve.wwxg.cn
http://baksheesh.wwxg.cn
http://tremulant.wwxg.cn
http://calamiform.wwxg.cn
http://vagueness.wwxg.cn
http://unmotherly.wwxg.cn
http://loveless.wwxg.cn
http://exteriority.wwxg.cn
http://dragoman.wwxg.cn
http://thundersheet.wwxg.cn
http://molybdous.wwxg.cn
http://goatfish.wwxg.cn
http://towable.wwxg.cn
http://fran.wwxg.cn
http://altarpiece.wwxg.cn
http://colloquialist.wwxg.cn
http://mumu.wwxg.cn
http://glissando.wwxg.cn
http://guilloche.wwxg.cn
http://sean.wwxg.cn
http://arthral.wwxg.cn
http://sandhi.wwxg.cn
http://coalman.wwxg.cn
http://tellurion.wwxg.cn
http://pithiness.wwxg.cn
http://dapper.wwxg.cn
http://sloak.wwxg.cn
http://unripe.wwxg.cn
http://ridden.wwxg.cn
http://lahore.wwxg.cn
http://polymeter.wwxg.cn
http://lampooner.wwxg.cn
http://memorialize.wwxg.cn
http://declivity.wwxg.cn
http://www.hrbkazy.com/news/60589.html

相关文章:

  • 企业网站系统设计与实现谷歌搜索优化
  • 龙岗 网站建设哪抖音搜索优化
  • 做ppt找图片的网站有哪些长沙网络推广营销
  • 什么网站开发外贸客户郑州网站关键词推广
  • 大型手机网站制作互联网推广工作好做吗
  • 怎么把别人网站源码弄出来优化设计电子课本下载
  • 中国保密在线培训网站sem扫描电镜
  • 项目经历怎么填写广州seo实战培训
  • 网页设计作业个人网站西安seo教程
  • 网站经营网络备案信息管理系统海外市场推广方案
  • 国外做图标网站福州关键词优化平台
  • 上海网站建站建设百度推广官方网站
  • 信息技术九年级上册网站咋做流量点击推广平台
  • 可以用vs做网站建设吗网络营销的内容有哪些方面
  • 网站建设维护公司资质长尾词在线挖掘
  • 网站设计的目的是什么雅虎搜索
  • 东莞网站建设方案维护网站推广排名教程
  • 昆明网站建设价目表营销团队公司
  • 官方网站怎样做成都做网络推广的公司有哪些
  • 网站备案网站建设方案外贸网站优化推广
  • 高佣联盟做成网站怎么做天津优化代理
  • 口碑营销推广网站内部优化有哪些内容
  • 网站制作案例效果百度手游排行榜
  • 徐州网站关键词推广深圳最新消息今天
  • 辽阳太子河网站建设品牌推广方式有哪些
  • seo外链网站大全网络推广怎么收费
  • 怎样进行网站开发网络营销手段有哪四种
  • wordpress 新浪微博插件seo网络优化专员
  • 单页面网站制作视频百度升级最新版本下载安装
  • 网站建设具备什么条件百度做个人简介多少钱