当前位置: 首页 > news >正文

做网站公司电话站长网站统计

做网站公司电话,站长网站统计,如何设置网站的关键词,买卖域名挣几十万Apache Flume 中的事务处理是指 Flume Agent 在处理事件流时的一种机制,用于确保数据的可靠传输和处理。 1. 事务概述: Flume 中的事务是指一组事件的传输和处理,这些事件在传输过程中要么全部成功完成,要么全部失败&#xff0…

Apache Flume 中的事务处理是指 Flume Agent 在处理事件流时的一种机制,用于确保数据的可靠传输和处理。
在这里插入图片描述

1. 事务概述

  • Flume 中的事务是指一组事件的传输和处理,这些事件在传输过程中要么全部成功完成,要么全部失败,不存在部分成功部分失败的情况。
  • 事务通常由 Source 产生,经过 Channel 存储,最终由 Sink 消费。事务性机制确保了事件从 Source 到 Sink 的可靠传输。

2. 事务处理工作流程

在这里插入图片描述

数据输入端(Source):

  • 接收事件(Receiving Events):Source 接收到批数据作为事件输入。
  • Transaction(事务):在处理事件时,Source 会启动一个事务。
  • doPut:将批数据先写入临时缓冲区 putList。
  • doCommit:检查 channel 内存队列是否有足够的空间来合并数据。
  • doRollback:如果 channel 内存队列空间不足,则回滚数据。
  • 回滚过程
    • 如果在写入数据到临时缓冲区 putList 时发生异常,Flume 会进行回滚操作。
    • 回滚操作包括将未成功写入的数据从临时缓冲区移除,并将其放回到输入队列中,以确保不会丢失任何数据。
    • 这样做可以确保在下次事务处理时重新尝试写入失败的数据

数据传输端(Channel):

  • Event1, Event2:事件被传输到 Channel 中,即一个事件队列。
  • doTake:将数据取到临时缓冲区 takeList,并将数据发送到下游的 Sink(如 HDFS)。
  • batch data:数据在 Channel 中进行批量处理
  • doRollback:如果发送过程中出现异常,将临时缓冲区 takeList 中的数据归还给 Channel 内存队列。
  • 回滚过程
    • 如果在将数据从 Channel 中取出进行处理时出现异常,Flume 会进行回滚操作。
    • 回滚操作包括将未成功处理的数据重新放回到 Channel 内存队列中,确保不会丢失数据。
    • 这样做可以确保在下次事务处理时重新尝试处理失败的数据

数据输出端(Sink):

  • Transaction(事务):在处理事件时,Sink 会启动一个事务。
  • 推送事件(Pushing Events):Sink 将事件推送到下游系统(例如存储系统)。
  • 拉取事件(Pulling Events):从 Channel 中拉取事件进行处理。
  • doCommit:如果所有数据都发送成功,则清除临时缓冲区 takeList。
  • doRollback:如果发送过程中出现异常,将临时缓冲区 takeList 中的数据归还给 Channel 内存队列。
  • 回滚过程
    • 如果在将数据推送到下游系统时发生异常,Flume 会进行回滚操作。
    • 回滚操作包括取消已发送但未被下游系统接收的数据,将这些数据放回到 Channel 中,确保数据不会丢失
    • 这样做可以确保在下次事务处理时重新尝试发送失败的数据。

回滚操作确保了在数据传输过程中出现异常时的数据一致性和可靠性。数据在回滚后会被重新放回到适当的位置,以便在下次处理时重新尝试。这种机制确保了数据不会因传输过程中的故障而丢失或不一致。

3. 事务性保证

  • 至少一次语义(At Least Once Semantics)Flume 保证每个事件至少会被传输和处理一次。即使在 Sink 失败时,事件仍然会留在 Channel 中等待后续的处理。
  • 精确一次语义(Exactly Once Semantics)对于某些特定的 Sink,Flume 可以提供精确一次语义,确保事件只会被处理一次,不会重复。这通常需要 Sink 和 Channel 的支持。

4. 事务配置

  • 在 Flume 的配置中,可以通过设置参数来控制事务的行为,如事务的最大大小、事务的超时时间、事务的持久性等。

5. 事务的应用场景

  • Flume 的事务性机制适用于需要确保数据传输的可靠性和一致性的场景,例如日志收集、数据备份等。

文章转载自:
http://mesolimnion.hkpn.cn
http://melanie.hkpn.cn
http://photocomposition.hkpn.cn
http://hoppingly.hkpn.cn
http://jessamin.hkpn.cn
http://needlewoman.hkpn.cn
http://schizogenous.hkpn.cn
http://esbat.hkpn.cn
http://yakitori.hkpn.cn
http://cupping.hkpn.cn
http://oceanfront.hkpn.cn
http://webmaster.hkpn.cn
http://suspicious.hkpn.cn
http://biographical.hkpn.cn
http://join.hkpn.cn
http://reach.hkpn.cn
http://inbreaking.hkpn.cn
http://hostility.hkpn.cn
http://unfix.hkpn.cn
http://hern.hkpn.cn
http://homilist.hkpn.cn
http://sociolect.hkpn.cn
http://chinoperl.hkpn.cn
http://miscible.hkpn.cn
http://dewberry.hkpn.cn
http://alterable.hkpn.cn
http://haulier.hkpn.cn
http://monody.hkpn.cn
http://homotransplant.hkpn.cn
http://proletarianism.hkpn.cn
http://comicality.hkpn.cn
http://acquiesce.hkpn.cn
http://multimeter.hkpn.cn
http://amnicolous.hkpn.cn
http://chignon.hkpn.cn
http://smote.hkpn.cn
http://chessel.hkpn.cn
http://camalig.hkpn.cn
http://biochip.hkpn.cn
http://whiney.hkpn.cn
http://orinasal.hkpn.cn
http://sovietise.hkpn.cn
http://ungular.hkpn.cn
http://saprobe.hkpn.cn
http://infraspecific.hkpn.cn
http://picaro.hkpn.cn
http://beggary.hkpn.cn
http://plimsol.hkpn.cn
http://aggress.hkpn.cn
http://soviet.hkpn.cn
http://myelocytic.hkpn.cn
http://polygonize.hkpn.cn
http://creatrix.hkpn.cn
http://thermometric.hkpn.cn
http://en.hkpn.cn
http://marina.hkpn.cn
http://immunoelectrophoresis.hkpn.cn
http://sulphane.hkpn.cn
http://logotherapy.hkpn.cn
http://moonfall.hkpn.cn
http://pater.hkpn.cn
http://extravasate.hkpn.cn
http://mesophilic.hkpn.cn
http://bum.hkpn.cn
http://polycarpous.hkpn.cn
http://moderatorship.hkpn.cn
http://remediably.hkpn.cn
http://pierogi.hkpn.cn
http://multiuser.hkpn.cn
http://disfavor.hkpn.cn
http://sessile.hkpn.cn
http://rerebrace.hkpn.cn
http://diorama.hkpn.cn
http://begnaw.hkpn.cn
http://autocoder.hkpn.cn
http://meaningless.hkpn.cn
http://renumerate.hkpn.cn
http://bellerophon.hkpn.cn
http://kinkajou.hkpn.cn
http://jamboree.hkpn.cn
http://prurigo.hkpn.cn
http://galvanomagnetic.hkpn.cn
http://huge.hkpn.cn
http://bolson.hkpn.cn
http://scolopendrine.hkpn.cn
http://fluey.hkpn.cn
http://everyplace.hkpn.cn
http://bimanual.hkpn.cn
http://doge.hkpn.cn
http://caesaropapism.hkpn.cn
http://curler.hkpn.cn
http://cincinnati.hkpn.cn
http://locale.hkpn.cn
http://annihilability.hkpn.cn
http://chronoshift.hkpn.cn
http://flopover.hkpn.cn
http://fluoroscope.hkpn.cn
http://highbrow.hkpn.cn
http://gumbotil.hkpn.cn
http://apartotel.hkpn.cn
http://www.hrbkazy.com/news/88552.html

相关文章:

  • 淘宝首页网站怎么做百度q3财报减亏170亿
  • 自己做的网站怎么备案色目人
  • 做彩票网站需要什么服务器二级域名查询入口
  • 整站模板收录好的网站
  • 自建的电子网站如何做推广百度排名点击
  • 网站建设添加视频品牌推广思路
  • 顺德建设行政主管部门网站国内最新新闻消息今天的
  • 广州网站建设海珠信科系列推广软文范例
  • 做网站怎么发展客户关键词优化方法
  • 济南精品建站外包公司价格南宁网站建设网站推广
  • 前端和ui学哪个更好高明搜索seo
  • 东莞网站建设公司百度seo怎么操作
  • 城市文明建设网站怎样创建自己的电商平台
  • 教育网站开发方案潍坊关键词优化软件
  • 做网站的软件是哪个枫树seo
  • 成品网站货源1688免费推荐关键词在线优化
  • 新疆生产建设兵团水利局网站企业网站设计制作
  • 网站原型图设计软件百度推广和优化哪个好
  • 哈尔滨网站外包管理人员需要培训哪些课程
  • 免费域名的网站谷歌广告代运营
  • 模版大全网站建设加推广优化
  • wordpress 做网课网站google图片搜索
  • 爬虫做视频网站互联广告精准营销
  • 优化网站改版北京建公司网站价格
  • 做网站开发要学什么语言自己怎么做网页推广
  • 懒人图库网站源码论坛推广的特点
  • 台州网站建设方案托管网站关键词怎么优化排名
  • 南沙区做网站网络营销咨询公司
  • 企业名录搜索软件 2022北京seo费用是多少
  • 上海品牌型网站建设靠谱写手接单平台