当前位置: 首页 > news >正文

沈阳网站建设找德泰诺/最有效的线上推广方式

沈阳网站建设找德泰诺,最有效的线上推广方式,调用wordpress文章,邯郸网站建设服务1. kafka是什么 Kafka是由LinkedIn开发的一个分布式的消息队列。它是一款开源的、轻量级的、分布式、可分区和具有复制备份的(Replicated)、基于ZooKeeper的协调管理的分布式流平台的功能强大的消息系统。与传统的消息系统相比,KafKa能够很好…

1. kafka是什么

Kafka是由LinkedIn开发的一个分布式的消息队列。它是一款开源的、轻量级的、分布式、可分区和具有复制备份的(Replicated)、基于ZooKeeper的协调管理的分布式流平台的功能强大的消息系统。与传统的消息系统相比,KafKa能够很好的处理活跃的流数据,使得数据在各个子系统中高性能、低延迟地不停流转。

Kafka使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。

2. 什么是消息队列

消息队列:是在消息的传输过程中保存消息的容器。

消息在原始的传输过程中是直接传输的,端对端的数据传递,但是有的时候我们需要将消息数据进行部分的缓冲存储,以达到方便使用的目的,中间的组件可以做消息的传输中间介质,这个组件就是消息队列。更像是一个消息的蓄水池一样的功能

类比现实中更像是高速公路的休息区

3. 消息队列的好处

缓冲

解耦

异步

如果是同步服务,如上图,那么用户的体验度是非常差的,因为需要将短信发送完毕然后在返回成功通知,页面才会跳转,但是如果短信发送遇见网络等问题,没有办法直接发送,这个时候客户需要等待很长的时间

直接将需要发送的消息放入到消息队列中,然后消息服务会不停的扫描队列中需要发送的消息将数据发送出去,但是不会让客户等待,用户会大大的增加体验度

抵挡洪峰

如上图,我们需要处理流量的波峰和抖动,那么我们需要设定整个集群的处理能力达到最大的5M/s才可以,但是大多数时候这个处理能力都是浪费的,我们用不到

我们可以使用消息队列进行数据的存储,然后计算服务慢慢去消息队列中拉取数据进行消费就可以了,可以在一定程度节省成本

4. 消费订阅模式

通过以上的讲解,我们可以了解整个kafka的原理和架构了,消息队列其实就是一个数据传输过程中的缓冲区,能够存储数据,在流程中作为一个中间的介质,承上启下,在特定的情景下起到解耦,缓冲,异步的功能。

作为中间的介质,它的上下游需要传输和拉取数据,上游传输数据的部分称之为生产者,生产数据发送到kafka中,下游拉取数据的组件称之为消费者,自己拉取想要的数据并且进行数据的计算和处理,消费者和消费者以及kafka是三个部分,大家一定要注意,他们不是一个整体

其中生产者只是发送数据到队列中,但是消费者在消费数据的时候却有两种不同的方式

1.点对点消费

点对点的方式,在队列中的数据有且只有一个消费者可以消费数据,在消费完毕数据以后会将数据从队列中删除,这个数据有且只有一次消费

2.发布订阅模式

发布订阅模式中每个人可以消费数据,这个数据会在队列中存储七天,每个订阅这个数据的人都可以消费到相应的数据,并且可以重复的进行消费数据,在大多数情况下我们都使用发布订阅模式

5. kafka基础架构

kafka作为消息队列,主要在大数据的处理和计算过程中起到承上启下的作用,作为中间的一个缓冲中间件,那么它首先就要具备数据的稳定性和可靠性,并且存储数据量和吞吐量以及数据的检索速度一定要有所保证,那么单台机器肯定是没有办法解决这个问题的,在之前的所有的大数据组件部分我们都有所介绍,首先要保证性能一定要多台机器,分布式计算和存储才能保证性能,其次就是数据一定要做副本备份才能在多台机器的集群中保证数据的稳定性。所以首先要给大家介绍的就是kafka的集群组成结构

kafka首先我们要知道它不是一个主从集群,之前的课程中我们讲过,主从集群中节点有的天生就是主节点不能被其他的从节点替代,在非主从集群中每个节点都可以作为主节点,如果一个节点宕机那么其他的节点可以选举为主节点管理整个集群,在kafka集群中每个节点都称之为broker,其中每个节点都存在一个kafka_controller组件,但是只有一台节点的controller组件是活跃状态的,其他的都是standby状态,只有主节点宕机了,那么从节点才会选举成为主节点,但是究竟谁是主节点呢?这个时候我们需要一个外部协调管理组件zookeeper进行集群选举

http://www.jmfq.cn/news/5349439.html

相关文章:

  • 土地流转网站建设项目/怎么给公司做网站推广
  • 四川网站建设外包服务/自己如何免费做网站
  • 淄博网站建设乐达/南京响应式网站建设
  • 电子图书馆网站建设/青岛谷歌优化公司
  • 文登住房和城乡建设局网站/怎么样创建网站
  • 大连手机自适应网站建设服务/山东服务好的seo
  • 部门网站建设整改/竞价排名
  • 遵义市网站建设公司/游戏推广是什么工作
  • 建设网站的作用及意义/网站收录提交入口
  • 会昌县城乡规划建设局网站/洛阳seo网站
  • 最优秀的无锡网站建设/广州顶正餐饮培训学校
  • 长春星宿网站建设公司怎么样/推广信息发布平台
  • 内蒙古建设厅建筑网站/今日新闻头条
  • 青岛建设集团网站/谷歌浏览器下载安装(手机安卓版)
  • 深圳哪家网站建设公司好/汽车行业网站建设
  • 疆生产建设兵团纪委监委网站/推广软件一键发送
  • 公共资源交易网站建设方案/营销工具
  • 淮安网站建设电话/百度推广怎么登陆
  • 网站平台建设服务承诺书/营销策略4p
  • 四川建设监理协会网站/上海高端网站定制
  • 北京朝阳区住房和城乡建设委员会网站/购买域名的网站
  • 建设工程网上质检备案网站/网络营销推广的基本手段
  • 蛇口网站建设/企业网站优化技巧
  • 北京建设部网站/公司软文代写
  • 西安市规划建设局网站/兰州seo培训
  • 金寨县建设局网站/外链平台
  • 浙江省建设厅干部学校门户网站/东莞营销网站建设推广
  • 宁夏住房和城乡建设厅网站办事窗口/广告推广免费发布
  • 学网站建设与管理好吗/信息流广告优化
  • 网站建设内容清单/建个网站需要多少钱?