猖獗僵尸ol，传授舌战崔永元，反恐精英马拉松达人
作者 ｜ 刘彬
谋划 ｜ Tina
金山云创立于 2012 年，是中国前三的互联网云服务商，2020 年 5 月在USA纳斯达克上市，买卖范围普及环球多个国家和区域。成立 8 年以来，金山云始终对峙以客户为中心的服务理念，供应平安、靠得住、不乱、高品质的云较量服务。
金山云日志服务是针对日志类内容处理的一站式服务体系，供应从日志采集、日志存储到日志检索阐发、及时消费、日志送达等多项服务，支撑着多个买卖线的日志查询和监控买卖，提拔金山云各个产物线的运维、运营效率，眼前每天内容量级在 200 TB。
作为针对日志类内容处理的一站式服务体系，金山云日志服务必要具备以下特征：
内容采集：基于 Logstash 和 Filebeat 进行定制开发，支持更多内容采集形态。
内容查询：支持 SQL 和 ElasticSearch Query String 语法。
内容消费：基于 Pulsar 对外部 socket 进行封装，有些产物线（想在掌握台展示日志滚动的场景）能够通过整个日志服务的 websocket 协议实现；也能够通过露出的 REST API 查询全部日志内容（即作为队列来使用）。
异常告警：在掌握台检索内容后，把内容以及检索语法留存为告警项，支持配置团体的告警励略及告警方式。检索到异常后，后台会通过启动相应的任务实实际时告警。
图表展示：将在掌握台检索的语句和查询效果留存为图表（柱状图、折线图等），再次进入掌握台时，点击仪表盘即可看到当前或之前留存过的所有查询语句和效果内容。
内容异构：能够自界说是否把日志送达到其他云端产物线中，好比将某几个日志的内容送达到对象存储中，从而实现一些其他操纵（如把内容送达到 Hive 数仓，再进行阐发）。
1
为什么选择 Pulsar
在调研过程中，我们从根蒂功能和靠得住性两方面比拟了 RocketMQ、Kafka 和 Pulsar，并总结了三者的优缺点（比拟效果见下表）。
我们发现 Pulsar 非常得当应用于日志流处理。从 BookKeeper 层面来讲，Pulsar 便是日志流存储的组件。Pulsar 采用云原生架构，日志流服务同样采用云原生、无服务模式，所有服务都在云上实现。Pulsar 拥有诸多机动的企业级特征，好比支持多租户、支持租户存储配额、内容 ETL、团体内容负载平衡策略等；支持传输大量内容；针对消息队列的监控对照完美等。下面我来详细先容下我们选择 Pulsar 的一些特征。
较量与存储分离
Pulsar 的 producer 和 consumer 都与 broker 相毗邻，broker 作为无状态服务，能够横向扩缩容，扩缩容时不会影响内容的团体生产和消费；broker 不存储内容，内容存储在 broker 的下一层（即 bookie ）中，实现了较量与存储的分离。
弹性程度扩缩容
对于云端产物而言，Pulsar 无需重均衡即可实现 broker 扩缩容。相比之下，Kafka 扩缩容前必要先辈行重均衡操纵，可能会导致集群负载较高，也会对团体服务发生影响。
其次，Pulsar topic 分区也能够实现无穷扩容，扩容之后，通过负载平衡策略自动均衡整个分片和流量。
Pulsar 多租户
Pulsar 原生支持多租户。在日志服务中也有租户的概念，每一条产物线（即每一个项目）属于一个租户，实现了产物线之间的内容隔离。Pulsar 集群支持数百万个 topic（在雅虎已有实践），整个 topic 也通过租户实现了隔离，在租户级别，Pulsar 实现了存储配额、消息过期删除、隔离策略等优秀特征，且支持零丁的认证和授权机制。
本文地址：http://www.wbwb.net/bianchengyuyan/217289.html 转载请注明出处！