站长资讯

• 互联网资讯(3100)
• 娱乐头条(399)
• 教育考试(249)
• 幽默笑话(13)
• 美图合集(14)
• 站长资讯(9329)
• 电商资讯(229)
• 网站建设(74)
• 网站运营(202)
• 推广杂谈(550)

站长资讯

• 9102年围绕Flink做的一些事

  2019年的主要工作就是围绕Flink来做一些事情，分为以下几个方面：    一、实时流平台    二、实时监控    三、实时数仓    四、实时业务开发接下来详细说一下在这几个方面做的一些事情以及如何解决遇到的一些问题与将要做的事情。一、实时流平台首先看一下目前关于Flink使用的整体架构图，任务执行模式选择per-job on yarn，方便于经常会对集群资源动态调整的需求，每个任务的日志也

  2023-05-09

• Flink中流动的四种元素

  在Flink DataStream中流动着不同的元素，统称为StreamElement，StreamElement可以是StreamRecord、Watermark、StreamStatus、LatencyMarker中任何一种类型，StreamElement是一个抽象类，其他四种类型继承StreamElement。StreamElementpublic abstract class Stream

  2023-05-09

• Flink去重第四弹：bitmap精确去重

  在前面提到的精确去重方案都是会保存全量的数据，但是这种方式是以牺牲存储为代价的，而hyperloglog方式虽然减少了存储但是损失了精度，那么如何能够做到精确去重又能不消耗太多的存储呢，这篇主要讲解如何使用bitmap做精确去重。ID-mapping在使用bitmap去重需要将去重的id转换为一串数字，但是我们去重的通常是一串包含字符的字符串例如设备ID，那么第一步需要将字符串转换为数字，首先可能

  2023-05-09

• 数仓系列 | Flink 窗口的应用与实现

  数仓系列|Flink窗口的应用与实现张俊@OPPOFlink中文社区整理|祝尚（Flink社区志愿者）校对|邹志业（Flink社区志愿者）摘要：本文根据ApacheFlink系列直播整理而成，由ApacheFlinkContributor、OPPO大数据平台研发负责人张俊老师分享。主要内容如下：整体思路与学习路径应用场景与编程模型工作流程与实现机制Tips：点击「阅读原文」可查看更多数仓系列直播视

  2023-05-09

• 不得不掌握的三种BitMap

  BitMap Bitmap 是大数据里面常见的数据结构，简单来说就是按位存储，为了解决在去重场景里面大数据量存储问题，目前在Druid/Spark等使用。在Java中一个字节占用8位，那么就代表可以存储8个数字，存储结构如下：00000000现在需要存储1与5这两个数字：00100010 只需要将对应的bit的下标置为1即可，每个bit位对应的下标就表示存储的数据。Java中一个int类型占用4个

  2023-05-09

• 关于HyperLogLog去重优化

  在HyperLogLog去重实现中，如果要求误差在0.001以内，那么就需要1048576个int, 也就是会消耗4M的存储空间，但是在实际使用中有很多的维度的统计是达不到这个数据量，那么可以在这里做一个优化，优化方式是：初始HyperLogLog内部使用存储是一个set集合，当set大小达到了指定大小(1048576)就转换为HyperLogLog存储方式。这种方式可以有效减小内存消耗。实现代码

  2023-05-09

• JVM系列(三) - JVM对象探秘

  前言对于 JVM 运行时区域有了一定了解以后，本文将更进一步介绍虚拟机内存中的数据的细节信息。以 JVM虚拟机( Hotspot)的内存区域 Java堆为例，探讨 Java堆是如何创建对象、如何布局对象以及如何访问对象的。正文(一) 对象的创建说到对象的创建，首先让我们看看 Java 中提供的几种对象创建方式：Header解释使用new关键字调用了构造函数使用Class的newInstance方法

  2023-05-09

• Flink基于zookeeper的高可用实现源码分析

  Flink中JobMaster、ResourceManager、Dispatcher、WebMonitorEndpoint提供了基于zookeeper高可用，涉及到leader选举与监听， leader选举基于zookeeper开源客户端CuratorFramework 的LeaderLatch方式实现，监听则通过NodeCache实现。基于此Flink提供了zookeeper高可用ZooKeep

  2023-05-09

• linux中tail命令使用详解(显示最尾部的内容)

  略微加速|科技|编程|互联网|博客|笔记|程序员接单|开发|编程语言|数据库|IT|PHP|Elasticsearch|MySQL|JavaScript|Linux|

  2023-05-08

• PHP解析返回的XML字符串

  略微加速|科技|编程|互联网|博客|笔记|程序员接单|开发|编程语言|数据库|IT|PHP|Elasticsearch|MySQL|JavaScript|Linux|

  2023-05-08