站长资讯

• 互联网资讯(3100)
• 娱乐头条(399)
• 教育考试(249)
• 幽默笑话(13)
• 美图合集(14)
• 站长资讯(9010)
• 电商资讯(229)
• 网站建设(74)
• 网站运营(202)
• 推广杂谈(550)

站长资讯

• 软件架构-zookeeper快速入门

  上次在配置zookeeper分布式的时候，有个很重要的文件zoo.cfg，里面重点配置了几个信息clientPort，server.1的端口号。实际用到了2个端口号2181,2888，还有个2888这是备用的端口号。有人说zk是互联网的基石，一点都不夸张，它的作用很大。源码：https://github.com/limingios/netFuture/【zookeeper】（一）原理重申zk本身就

  2022-02-18

• Celery 监控和管理向导

  1、介绍有几种工具可用来监视和检查 Celery 集群。本文将介绍其中的一些功能，以及与监视相关的特性，比如事件和广播命令。2. Workers命令行实用工具celery 还可以用来检查和管理工作节点和某种程度上的任务。列出所有可用的命令$ celery help或列出具体命令的帮助信息$ celery <command> --help命令shell : 进入含有cel

  2022-02-18

• 如何部署一个健壮的 apache-airflow 调度系统

  之前介绍过的  apache-airflow 系列文章任务调度神器 airflow 之初体验airflow 的安装部署与填坑airflow 配置 CeleryExecutor介绍了如何安装、配置、及使用，本文介绍如何如何部署一个健壮的 apache-airflow 调度系统 - 集群部署。本文主要介绍以下几点：airflow 的守护进程airflow 单节点部署airflow 多节点（集群）部署a

  2022-02-18

• 分布式异步任务队列神器之-Celery

  最近研究了下异步任务神器-Celery，发现非常好用，可以说是高可用，假如你发出一个任务执行命令给 Celery，只要 Celery 的执行单元 (worker)在运行，那么它一定会执行；如果执行单元 (worker) 出现故障，如断电，断网情况下，只要执行单元 (worker) 恢复运行，那么它会继续执行你已经发出的命令。这一点有很强的实用价值：假如有交易系统接到了大量交易请求，主机却挂了，但前

  2022-02-18

• SSH 协议为什么安全？

  大家都知道 ssh 命令，是用于远程登陆的，使用用户名密码或公钥进行认证。如命令ssh user@host输入用户名密码，即可在客户端使用 user 登陆远程 host 主机。当然也可以实现免密码登陆：在客户端用执行ssh-keygen然后一直确认，将会生成公钥，存放在 /home/xxx/.ssh/id_rsa.pub 中，将id_rsa.pub 中的公钥字符串复制到 host 主机下 user

  2022-02-18

• Python 骚操作--邮件转微信

  在日常工作中，我们会经常收到邮件，有些是重要的邮件我们希望第一时间知晓，如领导发送的邮件，程序报警邮件。微信是我们使用频率最高的 app 了，因此如果能把邮件内容及时发送到微信，我们就可以及时获取邮件信息，进而采取相应行动。比打开邮件客户端再点击邮件查看要方便多了。需要安装第三方库 wxpy,wechat_sender,zmailpip install wxpy pip install wecha

  2022-02-18

• 一文搞定 celery 任务远程调用

  celery 是分布式的异步任务队列，既然是分布式，那么肯定是支持远程调度任务的，那么它是如何实现的呢？celery 主要是通过中间人来实现远程调度的，中间人 broker 的工具如 RabbitMQ，Redis 服务支持远程访问。由于官方的示例都是基于本地的任务调用，本文向大家展示如何使用 Celery 调用远程主机上的任务- 在主机 C 上调用主机 A 上的任务 taskA，调用主机 B 上的

  2022-02-18

• 我用 Python 造了个运维小小弟

  周六，正和家人在外边玩得起劲，突然接收到微信报警，某某系统供数出错……此时，内心是崩溃的，有一万个草泥马在翻腾，我能瞬间说出这系统的 100 个缺陷。然而，也有另外一个声音在耳边提醒着：报怨是最没用的，可怜之人必有可恨之处，老板在乎不是你的苦劳，而是你的功劳。算了，回家打开电脑，解决报错。以上的场景做过运维的朋友想必比较熟悉，没做过运维的人相信也有类似的经历，总之就是那些让你不爽的事，如果这些不爽

  2022-02-18

• airflow 的安装部署与填坑

  上一篇文章已经介绍过 airflow ，相信需要的人早已上网搜索相关资料，已经开始动手干了，没错，就是干，喜欢一件事件，请立即付诸行动，不要拖，时间一长，就凉了。Python 的包管理工具 pip 是一个非常优秀的工具，Python 相关的库都可以使用 pip 安装，airflow 也不例外。废话不多说，直接上操作步骤。截止目前 2018年8月14日 ，airflow 最新稳定版本为1.8 ，ap

  2022-02-18

• airflow 配置 CeleryExecutor

  celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor。操作步骤CeleryExecutor 需要 Python 环境安装有 celery。第一步： 安装cele

  2022-02-18