1. 概述 Airflow是airbnb开源的基于DAG(有向无环图)的用Python开发的任务管理系统。最简单的理解就是一个高级版的crontab，它解决了crontab无...
发简信
IP属地：甘肃
-
Python - Airflow任务调度系统初识 -
-
Apache Doris——数据分布在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述。 名词解释 数据分布：数据分布是将数据划分为子集, 按一定规则, 均衡地分布在不同节点上，以期最大限度地利...
-
Apache Doris——简介1.概述 Apache Doris 是一个基于MPP架构的高性能实时分析 OLAP 引擎，以其极快的速度和易用性而闻名。 它只需要亚秒的响应时间即可在海量数据下返回查询结果，...
-
数据治理十步法以下文章来源于谈数据 ，作者石秀峰 1、找症状，明确目标 任何企业实施数据治理都不是为了治理数据而治理数据，其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有：数...
-
数据治理数据治理学习及梳理，理解不算深刻。丢失一次全部内容，心态炸裂情况下先粗略写了一般。后续充分结合地址数据治理进行理解。 一、什么是数据治理为提高数据质量而展开的业务、技术和管理...
-
-
DevOps与CICD的区别 及 docker、k8s的CICD思路1. DevOps简介 DevOps 就是开发（Development）、测试（QA）、运维（Operations）这三个领域的合并。 为什么要合并这三个领域？主要是开发和运...
-
基础设施即代码（IaC）：方法论、办法和优秀实践IaC的概述 由于现在的一切都致力实现数字化，尤其是在发生冠状病毒疫情之后，现在正确管理组织的IT基础设施变得尤为重要。 在此之前，对IT基础设施的管理都是由组织的系统管理员...
-
-
【zookeeper】zookeeper用作注册中心的原理现在对Zookeeper的注册中心原理再深入研究一下，主要学习它的设计思想。一文带你了解Zookeeper的注册中心流程、探活机制、Watch机制和CP模型。 注册中心基本概...
-
学习记录13 Hadoop生态圈技术栈实操（一）
这里需要学习Linux常用的快捷键： 终端命令格式 command [-options] [parameter]第一个是命令名，第二个是选项，对命令进行控制，也可以省略；第三...
-
-
觉得有用的可以点点赞，点点关注。
-
书籍1 实战大数据（Hadoop+spark+Flink）1
这本书有8个章节，从基础逐渐展开，但是书籍总共也只有236页，还包含了Hadoop、spark和Flink三个知识点。所以感觉讲得可能不太会很深入。这里毕竟是书籍的阅读部分，...
-
21个MySQL表设计的经验准则1.命名规范 数据库表名、字段名、索引名等都需要命名规范，可读性高(一般要求用英文)，让别人一看命名，就知道这个字段表示什么意思。 比如一个表的账号字段，反例如下： 正例： ...
-
-
1亿条数据批量插入 MySQL，哪种方式最快？利用JAVA向Mysql插入一亿数量级数据—效率测评 这几天研究mysql优化中查询效率时，发现测试的数据太少（10万级别），利用 EXPLAIN 比较不同的 SQL 语句，...
-
学会这10种定时任务，我有点飘了前言 最近有几个读者私信给我，问我他们的业务场景，要用什么样的定时任务。确实，在不用的业务场景下要用不同的定时任务，其实我们的选择还是挺多的。我今天给大家总结10种非常实用的...
-
airflow从入门到精通学习笔记系列
本系列文章记录本人从刚接触airflow到在实际项目中使用airflow的学习笔记，一则记录airflow的相关笔记加深自我理解；二则分享出来跟大伙一起讨论进步。 airfl...
