nil_ddea

go1.16已经入冻结阶段，这一次较重大的更新是对内嵌资源文件的支持。 内嵌资源文件 典型场景：当你需要在云应用程序中实现一个自动发送邮件的功能时，需要一个html文件作为邮...

nil_ddea

为什么nosql 在一个更加普遍通用的爬虫程序中，原始数据往往是杂乱且没有规律的，将这些数据存储在关系型数据库中的成本很高，定义schema就是一个非常繁琐复杂的工作，而且爬...

nil_ddea

维基百科中反射的定义：在计算机科学中，反射是指计算机程序在运行时（Run time）可以访问、检测和修改它本身状态或行为的一种能力。用比喻来说，反射就是程序在运行的时候能够“...

nil_ddea

Headless Chrome 是 Chrome 浏览器的无界面形态，使用命令行的形式替代GUI，可以使用GUI模式下Chrome的功能。一般情况下用于自动调试，也可以用作爬...

nil_ddea

外部表和内部表 内部表：数据由hive自身管理 存储在hive指定的hdfs目录中 删除会删除数据本身外部表（external）：数据存储在用户使用location关键字指定...

nil_ddea

实现一个最简单的类似spark的流式处理流程包含map和filter数据 map函数 fliter函数 所有数据+1 > 过滤出偶数 > 过滤出大于5的数

nil_ddea

go1.13中引入err wraping机制1.13前函数返回一个error errors.New()创建一个errorStringerrorString 只包含了一个字符串...

nil_ddea

9月更新了golang设计草稿中的泛型语法这里可以在线编译如下 这是一个泛型的Print函数 循环打印泛型切片中的元素 any any是一种特殊的interface 在我的理...

nil_ddea

规则引擎由是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。接受数据输入，解释业务规则，并根据业务规则做出业务决策。...

nil_ddea

etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。 ...

nil_ddea

gorm构建在标准库database/sql上，所以需要先对database/sql有所了解。以下内容大部分取自go语言标准库https://studygolang.com/...

nil_ddea

Spark SQL中所有功能的入口点是 SparkSession 类可以利用创建rdd的SparkContext.SparkConf创建pyspark中的api是： 将rdd...

nil_ddea

概念 键空间通知指redis的每一个键被新建、修改或过期的通知通过pub/sub实现 配置 redis.conf中notify-keyspace-events参数控制开启通知...

nil_ddea

在mysql中遇到依赖表a的数据来大量更新表b的数据时可以使用update join的语法在postgresql也可以做到 语法和mysql有一些差别 这是postgresq...

nil_ddea

Yarn有FIFO Capacity FairS三种调度器 Capacity是Yarn的默认调度器 Capacity Scheduler的结构 Capacity Schedu...

nil_ddea

什么是Cgroups？ Cgroups提供了对一组进程及将来子进程的资源限制、控制和统 计的能力，这些资源包括 CPU、内存、存储、网络等 。 通过 Cgroups，可以方便...