1. 删除原函数和jar包 1.1 在hive窗口e中执行删除原函数 1.2 在beeline中执行删除jar包 1.3 从hdfs上删除jar包 2 重新上传jar包，注册...
IP属地：广东
-
hive更新UDF的正确步骤
-
在CDH环境集成Hudi一、Hudi简介 Hudi是Hadoop Updates and Incrementals的缩写，用于管理HDFS上的大型分析数据集存储，主要目的是高效的减少入库延时。Hud...
-
MongoDB数据增量同步到Hive（方案二通过MongoSpark）
一、背景 本文续接上文 MongoDB数据增量同步到Hive（方案一通过BSON文件映射）[https://www.jianshu.com/p/ebc96cf0cabe]考...
-
MongoDB数据增量同步到Hive（方案一通过BSON文件映射）
一、背景 随着monggo中数据量越来越大，全量同步到数仓，已不太现实，考虑增量同步的方式，我们在探索增量同步的过程中，方案不断在改进优化，这里记录一下我们mongo增量同步...
-
mysql数据增量同步到hive
一、背景 同步业务库的数据到ODS层，之前一直是全量同步数据，主要考虑IO太大，耗时太长，重复拉取同样的数据，现在考虑增量同步的方式实现，同时对库表数据做分区。 二、同步方案...
-
Spark高级编程之TopN及分组TopN
1、获取文本内最大的前三个数字输入数据： 3544426732133542313523733216782156 1）Java版top3： 输出结果： [133, 78, 73...
-
Spark高级编程之二次排序
原始数据： 2 63 71 52 43 61 32 13 1 1、Java版二次排序首先定义排序的key 然后实现二次排序 2、Scala版二次排序首先定义排序的key 然后...
-
-
提交wordCount程序到spark集群上运行1、Java版wordCount1）Java代码： 2)打包代码上传到服务器 3）上传文件到hdfs上去 4)使用spark-submit提交 这里的输入路径和输出路径可以不...
-
Scala中的隐式转换和隐式参数
Scala提供的隐式转换和隐式参数功能，允许你手动指定，将某种类型的对象转换成其他类型的对象，通过这些功能，可以实现非常强大而且特殊的功能。scala的隐式转换，最核心的就是...
-
Scala中trait相关知识和应用
1、trait基础知识1-1 将trait作为接口使用 运行结果： Hello,JackHello,my name is leo,your name is Jack 1-2 ...
-
scala的模式匹配
模式匹配是scala中非常有特色，非常强大的一种功能，模式匹配其实类似与Java中的switch case语句，即对一个值进行判断，然后针对某种条件，采取不同的处理。但是Sc...
-
NumPy的操作与运算
基本操作 1、数组上的算术运算符会应用到 元素 级别 运行结果：[ 9.12945251 -9.88031624 7.4511316 -2.62374854][ True...
-
-
numpy创建数组与打印
本篇文章主要是讲解numpy的创建与打印输出，首先导入numpy库 用numpy创建数组的几种方式 使用array函数从常规Python列表或元组中创建数组。得到的数组的类型...
