本文记录了使用JMeter来模拟用户登录,并从登录接口返回的JSON数据提取Token供其它线程组使用。 主要内容: 1.登录提取token设置...
本文介绍了使用Sqoop导入MYSQL数据到Hive&Hbase之中。 主要内容: 1.下载 1.下载 下载地址 2.安装 2.1.解压 2.2...
本文介绍了如何使用Phoenix来连接Hbase并完成增删改查 1.概述 Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据...
本文介绍了如何使用MyCat中间件来实现分库分表、读写分离等功能。 1.安装 下载地址 http://mycat.io/ 下载完成解压即可。 2...
本文介绍了如何在Hive里新建一个外部分区表并加载数据 1.建表 新建一个名为external_blog_record的数据库表并制定分区参数d...
本文介绍了如何使用自定义UDF来给key新增随机数前缀,并使用双重Group来解决数据倾斜。 主要内容: 1.自定义UDF 2.数据流程 3.S...
当SparkSQL里内置的函数无法满足我们业务需求时,我们可以通过自定义UDF来实现。 1、自定义ConcatLongStringUDF 这里自...
本文介绍如何使用Spark2中自定义累加器来实现数据的统计。 Spark2.x之后,之前的的accumulator被废除,用Accumulato...
本文介绍了使用Maven作为构建工具的常用配置,包括指定jdk版本,jar包和依赖分开打包,多环境打包,配置私服,发布到私服等配置。 主要内容:...