大数据学习 - 专题

投稿

大数据学习

收录了55篇文章 · 4人关注

Spark SQL：Spark DataFrame写入Tidb代码记录（Overwrite / Upsert）
摘要：Spark SQL，Tidb 依赖准备需要MySQL连接器驱动mysql-connector-java，upsert操作需要一个第三方依...

1.3 xiaogp 1 5
Impala：Java API导入数据到Impala Parquet表
摘要：Java，Impala，Parquet 导数流程通过Java直接在HDFS上落CSV数据文件，通过Imapal的load语法将CSV映射...

0.1 xiaogp 0 1

Elasticsearch：ES聚合操作，基于Kibana和Java客户端
摘要：Elasticsearch，Java 本文为《Elasticsearch搜索引擎构建入门与实战》第七章内容的笔记内容摘要计算指定文档的...

0.4 xiaogp 1 4
Elasticsearch：painless script 语法基础和实战
摘要：Elasticsearch，Java script的作用 script是Elasticsearch的拓展功能，通过定制的表达式实现已经预设...

1.2 xiaogp 0 8
Elasticsearch：Java RestHighLevelClient 客户端操作es
摘要：Elasticsearch，Java 除了HTTP这种跨语言的访问方式之外，es支持Java，Python等多种语言的API，整理Java...

1.2 xiaogp 0 6
Elasticsearch：索引，映射，文档操作
摘要：Elasticsearch《Elasticsearch搜索引擎构建入门与实战》第三章读书笔记索引操作索引操作主要有创建，删除，关闭，打...

1.4 xiaogp 0 8
Elasticsearch：基本概念、安装、快速开始
摘要：Elasticsearch 《Elasticsearch搜索引擎构建入门与实战》第一章读书笔记 Elasticsearch特色优势实时性...

3.1 xiaogp 0 28

Spark - ES: Spark DataFrame读写ElasticSearch
摘要：Spark，ElasticSearch 依赖准备注意Scala的版本（2.11），es的版本（6.7,2）和Maven仓库中的jar一致...

0.7 xiaogp 0 4
Spark SQL：分类讨论UDF对DataFrame列存在空值null的处理
摘要：Spark SQL 先上结论空指针的情况：在UDF中正确指定了对应类型的前提下，DataFrame中的列如果是string，timest...

0.9 xiaogp 0 3
Spark SQL：map操作连环报错记录（too many elements for tuple，ClassNotFoundException: scala.Any，<refinement>
摘要：Spark SQL，Scala 由于Scala限制Tuple最大元素为22个导致的血案问题复现实际的业务场景是使用Spark SQL加...

0.6 xiaogp 0 4