240 发简信
IP属地:安徽
  • Elasticsearch-5.6.0使用repository-hdfs快照(备份)数据到hdfs并恢复

    背景 Elasticsearch的副本机制提供了可靠性,可以容忍个别节点丢失而不影响集群的对外服务,但是并不能提供对灾难性故障的保护,所以需要对...

  • ES集群状态查看命令

    Elasticsearch中信息很多,同时ES也有很多信息查看命令,可以帮助开发者快速查询Elasticsearch的相关信息。 1. _cat...

  • Resize,w 360,h 240
    ELK 6.3.2环境搭建

    最近把ELK生产环境从5.6.0升级到了6.3.2,在此记录一下 基础环境: 操作系统:Centos 6.7 64位ELK版本:6.3.2jdk...

  • sqoop job省略输入mysql密码

    sqoop在创建job时,使用--password-file参数,可以避免输入mysql密码,如果使用--password将出现警告,并且每次都...

  • sqoop定时增量导入mysql数据到hdfs(hive)

    需求 有2张大的mysql表,量级分别是1亿和4.5亿(太大了,DBA的同学正在考虑分表),而且数据是增量的,需要写spark任务做处理,直接读...

  • Specified key was too long; max key length is 767 bytes。

    问题:spark sql连接hive的元数据(mysql库)时报错:Specified key was too long; max key le...

  • Resize,w 360,h 240
    centos6.5安装postgresql9.3及数据迁移

    最近来了一批数据,其中有一部分是一个从postgresql导出的sql文件,大概有7个多G,需要把数据整合到Mysql里边做进一步处理,网上搜了...

  • Spark之thriftserver/beeline的使用

    启动thriftserver: 默认端口是10000 ,可以修改 启动beelinebeeline -u jdbc:hive2://localh...

  • es设置max_result_window

    es设置index.max_result_window(就是from+size,默认大小10000),可通过如下方式修改: curl -XPUT...