让科技融入生活，衍生新技术！
发简信
IP属地：广东
-
多平台认证作者
-
利用maxwell 组件实时监听Mysql的Binlog日志，并且把解析的json格式数据发送到kafka窗口供实时消费一：在linux环境下安装部署好mysql 1 ：开启binlog sudo vi /etc/my.cnf (Mysql的配置文件) 2： mysql的binlog格式有...
-
MySQL的binlog日志
本文转载于： https://www.cnblogs.com/martinzhang/p/3454358.html binlog 基本认识 MySQL的二进制日志可以说是...
-
impala + kudu一些优化心得
用了几次impala + kudu做大数据实时计算场景，一路踏坑过来，这里分享踏坑经验 一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用i...
-
flume-ng添加自定义拦截器
业务场景：收集nginx日志中个别信息进入kafka，为了避免kafka压力过大，这里优化了两点 刷选掉不需要分析的数据进入kafka 尽量把消息均匀分布在不同的broker...
-
kafka =>SparkStreaming=>kudu集成kerberos本文档主要介绍在cdh集成kerberos情况下，sparkstreaming怎么消费kafka数据，并存储在kudu里面 假设kafka集成kerberos 假设kudu集...
-
生产beeline事故分析场景分析 生产环境用beeline连接hive总是偶尔卡死 hive健康检查也总是偶尔告警 hive健康检查失败的同时，beeline连不上hive 场景截图如下：beeli...
