大数据分析的本质是利用技术手段将繁杂的数据进行可视化，洞察数据背后的价值，为企业提供决策支持。 我们可以把数据分析比作做体检，体检中使用的各种设备就好比使用的各类大数据技术和...
发简信
IP属地：湖北
-
BI系统对企业有什么作用 -
（4）SparkSQL中如何定义UDF和使用UDFSpark SQL中用户自定义函数，用法和Spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。首先定义一个UDF函数...
-
（3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示（1）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示，我们先看下整体方案架构： （2）方案说明：1）我们通过kafka与各个业务系统的数据对接，...
-
（2）sparkstreaming滚动窗口和滑动窗口演示一、滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以...
-
（1）sparkstreaming结合sparksql读取socket实时数据流Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized...
-
（6）Flink CEP SQL模拟账号短时间内异地登录风控预警本篇文章我们来模拟一个真实的风险识别场景，模拟XX平台上可能出现盗号行为。技术实现方案：（1）通过将xxx平台用户登录时的登录日志发送到kafka（本文代码演示用的socke...
-
（5）Flink CEP SQL四种匹配模式效果演示Flink CEP SQL中提供了四种匹配策略：（1）skip to next row从匹配成功的事件序列中的第一个事件的下一个事件开始进行下一次匹配（2）skip past...
-
（4）Flink CEP SQL贪婪词量演示基于上一篇（3）Flink CEP SQL宽松近邻代码演示的延展，在上一篇中我们使用贪婪词量 +（至少匹配1行或多行），本篇将演示多种贪婪词量的效果：（1）使用贪婪词量 *（...
-
（3）Flink CEP SQL宽松近邻代码演示上一篇我们演示了严格近邻模式的效果，接着上一篇我们来演示一下宽松近邻：（1）pom依赖： （2）定义一个消息对象 （3）构造数据，定义事件组合 （4）关键代码解释： 需要借着...
-
（2）Flink CEP SQL严格近邻代码演示-风控系统构建利器上一篇我们对Flink CEP做了简单介绍，这一篇我们通过代码来演示一下Flink CEP SQL中的严格近邻效果： （1）pom依赖： （2）定义一个消息对象 （3）构造数...
-
（1）Flink CEP复杂事件处理引擎介绍（1）简介及应用场景：复杂事件处理(CEP)既是把不同的数据看做不同的事件，并且通过分析事件之间的关系建立起一套事件关系序列库。利用过滤，聚合，关联性，依赖，层次等技术，最终...
-
-
（6）FlinkSQL将kafka数据写入到mysql方式一这里不展开zookeeper、kafka安装配置（1）首先需要启动zookeeper和kafka （2）定义一个kafka生产者 （3）定义一个消息对象 （4）从kafka接...
-
（4）FlinkSQL将socket数据写入到mysql方式一本章节主要演示从socket接收数据，通过滚动窗口每30秒运算一次窗口数据，然后将结果写入Mysql数据库 （1）准备一个实体对象，消息对象 （2）编写socket代码，模拟...
-
（3）FlinkSQL滑动窗口demo演示滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。如果看作一个窗口的运动，那...
-
（2）FlinkSQL滚动窗口demo演示滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于...
-
（1）通过FlinkSQL将数据写入mysql demoFlinkSQL的出现，极大程度上降低了Flink的编程门槛，更加容易理解和掌握使用。今天将自己的笔记分享出来，希望能帮助在这方面有需要的朋友。（1）首先引入POM依赖： （...