1. 背景 笔者的开发大数据平台XSailboat[https://www.jianshu.com/p/cacdcf5ec088]中包含基于Fl...
投稿
收录了38篇文章 · 1人关注
-
Flink日志采集、集中存储、可视化查询实践 -
本地运行Flink退出时java.nio.file.DirectoryNotEmptyException解决方法1. 背景 在开发大数据平台XSailboat[https://www.jianshu.com/p/cacdcf5ec088]中的查看Flink...
-
Hadoop YARN的ResourceManager报错TableNotFoundException：prod.timelineservice.flowactivity解决
1. 问题 在resourcemanager.log中出现下面的异常： 2. 代码分析 分析查看源代码 类org.apache.hadoop.y...
-
Flink连接HDFS出现java.net.UnknownHostException解决办法
1. 背景 在开发大数据平台XSailboat[https://www.jianshu.com/p/cacdcf5ec088]中的查看Flink...
-
Flink的DAG可视化开发实践1. 引言 笔者早年间有很长一段时间都在阿里云DataWorks上带着团队进行数据开发，后来因为一个契机自己搞起了大数据平台XSailboat[...
-
数据治理平台思路1. 何为数据治理 数据治理是为了让数据在形式上和质量上更好地达成某一数据应用目标而进行的数据集成、数据整理、数据分析、数据修缮、数据发布，数据...
-
一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等1. 引言 从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发...
-
7. 相关标准(五)-大数据系统基本要求5、GB/T 38673-2020 信息技术 大数据 大数据系统基本要求（1）了解本标准的范围、术语和定义，熟悉大数据系统框架、功能要求、非功能...
-
指标建模1. 背景 笔者正在开发大数据平台(XSailboat)中的指标建模工具(SailIMS)。以此篇文档梳理一下其中一部分关键性的功能设计。内容重...
-
6. 相关标准(四)-数据分类指南4、GB/T 38667-2020 信息技术 大数据 数据分类指南（1）了解本标准的范围、术语和定义，熟悉数据分类的过程，以及分类视角、分类维度...
专题公告
记录构建、开发大数据平台所需的相关技术。包括操作系统、Hadoop生态、数据库、SpringCloud前端技术框架等。
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1982937/aa.jpg', '推荐专题《大数据平台技术笔记》（ 分享自 @简书 ）','https://wsa.jianshu.io/c/890ab594f528?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}