发简信
IP属地：北京
-
支付方法论支付：交易、清分、结算纵向：支付场景、支付收银台、支付核心服务、支付清结算服务横向：银行传统三块业务：存款、贷款、中间收入，支付属于中间收入。 ...
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式计算框架）Compute：计算层（处理层）HDFS：分治 一、What? 什么是MR 1、...
-
维度建模：事实表维度建模数仓领域中的事实表大致分以下三种： a. 事务事实表b. 周期快照事实表c. 累计快照事实表 一、事务事实表（稀疏表，相当于流水表） 事...
-
维度建模：缓慢变化维SCD缓慢变化维（Slowly Changing Dimension）就是变化相对缓慢（相对与快速变化的事实表来说）的维度。 在维度建模理论中，有8种...
-
HIVE：常用分析函数
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partiti...
-
Haddop：HDFSHDFS体系结构 HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成。...
-
HIVE：小文件合并
HDFS非常容易存储大数据文件，如果Hive中存在过多的小文件会给namecode带来巨大的性能压力。同时小文件过多会影响JOB的执行，hado...
-
HIVE：数据倾斜
1、什么是数据倾斜？ 数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、Hadoop 框架的特性 A、不怕数据大，怕数据倾斜B、Job...
-
HIVE ：行列转换
举个栗子 a b 1a b 2a b 3c d ...