Power BI之银行业应用

1. 银行业财务与监管报告需求

金融业数据结构复杂,系统数据源多,随时间推进会产生大量原生生产数据和派生分析数据。同时,金融业数据需求多变,涉及非常深入的专门知识,自动化报表方案往往需要结合业务背景,再加上金融机构的数据保密需求导致纯技术背景的外部开发人员理解困难而无从下手,因此以金融机构内部分析人员为主的自助式报表设计与数据分析非常值得尝试。

其次,对于银行业财务部而言,财务和监管报告报送时间要求紧、变化频繁、容易出错,而产出不容易衡量,常年累月大量投入的工作成果底线是按时准确报送,但求无过。由于报告格式固定,数据难以共享和解读,灵活性不足而导致其决策支持功能不足。

近年来由于会计准则与监管政策升级,金融机构自身业务发展,业务机构新增与重组,新产品趋于复杂等各项因素对监管报送工作施加了更大压力。同时,压力测试、动态风险控制与监管机构对运营数据的全面抽取,要求传统财务人员技能升级转型,具备一定的数据深加工处理能力,同时高级管理层重大决策需要更多数据支持,要求报表工具可以灵活运用,多维度展示与钻取,多场景评估。

另一方面,新型科技金融公司和技术进步强化了外部数据来源多样化、大数据、云存储与移动终端展示的趋势。

在几方面因素综合作用影响之下,自助式商务智能工具凸显出其灵活高效,契合业务需求和适合多场景展示的特性,越来越值得金融机构财务、风控、合规、管理层尝试深化使用。

2. 商业智能解决方案

2.1 商业智能与Power BI概念

商业智能 (BI) [1]包括企业用于商业信息数据分析的策略和技术,可以提供业务运营的历史、当前和预测视图。商业智能技术的常见功能包括报告、在线分析处理、分析、数据挖掘、流程挖掘、复杂事件处理、业务绩效管理、基准测试、文本挖掘、预测分析和规定性分析。BI 技术可以处理大量结构化数据与非结构化数据, 以帮助识别、开发和以其他方式创造新的战略业务机会。它们的目的是让人们能够方便地解释这些数据,发现新的机会并在洞察的基础上实施有效的战略, 可以为企业提供竞争的市场优势和长期稳定。

微软公司的Power BI[2]产品是商业智能分析服务之中的一项,可以仪表板和交互式报表形式达到数据可视化效果并共享于多种设备,从而在整个组织中通过本地或者云端同一个视图直观地浏览和分析数据,提供洞察最终实现快速、明智的决策。

2.2 Power BI简介

2.2.1 产品结构

image

Power BI的核心组件Power Pivot最早由微软公司在Excel 2010专业增强版之中发布,其后在Excel 2013与Office 365的后续更高版本之中又增加了用于数据抽取、清洗、转换的组件Power Query,以及用于数据展示的Power Map与Power View组件,这些组件集合也被称为Excel BI。在2015年7月,微软发布了独立的第一版Power BI Desktop,独立于Excel BI,并且每月更新。

单机版Excel BI与Power BI Desktop可在桌面使用,而且不另行收费,所以又名免费版(Power BI Free)。此外还有专业版(Power BI Pro)及增值版(Power BI Premium)[3]

个人以及中小型企业可以使用免费版,而具备联网展示、分析与发布功能的专业版目前可以免费试用,每次60天,目前仍然可以申请多次,条件是使用企业邮箱注册。数据量大和安全性要求高的企业与金融机构应考虑使用增值版(Power BI Premium)。

2.2.2 市场格局

image

在国际市场上,根据专业研究机构Gartner的分析报告[4],微软Microsoft的Power BI产品连续多年位居竞争力象限领导者地位,并且在产品远景与执行力两方面都领先于市场地位最接近的其他两家厂商,Tableau 与 Qlik,而Salesforce, SAP, SAS, IBM, Oracle等传统大牌软件供应商落后较多。国内商业智能软件供应商有思迈特 SmartBI, 帆软FineBI等。

2.2.3 优势特点

Power BI的宣传口号是Any data, any way, anywhere,即目标是处理多种数据源,在多种终端以多种方式处理和展示分析见解。

在技术方面,Power BI以列为单位使用Vertipaq技术压缩数据、存储和计算,借助于编码、数据字典和位置索引可以大幅度压缩数据,提高运算性能,在许多场景下性能优于传统的SQL。

就功能而言,Power BI提供了从数据抽取、转换、加载、分析到数据可视化展示的全套解决方案,可以横跨个人电脑、网页、手机、平板电脑等多种平台工作,可以在个人电脑终端处理上亿行数据,支持处理上百种数据源,并且按月更新,其展现方式灵活,可视化对象多,除了常规的条形图、饼图、折线图、漏斗图等等之外,还支持卫星地图展示以及外部各种自定义酷炫可视化插件,并且可以对接大数据时代十分热门的两种计算机编程语言 R以及 Python。其内置的人机交互问答机制与聚类分析和机器学习可以利用AI快速找出数据背后的故事,减轻分析师和决策者的工作负担。更重要的是,其免费策略使得学习与使用成本相对较低。初级用户单纯依靠菜单命令与手工操作也可以完成大量数据处理与分析工作。

在Power BI内部嵌套了两种函数语言, Power Query模块中的M语言,主要用于ETL即数据抽取、清洗转换、加载。主要功能是清洗非结构化脏数据并且加载上传至数据模型,除了基本的文本、数值、日期处理之外,也内嵌了合并查询,迭代和递归,网络抓取等高级功能,还可以完成类似SQL的Group by或者数据透视表之中的轻度聚合操作。

DAX语言主要用于数据分析,支持Power Pivot。作为DAX表达式输出结果的度量值基于数据模型,灵活强大,一次定义后可以在全局多次调用,刷新快,一则保证数据一致性,二来提高了计算效率。以分析银行业贷款数据为例,可以各项贷款余额为对象设置基础度量值,然后分别以客户、地区、资产质量等维度对基础度量值切片分析。DAX语言之中还有时间智能函数可以灵活实现累计数、同比、环比分析。

这些强大的功能,在新版Excel BI和Power BI Desktop之中大多可以同时实现。

3. 应用案例

列举以上Power BI特点之后,笔者针对银行业特定报表需求,设计了以下具体实用案例。

3.1监管报送日历

每年监管部门都会调整增减监管报告清单以及报送频率与上报时间,财务人员年初处理报送任务清单十分重要但是又容易出错和遗忘。Power BI可以从Excel 文件中读入数据,经过清洗处理后,生成在各年度之间可以重复使用的报送任务清单,发布到网络,供财务报告工作人员参考,掌握日常进度。

本案例主要展示Power Query M函数处理切分不规范数据的能力,以及DAX函数聚合文本的用法。

图表 1 Power BI监管报送日历

image

解读文章:http://u6.gg/rBHyT

报告网址:http://u6.gg/hgU9x,手机横屏或电脑效果更佳,也可识别以下二维码阅读报告。

网址二维码:

image

3.2大中小微企业划型

在监管报告工作流程之中,根据不同的行业组别选取营业收入、人数、总资产三者之中的一个或两个以确定大中小微企业划型是一个比较困难的问题,自动化较为困难,手工划型准确度和一致性较差,所以合规风险较高。而且统计局对大中小微企业的定义数据结构没有规范化,并未以数据库行列表的结构化方式呈现,计算层次复杂,需要分多维度多档次判断。

本案例主要展示如何由Power Query的M函数的强大功能,包括清洗处理非结构化的统计局标准,然后通过合并查询匹配适用的判断条件,以及展示判断条件以帮助读者理解等。

解读文章:http://u6.gg/rBHzd

图表 2 Power BI大中小微企业划型

image

报告网址:http://u6.gg/rBH28,手机横屏或电脑效果更佳,也可识别以下二维码阅读报告。

网址二维码:

image

3.3 1104报表-贷款部分

贷款按各维度切分报告是银保监会1104报表的重点领域,在传统的合规报告软件之中,往往需要为每一张涉及贷款的报表定义各项贷款的范围,然后根据不同的报告维度抽取数据。这样做的弊端是重复定义,多冗余计算,开发与测试工作量大,而且容易造成表间不一致。

本案例主要展示DAX函数度量值一次定义,多次切片使用的灵活性能,从贷款明细出发,首先定义核心度量值各项贷款余额,然后再根据不同目的分析需要,分别筛选或者切片分析展示各维度数据。

图表 3 Power BI 1104报告--贷款部分

image

报告网址:http://u6.gg/rBJpR,手机横屏或电脑效果更佳,也可识别以下二维码阅读报告。

网址二维码:

image

4. 写作计划

目前,笔者计划与出版社洽谈合作出书事宜。如果读者希望看到更多针对银行业金融机构的财务报告与监管报告案例,那么请转发与点赞,您的支持将有助于早日将意向转化为更多实际成果。现阶段写作提纲如下:

第一章:商务智能与监管报告简介

1 商务智能基本概念

2 监管机构与监管报告简介

第二章:Power BI基本操作

3 Power BI 及其组件

4 Power BI特点与优劣势

5 Power Query 与 M函数基础

5.1 菜单命令及操作简介

5.2 数据结构、类型与相关常用函数

5.3 银行业数据处理示例

6 Power Pivot 与 DAX函数基础

6.1 DAX 数据结构

6.2 DAX计算原理

6.3 DAX数据建模

6.4 DAX应用示例

第三章:银保监会1104监管报告实务

7 报送任务管理

7.1 报告清单

7.2 报送日程

8 监管报送对象

8.1 监管报告报送对象

8.2 财务类报表

8.3 Basel III报表

9 各模块数据准备

9.1 模块或交易系统

9.2 银行业数据特性

9.3 时点特性

10 财务类监管报告示例

10.1 G01/G04 资产负债表与利润表

10.2 G13/G14 信用风险客户集中度

10.3 G21/G22 流动性风险

10.4 G33 银行账簿利率风险

10.5 G51 国别风险

10.6 G12贷款迁徙

10.7 S71普惠金融

11 监管指标仪表板示例

第五章:报告发布与权限控制


[1] https://en.wikipedia.org/wiki/Business_intelligence

[2] https://powerbi.microsoft.com/zh-cn/

[3] https://blog.csdn.net/jessica_seiya/article/details/81118514

[4] http://www.relevance.ro/Download/Gartner%20Magic%20Quadrant%20BI&Analytics%202018.pdf

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容