1. 银行业财务与监管报告需求
金融业数据结构复杂,系统数据源多,随时间推进会产生大量原生生产数据和派生分析数据。同时,金融业数据需求多变,涉及非常深入的专门知识,自动化报表方案往往需要结合业务背景,再加上金融机构的数据保密需求导致纯技术背景的外部开发人员理解困难而无从下手,因此以金融机构内部分析人员为主的自助式报表设计与数据分析非常值得尝试。
其次,对于银行业财务部而言,财务和监管报告报送时间要求紧、变化频繁、容易出错,而产出不容易衡量,常年累月大量投入的工作成果底线是按时准确报送,但求无过。由于报告格式固定,数据难以共享和解读,灵活性不足而导致其决策支持功能不足。
近年来由于会计准则与监管政策升级,金融机构自身业务发展,业务机构新增与重组,新产品趋于复杂等各项因素对监管报送工作施加了更大压力。同时,压力测试、动态风险控制与监管机构对运营数据的全面抽取,要求传统财务人员技能升级转型,具备一定的数据深加工处理能力,同时高级管理层重大决策需要更多数据支持,要求报表工具可以灵活运用,多维度展示与钻取,多场景评估。
另一方面,新型科技金融公司和技术进步强化了外部数据来源多样化、大数据、云存储与移动终端展示的趋势。
在几方面因素综合作用影响之下,自助式商务智能工具凸显出其灵活高效,契合业务需求和适合多场景展示的特性,越来越值得金融机构财务、风控、合规、管理层尝试深化使用。
2. 商业智能解决方案
2.1 商业智能与Power BI概念
商业智能 (BI) [1]包括企业用于商业信息数据分析的策略和技术,可以提供业务运营的历史、当前和预测视图。商业智能技术的常见功能包括报告、在线分析处理、分析、数据挖掘、流程挖掘、复杂事件处理、业务绩效管理、基准测试、文本挖掘、预测分析和规定性分析。BI 技术可以处理大量结构化数据与非结构化数据, 以帮助识别、开发和以其他方式创造新的战略业务机会。它们的目的是让人们能够方便地解释这些数据,发现新的机会并在洞察的基础上实施有效的战略, 可以为企业提供竞争的市场优势和长期稳定。
微软公司的Power BI[2]产品是商业智能分析服务之中的一项,可以仪表板和交互式报表形式达到数据可视化效果并共享于多种设备,从而在整个组织中通过本地或者云端同一个视图直观地浏览和分析数据,提供洞察最终实现快速、明智的决策。
2.2 Power BI简介
2.2.1 产品结构
Power BI的核心组件Power Pivot最早由微软公司在Excel 2010专业增强版之中发布,其后在Excel 2013与Office 365的后续更高版本之中又增加了用于数据抽取、清洗、转换的组件Power Query,以及用于数据展示的Power Map与Power View组件,这些组件集合也被称为Excel BI。在2015年7月,微软发布了独立的第一版Power BI Desktop,独立于Excel BI,并且每月更新。
单机版Excel BI与Power BI Desktop可在桌面使用,而且不另行收费,所以又名免费版(Power BI Free)。此外还有专业版(Power BI Pro)及增值版(Power BI Premium)[3]。
个人以及中小型企业可以使用免费版,而具备联网展示、分析与发布功能的专业版目前可以免费试用,每次60天,目前仍然可以申请多次,条件是使用企业邮箱注册。数据量大和安全性要求高的企业与金融机构应考虑使用增值版(Power BI Premium)。
2.2.2 市场格局
在国际市场上,根据专业研究机构Gartner的分析报告[4],微软Microsoft的Power BI产品连续多年位居竞争力象限领导者地位,并且在产品远景与执行力两方面都领先于市场地位最接近的其他两家厂商,Tableau 与 Qlik,而Salesforce, SAP, SAS, IBM, Oracle等传统大牌软件供应商落后较多。国内商业智能软件供应商有思迈特 SmartBI, 帆软FineBI等。
2.2.3 优势特点
Power BI的宣传口号是Any data, any way, anywhere,即目标是处理多种数据源,在多种终端以多种方式处理和展示分析见解。
在技术方面,Power BI以列为单位使用Vertipaq技术压缩数据、存储和计算,借助于编码、数据字典和位置索引可以大幅度压缩数据,提高运算性能,在许多场景下性能优于传统的SQL。
就功能而言,Power BI提供了从数据抽取、转换、加载、分析到数据可视化展示的全套解决方案,可以横跨个人电脑、网页、手机、平板电脑等多种平台工作,可以在个人电脑终端处理上亿行数据,支持处理上百种数据源,并且按月更新,其展现方式灵活,可视化对象多,除了常规的条形图、饼图、折线图、漏斗图等等之外,还支持卫星地图展示以及外部各种自定义酷炫可视化插件,并且可以对接大数据时代十分热门的两种计算机编程语言 R以及 Python。其内置的人机交互问答机制与聚类分析和机器学习可以利用AI快速找出数据背后的故事,减轻分析师和决策者的工作负担。更重要的是,其免费策略使得学习与使用成本相对较低。初级用户单纯依靠菜单命令与手工操作也可以完成大量数据处理与分析工作。
在Power BI内部嵌套了两种函数语言, Power Query模块中的M语言,主要用于ETL即数据抽取、清洗转换、加载。主要功能是清洗非结构化脏数据并且加载上传至数据模型,除了基本的文本、数值、日期处理之外,也内嵌了合并查询,迭代和递归,网络抓取等高级功能,还可以完成类似SQL的Group by或者数据透视表之中的轻度聚合操作。
DAX语言主要用于数据分析,支持Power Pivot。作为DAX表达式输出结果的度量值基于数据模型,灵活强大,一次定义后可以在全局多次调用,刷新快,一则保证数据一致性,二来提高了计算效率。以分析银行业贷款数据为例,可以各项贷款余额为对象设置基础度量值,然后分别以客户、地区、资产质量等维度对基础度量值切片分析。DAX语言之中还有时间智能函数可以灵活实现累计数、同比、环比分析。
这些强大的功能,在新版Excel BI和Power BI Desktop之中大多可以同时实现。
3. 应用案例
列举以上Power BI特点之后,笔者针对银行业特定报表需求,设计了以下具体实用案例。
3.1监管报送日历
每年监管部门都会调整增减监管报告清单以及报送频率与上报时间,财务人员年初处理报送任务清单十分重要但是又容易出错和遗忘。Power BI可以从Excel 文件中读入数据,经过清洗处理后,生成在各年度之间可以重复使用的报送任务清单,发布到网络,供财务报告工作人员参考,掌握日常进度。
本案例主要展示Power Query M函数处理切分不规范数据的能力,以及DAX函数聚合文本的用法。
图表 1 Power BI监管报送日历
解读文章:http://u6.gg/rBHyT
报告网址:http://u6.gg/hgU9x,手机横屏或电脑效果更佳,也可识别以下二维码阅读报告。
网址二维码:
3.2大中小微企业划型
在监管报告工作流程之中,根据不同的行业组别选取营业收入、人数、总资产三者之中的一个或两个以确定大中小微企业划型是一个比较困难的问题,自动化较为困难,手工划型准确度和一致性较差,所以合规风险较高。而且统计局对大中小微企业的定义数据结构没有规范化,并未以数据库行列表的结构化方式呈现,计算层次复杂,需要分多维度多档次判断。
本案例主要展示如何由Power Query的M函数的强大功能,包括清洗处理非结构化的统计局标准,然后通过合并查询匹配适用的判断条件,以及展示判断条件以帮助读者理解等。
解读文章:http://u6.gg/rBHzd
图表 2 Power BI大中小微企业划型
报告网址:http://u6.gg/rBH28,手机横屏或电脑效果更佳,也可识别以下二维码阅读报告。
网址二维码:
3.3 1104报表-贷款部分
贷款按各维度切分报告是银保监会1104报表的重点领域,在传统的合规报告软件之中,往往需要为每一张涉及贷款的报表定义各项贷款的范围,然后根据不同的报告维度抽取数据。这样做的弊端是重复定义,多冗余计算,开发与测试工作量大,而且容易造成表间不一致。
本案例主要展示DAX函数度量值一次定义,多次切片使用的灵活性能,从贷款明细出发,首先定义核心度量值各项贷款余额,然后再根据不同目的分析需要,分别筛选或者切片分析展示各维度数据。
图表 3 Power BI 1104报告--贷款部分
报告网址:http://u6.gg/rBJpR,手机横屏或电脑效果更佳,也可识别以下二维码阅读报告。
网址二维码:
4. 写作计划
目前,笔者计划与出版社洽谈合作出书事宜。如果读者希望看到更多针对银行业金融机构的财务报告与监管报告案例,那么请转发与点赞,您的支持将有助于早日将意向转化为更多实际成果。现阶段写作提纲如下:
[1] https://en.wikipedia.org/wiki/Business_intelligence
[2] https://powerbi.microsoft.com/zh-cn/
[3] https://blog.csdn.net/jessica_seiya/article/details/81118514
[4] http://www.relevance.ro/Download/Gartner%20Magic%20Quadrant%20BI&Analytics%202018.pdf