最近刚刚做的adventure项目，接下来把我做项目的过程和步骤展示出来，方便大家学习理解。
以下先展示本次项目的结果：
一、项目概述：
1.背景介绍
Adventure Works Cycle是国内一家生产和销售自行车及和相关配件的制造公司。利用每日商品销售及相关客户信息数据，获取商品销售趋势、地域分布情况以及简单用户画像，进行可视化展示，为运营人员提供自主分析工具。
公司主营业务有自行车，服装，配件，这里主要分析的是自行车业务。
2.指标情况
从整体的角度：分析2019.1—2019.11自行车整体销售表现
从地域的角度：分析11月每个区域销售量表现、11月TOP10城市销售量表现
从产品的角度：分析11月类别产品销售量表现、11月细分产品销售量表现
热销产品：分析11月TOP10产品销量榜、11月TOP10销量增速榜
从用户的角度：分析11月用户年龄分布及每个年龄段产品购买喜好、11月男女用作者
3.数据获取来源
1）ods_sales_orders 订单明细表：
2）ods_customer 每日新增用户表：
3）dim_date_df 日期维度表：
dw_order_by_day 每日环比表
输出：dw_order_by_day销量订单聚合目标及日期维度表
dw_customer_order 时间地区产品聚合表
输出：每日新增用户表，销售订单表，日期维度表的订单聚合
dw_amount_diff 当日维度表
输出：订单数量和金额的同期变化
二、python数据处理
1.生成dw_order_by_day表
创建MySQL数据库引擎
读取ods_sales_orders(订单明细表)，根据create_date聚合,求总销量/订单量/客单价
利用空列表及循环生成对应随机值，与销量订单聚合表合并形成sum_amount_order_goal(销量订单聚合目标表）
读取dim_date_df日期维度表
连接（sum_amount_order_goal销量订单聚合目标表）和（date_info日期维度表）, 输出：（dw_order_by_day销量订单聚合目标及日期维度表）
2 生成dw_customer_order表
创建MySQL数据库引擎
读取数据ods_sales_orders和ods_customer、dim_date_df
把需要用到的字段用数据聚合提取，并且合并三表，最后输出：dw_customer_order
3 生成dw_amount_diff表
创建MySQL数据库引擎
读取数据dw_order_by_day到dw_ods_sales_orders
求取各阶段的总金额和订单数（当天，昨天，当月，当季度，当年）与同期的数据作对比
最后输出dw_amount_diff
三、使用powerbi来搭建可视化看板
1.使用poweibi连接mysql数据库
获取数据 --- 选择mysql数据库
2.可视化报表布置与展示
运用切片器来联动不同地区和城市的展示情况，KPI、卡片图主要展示销售量金额的变化，运用表格、环形图，地图根据不同地区和城市展示
利用书签跳转各阶段的对比展示
这里就先展示两个阶段的看板，后面几个的展示跟这个差不多
四、 使用Hive和SQL完成ETL过程
1.Sqoop抽取数据到hive
通过shell脚本，在Linux运行，将mysql中的数据转移至hive
sqoop_dim_date_df.sh
sqoop_ods_sales_orders.sh、sqoop_ods_customer.sh与上述方式相同
2 hive中数据聚合
shell脚本代码写hivesql语句做聚合，聚合内容主要是根据实际业务需要自主分析一些指标
在shell脚本基本框架：hive -e''hive sql语句''
五、 报告输出
1.指标搭建
1.1目的
如何制定销售策略，调整产品结构，才能保持高速增长，获取更多的收益，占领更多市场份额，是公司最关心的问题。
报告通过对整个公司的自行车销量持续监测和分析，掌握公司自行车销售状况、走势的变化，为客户制订、调整和检查销售策略，完善产品结构提供依据。
1.2数据来源
数据来源与表名，基础表存于Mysql数据库
数据库名：adventure_ods
dw_customer_order 产品销售信息事实表
ods_customer 每天新增客户信息表
dim_date_df 日期表
ods_sales_orders 订单明细表
1.3 指标制定
a．从整体的角度：分析2019.1—2019.11自行车整体销售表现
b．从地域的角度：分析11月每个区域销售量表现、11月TOP10城市销售量表现
c．从产品的角度：分析11月类别产品销售量表现、11月细分产品销售量表现
d．热销产品：分析11月TOP10产品销量榜、11月TOP10销量增速榜
e．从用户的角度：分析11月用户年龄分布及每个年龄段产品购买喜好、11月男女用户比例及产品购买喜好
2. pandas、numpy加工数据
部分代码如下：
从数据库读取源数据：dw_customer_order
查看数据类型
增加create_year_month月份字段。按月维度分析时使用
筛选产品类别为自行车的数据
自行车整体销售量表现
计算order_num环比增长
将环比增长数值添加到overall_sales_performance中
计算sum_amount环比增长
查看数据
将数据存入数据库
通过上述数据加工，将存入mysql的数据接入powerbi与Excel，分别绘制图像与表格，通过python把以下5个方面围绕销售表现情况进行处理
a.整体销售表现
b.地域销售表现
c.产品销售表现
d.热品销售分析
e.用户行文分析
5个方面，完成线上自行车业务分析报告
