京东作为国内最大的自营式电商,它的商品数量、日成交量都远远超过了线下实体商超,其供应链受到巨大挑战。在今年,京东上线了智慧供应链项目,使用人工智能帮助供应链更好决策。今年9月份,京东业务联合团队(JD U-Power)携好供应链解决方案荣获全球供应链挑战赛亚军。人工智能到底是如何促进供应链技术升级的,让我们一起来了解。
另外,在本次ArchSummit全球架构师峰会北京站,设置了《电商专题:系统架构如何应对业务爆发式增长》《阿里双11技术架构突破》专题,来深入解读双11等大促背后的技术故事,大会将于2016年12月2日-3日在北京国际会议中心召开,欢迎关注。
电商的传统供应链难题
京东将信息部门、物流部门和销售部门垂直整合。其供应链主要包括采购、销售、配送三个环节,各个环节通过信息流、资金流、物流连接成一个网络。京东在全国有234个大型仓、数千万种商品,以及亿级用户。
在新形势下,传统供应链主要面临着五大挑战:计划管理、业务监控、成本控制、客户服务。
计划管理:如何及时地对各个品类进行科学地备货、调拨等,对于京东最具特色的促销活动,如何提前设计促销形式尽可能实现促销预期,对于选取最佳的商品进行促销和及时根据促销计划进行备货等,即在现货率与周转指标两者间实现均衡。
业务监控:将采购、销售、配送各环节的业务数据信息化,及时、有效跟踪生产健康状态,例如:对于促销期间各推广商品的表现情况,可以通过大数据技术进行实时跟踪与分析, 在促销期间动态调整商品甚至折扣力度,实现促销期间最大化收益。
成本控制:库存成本(通过机器学习大数据方法,实现智能补货系统,在保证现货率的同时,减少库存成本
客户服务:如何在特定的时间内,以合理的价格,提供给客户最需要的产品。京东仓配一体化的服务能在承若的时间内,将客户所需物品送达客户手中。
京东智慧供应链介绍
在这么庞大的网络、用户、商品前提下,只靠人的计算已经很难满足精细运营管理的需求了,所以人工智能在整个供应链中的作用越来越重要,目前京东已经在供应链的多个环节部署实施了AI系统,包括:
1) 好计划系统:基于历史数据和统计学习模型的智能预测系统,包括对商品未来的销量预测、对各维度仓库的单量预测,对促销期间的促销预测,给出更为智能的相关业务数据预测和相关计划性支持。
2) 好商品系统:基于海量数据和机器学习技术的智能商品分类系统,从多维度评估商品特征和价值
3) 好价格系统:基于统计学习和决策树等机器学习技术的动态定价系统, 实现了客户为先、供需协同及可持续的最优价格策略
4) 好库存系统:基于大数据平台和增强学习等机器学习技术的销量预测系统,为采购、库存管理等提供了更智能化的建议
5) 基于运筹优化技术的智能订单履约系统,科学地分配订单生产路径及快递安排,以最优的方式满足客户时效要求
6) 基于自然语言处理和图像识别的匹配抓取系统,为智能决策提供了更为实时、完整的信息支持
7) 基于模式识别等技术的风险控制系统,及时预警订单的风险级别等,提供更为安全可靠的客户体验。
在大数据应用的基础上,京东商城进一步使用机器学习等人工智能手段,搭建了智能库存管理模块。通过对于服务水平要求、供应商送货提前期、安全库存分析等一系列参数的学习和模拟,结合基于大数据机器学习的销售预测模块,实现了自动化的商品采购下单、调拨和滞销清仓。未来,京东技术团队还将把自动化的零售管理应用在存货布局、履约优化、引品选品分析等一系列商业场景下,打造智慧零售。
人工智能如何帮助采销配送
对于供应链的采购、销售、配送等环节,人工智能都能带来巨大提升:
采购环节:京东通过大数据技术进行智慧选品,从海量商品中挑选出潜在爆品;以机器学习与统计学相结合的方式设计预测模型和补货模型,结合大数据技术实现海量数据的内存式预测和补货计算,可以预测未来京东几百个仓库中每天的每个区域的销量和备货量,实现智能化、自动化补货,预测涵盖京东全部自营品类,准确率达80%以上,大大节省了人力。
销售环节:京东技术上运用运筹学和人工智能模型实现的京东动态定价,通过全面的产品生命周期、促销、行业因素等分析,通过算法实现动态定价,同时可以让商家保持健康运营并有效控制库存;京东还打造了智慧协同平台,和品牌商一起为用户精准提供他们需要和心仪的商品,为用户创造更多价值。在促销环节,京东引入了人工智能的算法辅助采销进行更加科学的决策。通过对历史上的促销记录和效果进行分析,利用机器学习算法,能够更快的帮采销定位适合引流和/或降价的产品,使得促销资源得到最大化的利用。
配送环节:通过大数据技术打造的销量预测工具,可以按区域分时段准确预测用户对商品需求,并结合自动补货系统,实现库房自动化备货,提高商品的现货率,降低了库存周转率,同时为用户提高卓越购物体验。京东预测系统包括对未来每个仓库和站点在未来每天、每月(近半年)的单量预测,其中包括长短期预测和大促期间的预测,通过科学的机器学习算法与大数据技术向结合,通过分析海量的历史单量、促销等数据设计符合京东特色的单量预测模型,最终供仓储运营体系进行提前的人力资源预估及排班,以较低的成本实现订单履约率,同时这些结果被下游系统的决策提供有力的保障,如生产排班、仓库选址和拆分、订单履约等等。
AI实时数据处理
AI所需要的数据不仅而且是海量的,而且是实时的。基于大数据平台的AI系统需要处理来自高度动态来源的实时信息。对预计会连续的流数据进行技术上的优化特别关键。京东基于自己的数据平台及云计算平台,构建了高可用性的AI系统。
1) 通过统一的大数据平台,建立了高效实时的数据通道及海量实时数据库
2) 使用零队列机制,消除了中间的排队过程,使得消息能够直接在任务自身之间流动。
3) 独立及模块化的分布式计算平台,提供了统一的AI算法模块、强大的计算能力和计算效率。基于大数据平台,京东构建了统一的开放预测平台以及开放运筹优化平台,简化了AI系统的开发。通过对计算任务的智能调度和管理,实现了实时计算。
4) 任务级的故障检测及自动重新分配,实现更智能的处理管理流程,以确保资源得到充分使用。
动态定价原理
动态定价从解决方案上讲,我们可以分成两个部分:
1) 量价关系的模式学习:从海量的历史商品销售数据中学习出价格,促销等因素对商品销量的真实影响,构建多因素的量价关系模型,用来刻画商品的量价关系;
2) 价格和促销决策优化:一般而言,当我们在做各种定价与促销决策时, 会受到很多商业上的约束,如友商的约束、品牌商的价格保护、厂商限价等等;基于给定的商业约束,给定的商业目标(冲GMV或者毛利),通过学习出来的量价关系函数,通过构建一个庞大的优化决策模型去做最优价格与促销手段的决策。
在实践中,京东动态定价系统在2015年在多个品类上进行的试点,试点的效果看GMV、毛利和销量都得到较好的提升;计划在2016年年底将实现JD长尾商品的自动化定价。
对于商品库存、价格等的预测采用了哪些算法和模型,如何评价训练结果好坏?
销量预测和补货决策
一般而言, 电商的补货涉及到销量预测和补货决策两项环节, 销量预测指的是 根据商品的历史销售情况,去预测其未来的销量; 对京东我们现在的销量预测模 型大体可以分成两类:
基于统计模型(时间序列分析)的预测,我们通过模型分析商品时序的自相关性,商品销售的趋势和季节性,从而对未来的销量进行预测;
另一类是基于人工智能的方法, 我们在销量数据中提取商品维度,用户维 度,时间维度,促销信息,天气情况等外部因素,综合使用线性模型,决策树集成学习,深度学习等方法,大幅度提升了京东商品销量预测的准备度;
补货策略上, 对于很多电商和传统公司,(S, s)策略是应用面最广的策略, 通过 对每个商品历史销量与预测信息建模, 计算其最优补货点和目标库存,提升商品 的满足率;当我们关注点是补货的收益时,现有的多阶段报童模型(newsvendor) 就是最好的选择;在服装闪购等方面,我们也在积极拓展二阶补货策略,提升仓储补货的效率。
销量预测模型方面,主要采用三大类模型:
统计学的算法(含自回归统计算法、时间序列两大类算法)
机器学习且支持海量并行内存式计算的预测算法
根据业务特性设计的混合多因素算法 (计量经济学模型) 。
具体包括:
各品类预测前,JD复杂业务的数据Pipeline化处理算法。
计量经济模型(促销分析、模拟)、库存决策树模型、量价关系模型。
时间序列预测算法(例:季节性预测模型、价格因子模型、Holt-Winters模型)。
多因素回归算法、GBDT算法等基于机器学习的预测算法。
同时,我们搭建了算法集成平台,可以实现多算法并行执行和自动择优的过程,能够快速验证新算法的效果并整合到现有的系统中。
模型的评估方面:一般分线上评估与线下模型评估。
线下模型评估:线下评估,我们用的是传统机器学习中的评估方法,将数据集分成训练集与测试集,在测试集中验证模型的真实表现。
在线上评测方面,我们对模型在线上的真实表现进行实时跟踪,并进行实时反馈分析,继续优化提升。对于指标方面包括如下:
一、(技术维度)按照行业标准的MAPE评估,通过品类MAPE、整体MAPE评估预测效果。
二、(业务维度)按各品类进行预测偏高、偏低误差的分段分布统计。
在应用人工智能上遇到的问题
人工智能虽然很强大,但要用好也并不容易,京东在应用人工智能就遇到了如下的一些问题:
多环节协同。目前的智慧供应链系统,由于受到现实条件的限制,使得供应链的各个环节相对独立的进行优化而没有形成完整的闭环系统。
应对更加复杂的不确定性。供应链系统的运行效率,与它所面临的不确定性有重大关系。在传统的策略中,倾向于使用简化模型和保守的策略。但是,这也使得所得到的策略对于现状的改善也较为有限,供应链系统的优化存在瓶颈。从另一个角度来说,目前受到数据与方法的限制,在用户细分和商品细分两个方面还有一定的提升潜力。总体而言,为了应对更加复杂的不确定性,我们往往需要建立更加复杂的模型,但是模型复杂度的提高对模型的训练和基础数据的质量提出了更高的要求。
时效性与预测性。现实世界在不断变化,相关的模型需要适应现实世界的发展,模型的时效性与预测性需要进一步加强。目前,部分信息的采集与处理未能形成高效的解决方案,使得部分AI模型的快速训练与验证遇到一定问题,导致模型相比当前实际情况“慢半拍”。同时,当前模型的训练主要基于历史数据进行,对于未来新场景的预测能力有待提高。
数据源难打通。用户数据的敏感性导致不同数据源之间的数据难以打通,使得AI模型的应用受到局限。发挥AI的巨大潜力,需要扩大基础信息的采集面。比如,系统智能补货系统需要根据用户的购买行为、经济能力等信息计算系统最优的补货策略。但是,由于信用卡数据、通信数据等非常能反映这些特征的数据或信息未能及时反映到京东的智慧供应链系统中,所以我们仅能根据用户的购买和浏览行为对用户的特征进行分析,使得AI技术的应用“巧妇难为无米之炊”。
未来展望
京东供应链对于人工智能应用仍然在探索当中,在预想里,未来的扩展可以涉及到:
利用人工智能技术,可以协同管理仓储、物流、定价等供应链的多个领域,从而实现更加优化的资源配置。当前,供应链各个环节的智能化管理相对独立,包括物流、仓储、补货、销量预测、定价、促销等在内的多个环节进行独立的优化。在未来,我们致力于建立更加高效的综合系统,使上述各个环节协同优化。
拓展应用领域:在包括订单生产、风控、促销、新品定价等领域进一步拓展AI的应用。
建立基于在线学习的优化策略:逐步引入数据驱动的在线模型学习技术,使得模型在使用过程中进一步完善与进化。
强化学习下的人工智能。随着应用的深入,我们逐步建立起有效的供应链系统仿真机制,并以此为基础,建立强化学习系统,使得京东供应链系统能够应对更加复杂的问题。
总之,人工智能对于供应链进化作用巨大,未来京东将借助工业4.0的东风,进一步将智能物流与智能工厂、智能生产相结合,为适应工业领域与零售领域的下一次变革做准备。