2019年9月，美国国家科学技术理事会（NSTC）发布《高性能计算、大数据与机器学习的融合》报告，对美国网络与信息技术研发计划（NITRD）大数据与高端计算研发机构间工作组于去年10月举行的同名会议进行了总结。关键结论（1）随着数据量的急速增加，在科学需求的推动下，高性能计算（HPC）、大数据（BD）和机器学习（ML）不断融合。数据的产生不再是瓶颈，取而代之的是数据的管理、分析和推理。（2）随着半导体缩放对性能提升的贡献逐渐减少，未来系统的异构性将不断增加。系统将需要全面提高灵活性并具备低延迟，以更有效地支持新的应用。此外，因为当前可信数据很少，需要新的工具与基准来处理HPC模拟、大数据和机器学习应用中遇到的通用问题。（3）未来的计算生态系统将不同于当前的计算生态系统，更可能是将边缘计算、云计算和高性能计算结合起来。为实现这种无缝的生态系统，将需要新的编程算法、语言编译器、操作系统和运行时系统来提供新的抽象与服务。预计“边缘智能计算”的重要性将日益提升，其涉及网络边缘（近数据源）的智能数据采集或数据分类。（4）HPC、BD和ML社区间需要开展更多的合作，以实现更高校快速的生态系统开发，更有效地服务于这三类社区。数据分析与HPC模拟的融合已经取得了一些进展，而由于技术和组织上的差异，支持HPC和BD社区的软件生态系统却呈现出完全不同的情况。
已经为大家精心准备了大数据的系统学习资料，从Linux-Hadoop-spark-......，需要的小伙伴可以点击进入
案例HPC-BD-ML融合的一个案例是美国能源部与国立卫生研究院合作在国家癌症研究所开展的“癌症分布式学习环境”（CANDLE）项目，其致力于汇集分子、药物反应、治疗策略三个重大挑战领域的数据，来改进癌症患者的疗效。每一领域都有不同的专家团队在不同规模、模型和模拟中使用不同形式的数据，以求创建一个“单一可扩展的深度神经网络代码，用于解决所有三大挑战”：理解关键蛋白质交互的分子生物学原理；开发可用于药物反应的预测模型；从数以百万计的癌症患者记录中自动分析与提取信息，并确定最佳的癌症治疗策略。
另一个案例是能源部和产业界、学术界共同开展的“面向气候分析的百亿亿次深度学习”项目，来自多家机构的研究人员借助能源部的“顶点”（Summit）超算系统，利用经训练的深度学习模型识别极端天气模式。研究团队开发了一种创新的卷积分割架构，可自动提取热带气旋、大气河流等极端天气模式的像素级掩模，有助于气候科学界表征未来同类事件的频率和强度。该项目获得了2018年的戈登贝尔奖。
机遇与挑战（1）硬件模拟和数据分析均依赖于计算系统的能力，当硬件异构性随着不断变化的用户需求日益提升时，系统性能也会随之提升。融合面临的主要硬件挑战包括：所有层的互连效率，创新性工具与通用端到端基准套件，功耗，集成内存，可扩展文件系统，可靠网络，平衡的硬件开发等。（2）运作模式大型试验过去主要依赖于本地计算资源进行数据分析，现在越来越转向于通过HPC获得实时结果。同样的，部分机器学习和深度学习应用也需要借助HPC资源进行训练。模拟的规模和复杂性也需要一个应用能处理复杂工作流并通过ML实现工作负载的自动化。就分布式基础设施中HPC、模拟、数据分析与机器学习在工作流中的融合而言，边缘智能计算提供了一个很好的例子。主要的运作模式挑战包括：面向ML与大规模数据分析的可扩展工具与能力，新用户培训与支持，新的数据工具与服务，管理良好的端到端解决方案等。（3）软件最近的HPC系统能很好地将模拟的预测功能与机器学习的分析和优化功能相结合。随着深度神经网络在机器学习中的应用，数据分析目前也具有了传统HPC工作负载的计算特性。HPC和数据分析系统都采用了GPU等加速器来改善单个计算节点的性能，而且为突破计算性能扩展的限制，这种趋势还将继续。主要的软件挑战包括：系统设计，边缘计算或边缘智能计算，系统管理，通用软件库等。
码字不容易,帮忙点个赞,点赞关注是我写作的动力，谢谢！
