首先,请允许我隆重地宣布 Pyston v2 发布。Pyston v2 是 Python 编程语言的一种更快且高度兼容的实现。在我们的宏基准测试中,Pyston v2 比原版的 Python 3.8快20%。更重要的是,在你的代码上,它可以更快。Pyston v2 可以降低服务器成本,减少用户延迟,并提高开发人员的生产力。
Pystonv2 的部署非常简单,因此如果你希望获得更好的 Python 性能,那么我们建议你花五分钟时间尝试一下 Pyston。使用 Pyston v2 是最简单的加快项目速度的方法之一。
性能
Pystonv2 在许多工作负载上均提供了显著的速度提升,同时鲜有弊端。我们的工作重点一直放在 Web 服务工作负载上,但是 Pyston v2 在其他工作负载和流行的基准测试上也实现了更高的速度。
我们的团队整理了一份全新的公共 Python 宏基准测试套件,该套件可测量多个常用 Python 项目的性能。该套件中的基准规模超过了其他 Python 套件,因此可以更真实地代表实际的应用程序。尽管这导致我们的项目不如其他项目那样受人关注,但我们相信这个测试套件展示了 Pyston v2 在面对实际用例时可以更好地提升速度。Pyston v2 在宏基准测试上展示了性能的提升,在 chaos.py 和 nbody.py 等的测试中,其速度是标准 Python 的两倍。
下面是我们的性能测试结果:
CPython 3.8.5 Pyston 2.0 PyPy 7.3.2
Flaskblogging 预热时间 [1]n/a n/a 85s
flaskblogging 平均延迟 5.1ms 4.1ms 2 .5ms
flaskblogging p99 延迟 6.3ms 5.2ms 5.8ms
flaskblogging 内存使用 47MB 54MB 228MB
djangocms 预热时间 [1]n/a n/a 105s
djangocms 平均延迟 14.1ms 11.8ms 15.9ms
djangocms p99 延迟 15.0ms 12.8ms 179ms
djangocms 内存使用 84MB 91MB 279MB
Pylint 加速 1x 1.16x 0.50x
mypy 加速 1x 1.07x [2]不支持
PyTorch 加速 1x 1.00x [2]不支持
PyPy 基准测试套件 [3]1x 1.36x 2.48x
上述结果是在运行了 Ubuntu 20.04 的 m5.large EC2 实例上收集的。
预热时间的定义为基准达到峰值性能的95%之前的时间。如果无法与噪声区分开,则用“n/a”表示。我们的延迟测试仅考虑预热后的行为。
mypy 和 PyTorch 不支持利用源代码自动构建 C 扩展名,因此这些 Pyston 的测试结果使用了不安全的兼容模式。
我们对 PyPy 基准套件进行了修改,使其仅运行与 Python 3.8兼容的基准。
结果分析
在我们的目标基准测试(djangocms + flaskblogging)中,Pyston v2 的平均延迟平均提高了1.22倍,p99 延迟平均提高了1.18倍,同时每个进程仅使用了几兆字节。我们尚未优化其他基准。
p99 延迟指的是响应时间分布的第99个百分位,是 Web 服务中的常用指标,它可以表示用户体验到的平均延迟。PyPy 在 djangocms 上的高p99延迟来自周期性的延迟峰值,大概是由于垃圾收集暂停导致的。CPython 和 Pyston 都表现出周期性的峰值,大概是由于它们的周期收集器引起的,但是它们的频率较低且幅度较小。
mypy 和 PyTorch 基准显示了 Pyston v2 的自然边界。这些基准测试都大部分都是在 C 扩展中完成的,这些扩展不受我们的 Python 加速影响。我们支持 C API,而且没有模拟层,因此我们可以进一步少量提升 mypy 性能,并且不会降低 pytorch 或 numpy 的性能。具体的收益取决于 Python 和 C 扩展的混合程度。
技术方法
我们在 Pyston v2 中使用的技术包括:
使用 DynASM 开销非常低的JIT
Quickening
常规的 CPython 优化
建立改进流程
兼容性
由于 Pyston 是 CPython 的分支,因此我们认为它是兼容性最高的 Python 实现之一。它支持 CPython 所有的功能以及 C API。
尽管从理论上来说 Pyston 的功能相同,但实际上,任何新的 Python 实现都存在或多或少的兼容性难题。
可用性
Pystonv 2.0可作为预编译包立即使用。当前,我们提供适用于 Ubuntu 18.04 和 20.04 x86_64 的软件包。
Pyston 的试用只需安装软件包即可,用 pyston3 替换 python3,然后用 pip-pyston3install 重新安装依赖项。如果你有现成的自动构建,则只需修改几行代码。
背景
我们在 Dropbox 设计了 Pyston v1,目的是加快其 Python 的 Web 服务工作量。项目结束后,我们团队中的一些人集思广益,集中讨论了如何采用不同的方式构建 Pyston。Pyston v2 的灵感来自 Pyston v1,但技术却与v1没有关系。