latency：request到response中间经历的ms
P99-latency：样本中延迟最大的1%的数据的平均延迟
P95-latency：过去的10秒内最慢的5%的请求平均延时.
throughput：某一时刻成功处理request的data的数量
并发：针对进程，同时执行多个进程，CPU轮转轮流处理这些进程。
并行：针对进程，多和CPU同时对多个进程进行计算
MLOps: operation运维与machine learning之间的桥梁的开发
image.png
tail latency：常在分布式高并发中出现的词
开发和运维高并发系统的工程师可能都有过类似经验，明明系统已经调优完毕，该异步的异步，该减少互斥的地方引入无锁，该减少IO的地方更换引擎或者硬件，该调节内核的调节相应参数，然而，如果在系统中引入实时监控，总会有少量响应的延迟高于均值，
类似：数据集的长尾效应
训练数据中，一小部分的类别占据了大多数的训练样本，而大部分的类别只有极少数的训练样本。类别重平衡策略（如权重重赋值，重采样等）是为了缓解长尾效应提出的最有效最关键的策略。
【未完待续】
