关键词：算法分析、算法复杂度、时间复杂度、空间复杂度
相关文章详细解释了这些内容，以下是个人理解与部分摘录
在cs231n 教程中看到这页slide，对上面的Train O(1)不是很清楚，所以百度了一下。
简述：上述页面的O（1），O（n）指的是时间复杂度。
Ο(1) 表示基本语句的执行次数是一个常数，一般来说，只要算法中不存在循环语句，其时间复杂度就是Ο(1)。截图中，只是将训练数据存储起来，执行一次就完了，所以时间复杂度为O(1)
O(n) 简单理解：语句的执行次数为最多为N次，在截图中，对于每一个测试数据，都要和n个训练数据分别计算distance，假设有m个测试数据，那么distances的那行语句就要执行m*n次，m是一个常数，所以时间复杂度为O（n）。
更直观的理解，比如下面的例子，for循环中3,4,5是基本语句（简单说：执行最多的语句），随着 i 从1 一直加到n，中间语句3,4,5都会执行n次，所以这个算法的时间复杂度为O（n）。
基本的疑惑解释完了，后面开始具体看时间复杂度到底是什么？
算法分析
为什么要做算法分析？
同一问题可用不同算法解决，而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。
算法分析包括哪些内容？
通常，对于一个给定的算法，我们要做两项分析。
第一：从数学上证明算法的正确性。这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。（逻辑是否正确）
第二：分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级，在很大程度上能很好反映出算法的优劣与否。（估算执行所需时间）
算法复杂度
算法的复杂性体现在运行该算法时的计算机所需资源的多少上，计算机资源最重要的是时间和空间（即寄存器）资源，因此复杂度分为时间复杂度和空间复杂度。
时间复杂度是指执行算法所需要的计算工作量； （语句执行次数）
而空间复杂度是指执行这个算法所需要的内存空间。 （存储空间）
为什么空间复杂度没有经常提？这个问题先放下，我们从时间复杂度开始：
时间复杂度
1. 时间频度
一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。
2. 时间复杂度
在时间频度中，n称为问题的规模，当n不断变化时，时间频度T(n)也会不断变化。但有时我们想知道它变化时呈现什么规律。为此，我们引入时间复杂度概念。 一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n),使得当n趋近于无穷大时，T(n)/f(n)的极限值为不等于零的常数，则称f(n)是T(n)的同数量级函数。记作T(n)=Ｏ(f(n)),称Ｏ(f(n)) 为算法的渐进时间复杂度，简称时间复杂度。
时间复杂度常用大O符号表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况。
如何求解时间复杂度？
具体步骤如下：
1. 找出算法中的基本语句
算法中执行次数最多的那条语句就是基本语句，通常是最内层循环的循环体。
2. 计算基本语句的执行次数的数量级
只需计算基本语句执行次数的数量级，这就意味着只要保证基本语句执行次数的函数中的最高次幂正确即可，可以忽略所有低次幂和最高次幂的系数。这样能够简化算法分析，并且使注意力集中在最重要的一点上：增长率。
3. 用大Ο记号表示算法的时间性能。
将基本语句执行次数的数量级放入大Ο记号中。如果算法中包含嵌套的循环，则基本语句通常是最内层的循环体，如果算法中包含并列的循环，则将并列循环的时间复杂度相加。
举例
如下语句，第一个for循环的时间复杂度为Ο(n)，第二个for循环的时间复杂度为Ο(n^2)，则整个算法的时间复杂度为Ο(n+n^2)=Ο(n^2)。 (取最高阶项） 更多例子请点链接
在计算算法时间复杂度时有以下几个简单的程序分析法则:
1. 对于一些简单的输入输出语句或赋值语句,近似认为需要O(1)时间
2. 对于顺序结构,需要依次执行一系列语句所用的时间可采用大O下"求和法则"
求和法则:是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1(n)+T2(n)=O(max(f(n), g(n)))
特别地,若T1(m)=O(f(m)), T2(n)=O(g(n)),则 T1(m)+T2(n)=O(f(m) + g(n))
3. 对于选择结构,如 if 语句,它的主要时间耗费是在执行then字句或else字句所用的时间,需注意的是检验条件也需要O(1)时间
4. 对于循环结构，循环语句的运行时间主要体现在多次迭代中执行循环体以及检验循环条件的时间耗费,一般可用大O下"乘法法则"
乘法法则: 是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1*T2=O(f(n)*g(n))
5. 对于复杂的算法,可以将它分成几个容易估算的部分,然后利用求和法则和乘法法则技术整个算法的时间复杂度
另外还有以下2个运算法则:
(1) 若g(n)=O(f(n)),则O(f(n))+ O(g(n))= O(f(n))；
(2) O(Cf(n)) = O(f(n)),其中C是一个正常数
常用的算法的时间复杂度和空间复杂度
空间复杂度
定义
一个算法的空间复杂度(Space Complexity)S(n)定义为该算法所耗费的存储空间，它也是问题规模n的函数。渐近空间复杂度也常常简称为空间复杂度。
空间复杂度是对一个算法在运行过程中临时占用存储空间大小的量度。
一个算法在计算机存储器上所占用的存储空间，包括：
Part1：存储算法本身所占用的存储空间
与算法书写的长短成正比，要压缩这方面的存储空间，就必须编写出较短的算法
Part2：算法的输入输出数据所占用的存储空间
是由要解决的问题决定的，是通过参数表由调用函数传递而来的，它不随本算法的不同而改变
Part3：算法在运行过程中临时占用的存储空间
随算法的不同而异。有的算法只需要占用少量的临时工作单元，而且不随问题规模的大小而改变，我们称这种算法是“就地\"进行的，是节省存储的算法。有的算法需要占用的临时工作单元数与解决问题的规模n有关，它随着n的增大而增大，当n较大时，将占用较多的存储单元，例如快速排序和归并排序算法。
O(1) ：表示当一个算法的空间复杂度为一个常量，即不随被处理数据量n的大小而改变
O(log2n)：表示一个算法的空间复杂度与以2为底的n的对数成正比
O（N）：表示当一个算法的空I司复杂度与n成线性比例关系。
