一.初聊Python
为什么要学习Python？
在学习Python之前，你不要担心自己没基础或“脑子笨”，我始终认为，只要你想学并为之努力，就能学好，就能用Python去做很多事情。在这个喧嚣的时代，很多技术或概念会不断兴起，我希望你能沉下心来去学习，不要急于求成，一步一个脚印。当你把某个技术学好、学精后，还是能做一些事情的，甚至能找到喜欢的工作或完成实践项目。
程序语言没有最好，只有最适合。作为一名初学者，我非常推荐你学习Python，为啥？一方面是因为它具有语法清晰、代码友好、易读性高的特点，同时Python拥有强大的第三方库函数，包括网络爬取、数据分析、可视化、人工智能等；另一方面Python既是一门解释性编程语言，又是面向对象的语言，其操作性和可移植性高，被广泛应用于数据挖掘、信息采集、人工智能、网络安全、自动化测试等领域。甚至，很多小学生、高中课程和计算机二级也都陆续增加了Python。
Python优势
Python最大的优势在于效率。有时候程序员或科研工作者的效率比机器的效率更重要，对于很多复杂性的功能，使用更加清晰的语言能给程序减少更多的负担，从而大大增强程序的质量，其易学性和扩展性也能让新手很快上手。虽然Python底层运行速度要比C语言慢，但Python清晰的结构能解放程序员的时间，同时很方便的和其他编程语言代码（如C语言）融合在一起。
所以，从来没有一种编程语言可以像Python这样同时扎根在这么多领域，并且Python支持跨平台操作，也支持开源，拥有强大的第三方库。尤其随着人工智能的持续火热，Python在IEEE近几年发布的最热门语言中多次排名第一，越来越多的程序爱好者、科技关注者也都开始学习Python。
Python学习建议
在Python学习过程中，不要觉得你的底子薄或者之前没接触过，就想放弃，很多人还没起跑就选择退赛。我想，只要沉下心来，肯下功夫，就能学好。在学习过程中，一定要去写代码、写代码、写代码，只写真正动手去实践，才能慢慢积累。
同时，编写代码过程中出错也是家常便饭，我现在写Python代码每天不出点错，心里都躁得慌，所以遇到错误，学会百度、谷歌去解决真的非常重要，它也是你学习能力的一种提升，实在找不到错误，可以去开源论坛、社区、学习群里提问，也欢迎来公众号或CSDN找我。
接下来我给出许老师推荐的Python程序员成长路线图，包括：基础语法–>语感训练–>课题练习–>分方向继续学习–>中级程序员–>拓展深度和广度–>高级程序员。
这里，给出我学习Python的一些历程和技巧。我最早接触Python是2013年，主要是因为研究生方向是自然语言处理，需要通过Python抓取数据并进行分析，所以就选择了它。那些年Python的资料很少，也没这么火热，但也一直坚持着，具体建议如下：
先把环境安装，开始编写第一个Python代码，别再去等明天了
学习过程中切勿看视频（书籍），喝着奶茶，就是一天，一定要动手敲代码啊
通常先了解Python基础语法，推荐MOOC北理工嵩天老师的视频和runoob语法，当然B站和CSDN上也有很多免费资料，大家可以去选择。
基础语法大致掌握后可以尝试学习Python网络爬虫，因为不论是数据分析、机器学习、渗透测试等，都会涉及到爬虫技术，只有拥有自己的语料，才能处理更多问题。 爬虫方面不用太深入，掌握两门技术即可
Urllib、Requests、BeautifulSoup、XPath、Selenium、Scrapy、分布式爬虫
接下来学习Python可视化分析（词云）、微信操作、邮箱发送等功能，这些知识能有效提高你的编程兴趣
人工智能方向：包括机器学习（回归 | 聚类 | 分类）、深度学习（TensorFlow | Keras | Pytorch）学习，建议结合实际科研或项目进行深入研究
图像识别方向：包括图像处理、OpenCV、模式识别、机器学习、深度学习、目标检测学习，也建议结合实际科研或项目进行深入研究
其他方向学习：Web网站开发、网络安全、自动化测试、应用程序编写
学习路上没有捷径，只有坚持，但你却能通过Python不断提升你的学习兴趣，做一些喜欢的事，喜欢上这门语言。最后给出当年大三学习Python时激励自己的话：
If not now, when? If not me, who?
如果不是为了自己奋斗，又是为谁；如果不是现在奋斗，什么时候开始呢？
二.Python简介及安装入门
1.Python简介
Python是荷兰人Guido van Rossum在1989年开发的一种脚本新解释语言，它是一种面向对象的解释型计算机程序设计语言。Python是纯粹的自由软件，其语法简洁清晰，特色之一是强制使用空白符（White Space）作为语句缩进。由于Python具有丰富和强大的库，常被昵称为胶水语言。
Python作为热门语言，具有以下特点：
语法清晰，代码友好，易读性好
应用广泛，具有大量的第三方库支持，尤其是机器学习、人工智能相关库
Python可移植性强，易于操作各种存储数据的文本文件和数据库
Python是一门面向对象语言，支持开源思想
能在多种功能、多种平台上撰写脚本及快速开发
作者和许老师观点一样，不建议初学者上来就选择像Anaconda或PyCharm等集成工具，在我看来它们提供的便利不如给用户学习带来的麻烦多。至少，在开始第一个星期不要使用IDE。对于Python这样一种解释型的脚本语言，一款趁手的编辑器就足够。
我们需要的是专注于python本身，而不是被工具使用问题所困扰。君不见，知乎上关于Pycharm和Vscode的使用说明、常见问题的解决方案，多得几乎超过了讨论Python本身
很多学生由于学校电脑的限制，安装Python官方提供的轻量型工具学习更方便
手工运行代码，可以更直观、更深刻地了解脚本的解释执行过程
手工调试代码，有助于代码优化，提高代码把控能力
可以更好地使用pip安装和管理第三方模块
当然，这些工具后续随着学习深入，作者也会普及和分享其功能用法。
Anaconda Python
PyCharm
Cpython
ActivePython
PyPy
Jython
Spyder
2.安装流程
如果您选择Windows系统下编程，则您可以在Python官网Downloads页面中下载编程软件，其官网网址为“http://www.python.org”。同时，如果您是在Linux系统下编写Python代码，则您可以直接在Linux系统中内置安装使用Python解释器。
从Python官网下载时，请注意选择正确的版本。如果是用于学习，下载最新版没有问题，如果是用于生产，则要考虑你开发需要的第三方模块是否支持最新版的Python。注意，Python2已经不更新，建议大家学习Python3，两者语法基本类似，仅部分功能修改。这里作者选择下载Python3.6或Python3.7。
安装时不要忘记勾选最下面的两个复选框，否则会给后续的模块安装带来一些麻烦，推荐使用默认方式安装。
安装成功后，需要在“开始”菜单中选中“程序”，找到安装成功的Python软件，如图所示，打开解释器编写Python代码。
打开“Python 3.6（64-bit）”命令行软件，输入第一行Python代码“I love python”，输出结果如下图所示。解释型语言的优势，就是可以写一句执行一句，想到哪儿写到哪儿，不必像编译型语言那样得把程序全部写完，编译成功后才能运行。我特别喜欢使用python的IDLE，甚至拿它当计算器用。
但是如果你需要编写大段代码或自定义函数时，Python命令行肯定不是一个很好的选择，此时读者可以点击“IDLE”，运行Python的集成开发环境（Python Integrated Development Environment，IDLE），你可以用它来创建或打开.py脚本文件，可以编辑、运行和调试，打开如下图所示。
接着可以点击“File”中“New File”新建文件，并另存为py文件，如“test01.py”，然后点击运行“Run Module F5”按钮，运行Python脚本文件。
所有Python文件将以.py为扩展名。将源代码写在test01.py文件中运行。
很多时候，我们用IDLE验证代码的写法是否正确，查看模块是否安装成功以及版本号。IDLE支持tab键自动补齐，经常用这个功能查看某个对象的方法和属性。小技巧：
tab键自动补齐
光标移动到执行过的语句上敲击回车，可以重复这个命令
下划线(_)可以获取最后一次执行结果
三.基础语法
前面已经成功安装了Python软件，接下来我们开始讲解Python的基础语法，包括缩进与注释、变量与常量、输入与输出、赋值与表达式等。
1.缩进与注释
缩进
不同于其他语言，在Python中通过缩进来标明代码的层次关系。1个缩进等于4个空格，它是Python语言中标明程序框架的唯一手段。
在Python中，同一个语句块中每条语句都是缩进的，并且缩进量相同，当回退或已经闭合语句块时，需要回退至上一层的缩进量，表示当前块结束。下面是C语言和Python语法的对比，其中C语言用大括号来区分层次关系，Python通过缩进来区分。
缩进的空白数量是可变的，但是所有代码块语句必须包含相同的缩进空白数量，这个必须严格执行。
Python引号
Python 可以使用引号( ’ )、双引号( " )、三引号( ‘’’ 或 “”" ) 来表示字符串，引号的开始与结束必须是相同类型的。其中三引号可以由多行组成，编写多行文本的快捷语法，常用于文档字符串，在文件的特定地点，被当做注释。
word = 'eastmount'
sentence = "娜璋AI安全之家"
paragraph = """这是一个段落。
包含了多个语句"""
注释
注释是用于说明代码信息的，注释代码是不执行的。Python注释主要包括两种：
行注释：采用#开头进行单行注释，如“#定义一个变量”。
#!/usr/bin/python
# -*- coding: UTF-8 -*-
# 文件名：test01.py
# 第一个注释
print ("Hello World!") # 第二个注释
块注释：多行说明的注释采用’’'或"""开头和结尾，比如使用Python集成开发环境Spyder新建文件时，通常有一段注释说明。
"""
Created on Sat Sep 16 10:34:31 2017
@author: yxz
"""
多行语句
Python语句中一般以新行作为语句的结束符。但是我们可以使用斜杠（ \）将一行的语句分为多行显示，如下所示：
total = item_one + \
item_two + \
item_three
语句中包含 [], {} 或 () 括号就不需要使用多行连接符。如下实例：
days = ['Monday', 'Tuesday', 'Wednesday',
'Thursday', 'Friday']
2.变量与常量
变量
变量是程序中值可以发生改变的元素，是内存中命名的存储位置，变量代表或引用某值的名字，比如希望用N代表3，name代表“hello”等。其命名规则如下：
变量名是由大小写字符、数字和下划线（_）组合而成的。
变量名的第一个字符必须是字母或下划线（_）。
Python中的变量是区分大小写的，比如“TEST”和“test”是两个变量。
在Python中对变量进行赋值时，使用单引号和双引号是一样的效果。
注意，Python中已经被使用的一些关键词不能用于声明变量，关键词表如下：
['and', 'as', 'assert', 'break', 'class', 'continue', 'def',
'del', 'elif', 'else', 'except', 'exec', 'finally', 'for', 'from',
'global', 'if', 'import', 'in', 'is', 'lambda', 'not', 'or',
'pass', 'print', 'raise', 'return', 'try', 'while', 'with', 'yield']
不同于C/C++/Java等语言，Python中的变量不需要声明，就可以直接使用赋值运算符对其进行赋值操作，根据所赋的值来决定其数据类型，下图为未声明输出其类型。
常量
常量是指程序中值不发生改变的元素，一旦初始化后就不能对其修改的固定值，它是内存中用来保存固定值的单元。由于某种原因，Python并未提供如C/C++/Java一样的const修饰符，换言之，python并没有定义常量的关键字。但是Python可以使用对象的方法来创建常量，比如通过const.py文件，将const类注册到sys.modules全局字典中
3.输入与输出
输出
输出使用print()函数实现，包括输出字符信息或变量，在Python2中，输出包括两种格式：print a或print(a)，表示输出变量a的值。但Python3不再支持空格输出，如果您之前使用的是Python2，我们需要注意这些区别。
如果需要输出多个变量，则使用采用逗号连接，如print(a,b,c)。简单示例如下图所示，print()函数可以输出各种类型的变量。
print(a,b,c)
同时，Python支持格式化输出数据，需要调用format()函数实现，其输出格式为：print(format(val,format_modifier))，其中参数val表示值、format_modifier表示格式字，示例如下图所示。
print(format(val,format_modifier))
其中“6.2f”表示输出6位数值的浮点数，小数点后精确到两位，输出值的最后一位采用四舍五入方式计算，最终输出的结果为“12.35”。“.2%”表示输出百分数，保留两位有效数字，其输出结果为“34.56%”。如果想输出整数直接使用“.0f”即可。
输入
Python输入主要包括input()和raw_input()两个函数。
input()
input()函数从控制台获取用户输入的值，格式为：<变量>=input(<提示性文字>)。获取的输入结果为用户输入的字符串或值，并保存在变量中。输入字符串和整数实例如下，其中type()函数用于查找变量的类型。
>>> str1 = input("input:")
input:"I am a teacher"
>>> print(str1)
I am a teacher
>>> age = input("input:")
input:25
>>> print(age,type(age))
25 <class 'str'>
>>>
raw_input()
raw_input()函数是另一个输入操作，并返回string字符串。输入以换行符结束，通过help(raw_input)可以查找帮助，常见格式为：s = raw_input([prompt])，参数[prompt]可选，用于提示用户输入。示例代码如下，第一段代码输入“hello world”，第二段代码输入“25”。
>>> str1 = raw_input("input:")
input:hello world
>>> print(str1)
hello world
>>> age = raw_input("input:")
input:25
>>> print(age,type(age))
25 <type 'str'>
>>>
注意，raw_input是2.x版本的输入函数，在新版本环境下会报错，该函数未定义。在3.x版本中应该用input()代替raw_input()。
4.赋值与表达式
赋值
Python中的赋值语句是使用等号（=）给变量直接赋值，如“a=10”。如果需要同时给多个变量进行赋值，表达式如下：
<变量1>,<变量2>,…,<变量n> = <表达式1>,<表达式2>,…,<表达式n>
它先运算右侧N个表达式，然后同时将表达式结果赋给左侧变量。举例如下：
>>> a,b,c = 10,20,(10+20)/2
>>> print(a,b,c)
10 20 15.0
>>>
表达式
表达式是程序中产生或计算新数据值的一行代码，赋值表达式如a=10，通常由变量、常量或操作符号产生表达式。定义表达式注意一下几点：
使用变量之前必须对其赋值，使用赋值表达式对其赋值。
表达式也需要遵循句首缩进规律，且不能改变其空格数量。
表达式中可以适量增加空格，使程序可读性更高，但空格不能分割变量的命名方式，比如“a = b + c”，在运算符之间适当增加空格。
四.数据类型
讲述完Python基础知识后，让作者带领大家认识Python的常用数据类型。
1.数字类型
Python常见的数字类型包括整数类型、浮点数类型、复数类型。
整数类型：对应的数学中的整数，其返回类型为int型，如10、25等；long为长整型，也可以代表八进制和十六进制。
浮点数类型：带有小数点的数字，返回类型为float型，如3.14、2.1e2等。
复数类型：Python复数分为两部分，形如a + bj，其中a为实部，b为虚部，返回类型为complex，例如-12.3 + 8j。复数可以通过.real获取实部数据，.imag获取虚部数据。
>>> z = -12.3 + 8j
>>> print(z, type(z))
(-12.3+8j) <type 'complex'>
>>> print(z.real, z.imag)
-12.3 8.0
注意：Python中数字类型是可以相互转换的，其中浮点数调用int()函数转换为整数，如int(3.14)返回结果3，整数调用float()转换为小数，浮点数调用complex()函数转换为复数。
2.字符串类型
字符串类型在Python中是指需要用单引号或双引号括起来的一个字符或字符串。该类型调用type(‘Python’)返回的结果是str类型。一般记为：
s=“a1a2···an”(n>=0)
字符串表示一个字符的序列，其最左端表示字符串的起始位置，下标为0，然后依次递增。字符串对应的编号称为“索引”，比如str1=‘Python’，则str1[0]获取第一个字符，即“P”字母，并且字符串提供了一些操作和函数共用户使用，比如len(str1)计算字符串长度，其返回结果为6。
counter = 100 #赋值整型变量
miles = 1000.0 #浮点型
name = "Eastmount" #字符串
python的字串列表有两种取值顺序：
从左到右索引默认0开始的，最大范围是字符串长度少1
从右到左索引默认-1开始的，最大范围是字符串开头
如果你要实现从字符串中获取一段子字符串的话，可以使用 [头下标:尾下标] 来截取相应的字符串，其中下标是从0开始算起，可以是正数或负数，下标可以为空表示取到头或尾。[头下标:尾下标] 获取的子字符串包含头下标的字符，但不包含尾下标的字符。比如:
>>> s = 'abcdef'
>>> s[1:5]
'bcde'
3.列表类型
列表是Python中非常重要的一个数据类型，它是在中括号（[ ]）中用逗号分隔的元素集合，列表中的元素可以通过索引进行单个访问，并且每个元素之间是有序的。例如：
>>> list1 = [1, 2, 3, 4, 5]
>>> print(list1)
[1, 2, 3, 4, 5]
>>> print(list1[0])
1
>>> print(type(list1))
<type 'list'>
>>> list2 = ['I', 'am', 'a', 'teacher']
>>> print(list2)
['I', 'am', 'a', 'teacher']
>>> print(list2[3])
teacher
>>>
列表可以完成大多数集合类的数据结构实现。它支持字符、数字、字符串甚至可以包含列表（即嵌套）。列表用 [ ] 标识，是Python最通用的复合数据类型。
列表中值的切割也可以用到变量 [头下标:尾下标] ，就可以截取相应的列表，从左到右索引默认0开始，从右到左索引默认-1开始，下标可以为空表示取到头或尾。（下图参考runoob网站，推荐大家去学习）
列表中的每个元素可以定义不同的数据类型，如list1 = [1, 1.3, ‘teacher’]。其操作方法和字符串类似，如列表采用加号（+）拼接、采用乘号（*）重复显示、也可以切片获取列表中的子元素，示例如下：
>>> list1 = [1, 2, 3, 4, 5]
>>> list2 = [6, 7, 8]
>>> print(list1+list2)
[1, 2, 3, 4, 5, 6, 7, 8]
>>> print(list2*3)
[6, 7, 8, 6, 7, 8, 6, 7, 8]
>>> print(list1[2:4])
[3, 4]
>>>
列表中的常见方法如下表所示，假设存在列表list1 = [4, 2, 1, 5, 3]。
4.元组类型
元组是和列表类似的一种数据类型，它采用小括号定义一个或多个元素的集合，其返回类型为tuple。示例如下：
>>> t1 = (12, 34, 'Python')
>>> print(t1)
(12, 34, 'Python')
>>> print(type(t1))
<type 'tuple'>
>>> print(t1[2])
Python
>>>
注意：可以定义空的元组，如t2=()，元组可以通过索引访问，比如上述代码t1[2]访问第3个元素，即“Python”。当元组定义后就不能进行更改，也不能删除，这不同于列表，由于元组的不可变特性，它的代码更加安全。
以下是元组无效的，因为元组是不允许更新的，而列表是允许更新的。错误提示：TypeError: ‘tuple’ object does not support item assignment，在编程构成中出错或BUG是非常正常的，莫慌，解决掉它。
# -*- coding: UTF-8 -*-
tuple = ( 'runoob', 786 , 2.23, 'john', 70.2 )
list = [ 'runoob', 786 , 2.23, 'john', 70.2 ]
tuple[2] = 1000 # 元组中是非法应用
list[2] = 1000 # 列表中是合法应用
5.字典类型
字典(dictionary)是除列表以外python之中最灵活的内置数据结构类型。列表是有序的对象集合，字典是无序的对象集合。两者之间的区别在于：字典当中的元素是通过键来存取的，而不是通过偏移存取。
字典是针对非序列集合而提供的，字典用"{ }"标识，由键值对（< Key > < Value >）组成，字典是键值对的集合，其类型为dict。键是字典的索引，一个键对应着一个值，通过键值可查找字典中的信息，这个过程叫做映射。
示例如下，通过键值对可以获取“4”对应的“Guiyang”。
>>> dic = {"1":"Beijing","2":"Shanghai","3":"Chengdu","4":"Guiyang"}
>>> print(dic)
{'1': 'Beijing', '3': 'Chengdu', '2': 'Shanghai', '4': 'Guiyang'}
>>> print(dic["4"])
Guiyang
字典与列表主要存在几个区别：
列表中的元素是顺序排列的，字典中的数据是无序排列的。
它们的映射方式不同，列表通过地址映射到值，字典通过键值对映射到值。
列表只能通过数字下标或索引访问，字典可以用各种对象类型作为键访问。
字典键值对灵活应用非常重要，尤其是网络爬虫Json格式解析，后面我们实际案例中会用到。下面给出一段简单代码，重点是keys()和values()用法。
dict = {}
dict['one'] = "This is one"
dict[2] = "This is two"
tinydict = {'name': 'runoob','code':6734, 'dept': 'sales'}
print(dict['one']) #输出键为one的值
print(dict[2]) #输出键为2的值
print(tinydict) #输出完整字典
print(tinydict.keys()) #输出所有键
print(tinydict.values()) #输出所有值
输出结果如下图所示：
五.字符串操作
个人觉得字符串操作也是Python非常好用的地方，不论是数据爬取、大数据分析或文本挖掘中，所以作者单独将该部分拿出来进行讲解。
字符串是指有序的字符序列集合，用单引号、双引号、三重（单双均可）引号引起来，其中使用三重引号括起来的字符串变量可以用来定义换行的字符串。比如：
str1 = 'hello world'
str2 = "hello world"
str3 = """hello world"""
字符串支持格式化输出，需要引入操作符百分号（%）实现，在百分号的左侧放置一个格式化字符串，右侧放置期望的格式化值，也可是元组和字典。例如：
>>> print("Hi!My Name is %s,I am %d years old and %f pounds heavy."%("YXZ", 26, 55.5))
Hi!My Name is YXZ,I am 26 years old and 55.500000 pounds heavy.
>>>
依次输出字符串（%s）、整数（%d）、浮点数（%s）三个值。同时字符串支持各种各样的操作，尤其是处理文本内容时，需要使用这些方法及函数，下面讲解常用函数。
基础操作
字符串的基本操作包括求长度、拼接、重复操作、索引、切片等等。假设str1字符串为“hello”，str2字符串为“world”，则len(str1)计算字符串str1长度为5；str1+str2拼接后的结果为“helloworld”；str1*3字符串重复结果为“hellohellohello”。
字符串切片定义为s[i:j:step]，其中step表示切片的方向，默认起点从0开始，终点不写切到最后。例如：
str1 = 'abcdefghijklmn'
print(str1[3:6])
# def
输出结果为“def”，从第3个值开始获取，第6个值为终点且不获取，即str1[0]=‘a’，str1[3]=‘d’，str1[4]=‘e’，str1[5]=‘f’。同样，如果增加step参数且为负数，表示从反向切片。正方向第一个a索引下标值为0，最后一个n索引下标值为-1，结果为“nmlk”。
str1 = 'abcdefghijklmn'
print(str1[-1:-5:-1])
# nmlk
find()函数
用法：从字符串中查找子字符串，返回值为子串所在位置的最左端索引。如果没有找到则返回-1，扩展的rfind()方法表示从右往左方向查找，常用于正则表达式爬取数据。
示例：获取字符串“def”的位置，位于第3个位置（从0开始计数）。
str1 = 'abcdefghijklmn'
num = str1.find('def')
print num
# 3
split()函数
用法：字符串分割函数，将字符串分割成序列，返回分割后的字符串序列。如果不提供分割符，程序将会把所有空格作为分隔符。
示例：默认按照空格分割字符串，也可以设置如“+”分割字符串，该方法在字符串分割、IP提取、URL后缀提取常用。
strip()函数
用法：该函数用于去除开头和结尾的空格字符（不包含字符串内部的空格），同时S.strip([chars])可去除指定字符。扩展的函数lstrip()去除字符串开始（最左边）的所有空格，rstrip()去除字符串尾部（最右边）的所有空格。
示例：去除字符串前后两端的空格。
>>> str1 = " I am a teacher "
>>> print(str1.strip())
I am a teacher
>>>
join()函数
用法：通过某个字符拼接序列中的字符串元素，队列中元素必须是字符串，返回一个拼接好的字符串函数，可以认为join()函数是split()函数的逆方法。
示例：采用空格（’ '）拼接字符串[‘I’,‘am’,‘a’,‘teacher’]，代码及输出结果如下。
>>> num = ['I','am','a','teacher']
>>> sep = ' '
>>> str1 = sep.join(num)
>>> print str1
I am a teacher
>>>
————————————————
版权声明：本文为CSDN博主「Eastmount」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Eastmount/article/details/108172132
