发现了一本关于Python精通知识点的好书《Python Tips》,关于Python的进阶的技巧。摘录一些比较有价值的内容作为分享。
*args and **kwargs
在函数定义的时候我们经常看到*args和 *kwargs这两个定义对象。*args代表了函数定义中所有non-keyworded(这个词实在很难翻译)的传入参数,而*kwargs代表的所有带有keyworded的传入参数,举个栗子:
def test_var_args(*args, **kwargs):
print("args:{0}, kwargs:{1}".format(args,kwargs))
test_var_args(1,2,3)
>>>args:(1, 2, 3), kwargs:{}
test_var_args(a=1,b=2,c=3)
>>>args:(), kwargs:{'a': 1, 'c': 3, 'b': 2}
通过这个栗子我们可以清晰地区分keyworded和non-keyworded的区别了。本质上来说,args是一个数组,kwargs是一个字典。
args and *kwargs 最常用于装饰器,也可以用于monkey patching(猴子补丁),用来在运行时动态修改已有的代码,而不需要修改原始代码。
- monkey patching
monkey patch指的是在运行时动态替换,一般是在startup的时候.
用过gevent就会知道,会在最开头的地方gevent.monkey.patch_all();把标准库中的thread/socket等给替换掉.这样我们在后面使用socket的时候可以跟平常一样使用,无需修改任何代码,但是它变成非阻塞的了.
应用场景包括,一个已经定义好的函数被大量的引用,如果后面需要替换这个函数的话,直接在函数入口处进行替换即可。举个栗子,将ujson代替json:
main.py
import json
import ujson
def monkey_patch_json():
json.__name__ = 'ujson'
json.dumps = ujson.dumps
json.loads = ujson.loads
monkey_patch_json()
print 'main.py',json.__name__
import sub
======================
sub.py
import json
print 'sub.py',json.__name__
可以看到json在该模块中被完美替换,这个方法也可以用来做单元测试使用。
Generators生成器
首先区分Iterable、Iterator和Iteration三个概念:任何具有iter()或getitem()方法的对象,Python就认为它是一个iterable;使用内置的iter()函数来生成iterator,iterator可以通过next()方法来获取下一个元素。iterator遍历元素的过程可以认为iteration。
生成器同样是可迭代对象,但是你只能读取一次,因为它并没有把所有值存放内存中,它动态的生成值。
Yield是关键字, 用起来像return,yield在告诉程序,要求函数返回一个生成器,举个栗子:
def createGenerator():
my_list=range(3)
for i in my_list:
yield i*i
gen= createGenerator()
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen)) #StopIteration
Map, Filter and Reduce
- map
Map的定义是将某函数处理所有输入参数,其定义为:
map(function_to_apply, list_of_inputs)
例如:
items = [1, 2, 3, 4, 5]
squared = list(map(lambda x: x**2, items))
当时这两者还可以通过lambda表达式进行多个函数处理同一个输入的情况,这是一个非常美妙的转换,栗子如下:
def multiply(x):
return (x*x)
def add(x):
return (x+x)
funcs = [multiply, add]
for i in range(5):
value = list(map(lambda x: x(i), funcs))
print(value)
# Output:
# [0, 0]
# [1, 2]
# [4, 4]
# [9, 6]
# [16, 8]
神奇的事情发生了,两个函数对于同一个输入参数都进行处理,并返回在了结果中。
- filter
filter(function_to_apply, list_of_inputs)
在大部分的情况下map和filter都可以通过list/dict/tuple Comprehensions来实现。
List Comprehensions语法:[expr for iter_var in iterable] 或 [expr for iter_var in iterable if cond_expr]
L = [expr for iter_var in iterable]:for iter_var in iterable的作用是依次取 iterable赋值给iter_var,而expr for iter_var in iterable的作用就是依次取值给iter_var,expr做运算后,继续循环,expr运算得到的值赋给变量L
map
map(function_to_apply, list_of_inputs)
通过函数对于结果进行处理,并返回聚集结果。例如:
from functools import reduce
product = reduce((lambda x, y: x * y), [1, 2, 3, 4])
# Output: 24
Collections
Collections包括几个常用的数据结构:
- defaultdict : 是dict的子类,实现了dict的所有方法,功能使用上与dict.setdefault()类似,但是defaultdict构建时给出默认值。
- orderdict:dict自排序。
- counter:计数器,可以对iterator计数,也可以对list计数。
- deque:队列。
- nametuple:继承自tuple,我认为本质上是快速创建仅包括属性的类对象,从这个角度上看非常实用。
- enum:枚举类型,但是必须注意,枚举成员本身类型就是枚举类型,因此如果需要将枚举成员用以读写及比较操作将会报错。
这篇教程中还讲了一些协程coroutine、异步IO的概念,但都属于技巧性的内容,讲的不透彻就不再一一分享。