前一篇文章已经实现了从Mysql和Excel读取数据到pandas(简称pd)的dataframe(简称df)中,本文将对df进行各种操作,对比sql的实现,以加深理解。
文章分为3部分:优化读取Mysql数据、df的查询操作、总结。
1、优化读取Mysql数据
优化点是:把连接数据库的url不直接显示,配置到参数中,但又可正常使用。
1.1 自定义python包
创建文件夹pub,在conf.py中直接把url='db连接地址'写入即可,__init__.py暂空。就会有url这个变量了。
1.2 获取数据
2、df的查询操作
对比sql的基础操作在python中的pandas是怎么实现的。
select f1 as '别名', … from table where f1 = '' or f2 like '' order by f1 asc limit 5;
2.1 选择列(sql的select)
2.2 as起别名(sql的as)
2.3 df就是(sql中的from table)
显然df呈现出来就是个二维表,与Mysql中的表一样,不过就是在前面多了一列index索引。
用df.开头来实现各种操作。
2.4 过滤(sql的where)
也是筛选出需要的行(选择行)的一种方式,只要符合条件需要的行。
2.5 排序(sql的order by)
2.6 限制(sql的limit)
2.7 实战
对比一条sql完全用pandas实现,完全是2个感觉。
3、总结
(1)自定义包,是解藕的一种方式。后续可定义更多自定义函数,提高效率。
(2)从数据源取数据时,尽量取有用到的数据,不要多取更不能全部取(数据量小随意取)。
(3)与sql相比,pandas数据操作的一些特殊性:索引及索引相关的操作、灵活取行、灵活取单元格。
还有更多实用的操作,请关注下一篇文章。请留言获取源码。