用 Python 自动化办公,我与大神之间的差距一下就拉小了

我想介绍一下我是如何从每天工作8小时,进化成每天工作10分钟的,以下不涉及太多的技术细节。

0.先自我介绍一下:

我不是程序员,大学学的也不是IT专业。

我在一个主要业务是成品粮交易的企业工作,我的岗位的主要工作就是制作各类数据统计报表、台账、数据图表等等,反正就是各类日报,每天都要做一遍,此外还有什么周报月报什么的……这个岗位之前的同事,每天至少要花3.5到4个小时去折腾Excel,使用数据透视图、vlookup、其他各类函数去做出一份内含3000多个数据的日报。如果领导临时安排什么工作的话,那就要加班从浩如烟海的数据里找领导要的东西了。

1.噩梦开始时:

我刚接手工作时,我们有一个巨大的,达70多M的Excel文件,每次公司配发的破电脑打开就需要小二十分钟,里面存着我们近十年的采购的每一车的详细信息……然后里面的数据格式还都是混乱的,

打个比方,比如我们有个供货商全名叫:ABCD有限责任公司,

那么这个Excel中会存有

AB公司、

AB有限公司、

CD有限责任公司、

CD责任有限公司、

ACBD有限公司

ABD公司

等等等等名字

在我第一天看到这个Excel的时候

后来交接的同事告诉我,她用的Excel的 vlookup 函数,当匹配不上的时候,就手工搜索……

然后……我……

就这样,经历了噩梦般的几个月……

等到了2017年年初,看到一个词:

图灵完备。

一个图灵完备的语言理论上能解决任何算法。

|

|

V

显然,Python是一种图灵完备的语言。

|

|

V

那Python应该在理论上能替我处理所有事情(生孩子应该不行~~)

|

|

V

我为什么不试着用Python去替我完成工作呢?

2.走了一些弯路,但胜过原地踏步

我的第一步是从数据清洗开始的。(当然那时并不知道这个叫数据清洗)

先把刚才说的那个70M的Excel导成csv,去掉了其中不必要的格式、样式、对象等。

然后我想统一一下各个数据的标准名称,刚才说了,由于经手的人太多,同一个数据,怎么表述的都有,几十万的数据量,人工交叉比对的话显然是不现实的。(后来才知道了笛卡尔积这个词)

我第一步先使用了Excel自身的去重功能,将所有的供货商名称进行了一个去重,剩下了大概5000个左右的名称。

然后,作为一个懒人,我肯定不会用人工去比对了。

Python有一个库,叫做fuzzywuzzy,用它来进行模糊匹配。

from fuzzywuzzy import fuzz

print( fuzz.ratio("内容1", "内容2"))

会输出一个0——100的数字,数字越大代表这两个内容越相似。

所以我就写了一个循环,把这5000多个项目里面,匹配度超过70%以上的数据组都筛了出来,再去Excel里面手工替换(没办法,那时候还不会操作Excel)

然后整理了一下各个行列的位置,这样我就有了一个相对准确的数据源。

后来思考了一下,把数据存在Excel里面不是个长久之计啊,毕竟几十万数据呢,就想把数据导入到数据库里。大学时候考过计算机二级的Access(当然,虽然我考过,但是没考过……),就想导入Access,可是那个Python库没弄明白,硬是读不出来,就卡死了。

后来想到,之前自己从网上下载的某某私服的一键端里,有个MySQL数据库的一键启动方式,试了试居然能用,就把那个MySQL程序整个拷出来、清干净,作为了我的数据库。(当时想学怎么自己配置MySQL来着,没研究明白……这个数据库也就是我们现在提供的MySQL数据库的前身,当然了,我们现在提供的是重新制作的无毒的船新版本)

然后就是使用Navicat导入Excel,使用pymysql库进行读取,这样,咱也是趁数据库的人了~

接下来,就是要进行数据分析了,由于当时没学会pandas,数据透视图的效果死活做不出来,不得已,只好新建N个列表,用一堆if...else... ,把同类数据存入同一个列表中,求和,求平均值之类的(笨办法也是办法,能抓住耗子就是好猫,先把程序跑起来能用就好

分析出了结果,要写入excel了,但是由于没有研究明白怎么进行追加写入(xlutils库各种限定太多了……),只好使用xlwt把数据写到一个空Excel中,然后手工把一整片复制粘贴过去……反正也是解决了……能用了……

因为每天的仓库返回的数据还要向数据库里追加,就写了个录入程序,先用xlrd读取、然后fuzzywuzzy模糊匹配、最后pymysql写入。

这时候,我的工作已由每天七八个小时,进化到了每天4小时左右

(这一部分代码就不贴了,祖传代码向来被称为屎山,这些代码也是简陋的过分的那种……)

3.走上杂务工作的快车道

罗伯特·清琦写的那本《富爸爸穷爸爸》提出过一个概念,当你实现财务自由以后,你的财富积累就会走上良性循环的快车道,你的就会越来越容易提高被动收入。

同理,当你实现一部分的工作自动化以后,你就会走上一个“工作自由”的快车道,因为你有更多的时间能用来研究如何去更高效的完成余下的那堆工作,然后,每天工作的时间就会越来越短。

为什么上文中我有那么多括号写的各种搞不定?因为没时间啊!

现在好了,每天的工作时间已经被我砍了一半了,那么我就可以思考,如何解决各类的技术问题。

我学会了Excel的各种库,比如xlrd、xlwt、xlsxwriter、openpyxl、xlwings、win32com,能根据自己的需要选择需要用的库;还学会了同属Office系列的python-docx和python-pptx,开始尝试自动制作Word和PPT;学会了自动发邮件的stmp库、zmail库;学会了能操作微信发消息的itchat;学了爬虫、学了解压缩、学了调整图片大小、学了Word转pdf等等等等很多库或者功能。上班时间已经很累了,但是我还是学历很多,其中的艰辛确实难以外道。不过有个可以交流的空间是很不错的,如果有想跟我交流的,可以加我当时学习的QQ群一起学习进步啊,639+584+010,可以一起学习进步啊~

随着学习,每天的工作时间越来越短……

现在,我每天的工作,只需要十分钟,最快记录四分钟,就能完成。

每天上班,第一件事,优雅的运行一个py文件,一堆import后面,只有

这样就完成了日常工作,然后就是需要打印,手签,送各领导审阅的过程了。

一个保守的、传统的、几十年都不会起一丝波澜的国有企业,硬生生被我干出来了一个IT岗,升职加薪都已达成。

4、后续的思考

现在,我能极快的完成每天的工作,而后就是大片的学习思考的时间。

如今,我已经,把数据库移到了一台淘汰下来的办公电脑上,又用另外一台热备,作为公共联网数据库;

我已经,用pyqt写了一个带gui的数据输出软件,所有同事都可以自由输出数据进行分析了;

我已经,用pandas、matplotlib写了一个自动生成数据分析图片的软件,再做月报、周报什么的汇报材料,不用再通过Excel手工作图了;

我已经,用pandas、matplotlib配合pyqt写了一个入库分析软件,大家输入时间段和限定条件后一键进行数据分析了,不会有同事老找我要数据了;

我已经,用xlrd、python-docx写了一个合同生成器,旺季采购的同事不用焦头烂额的改合同了;

我已经,用numpy配合pyqt做了一个购销存平衡软件,可以让领导们在决策时通过拖动滑块就可以实时展现不同购、销情况下库存情况了;

我已经,用爬虫配合pymysql写了一个实时粮价获取数据库,告别了浏览网页逐行复制价格的方式;

未来,我计划做一个公司内部网站,把之前的所有C/S架构的软件都改成B/S。

未来,我计划做一个数据驾驶舱,供领导决策使用。

未来,我计划做一个访客人脸识别,方便在重要客户进大门以后提醒领导到门口迎接。

未来,我计划做一个更智能的爬虫,能在网上自动收集市场信息。

未来,我计划做一个更智能的进销存平衡软件,能使用最优化进行购销平衡计算。

未来,我计划做一套发票管理系统给财务、一套物料管理系统给物资、一套工资系统给HR……

那么,你的未来,是每天继续做着重复的工作,还是从工作中解放自己,去拥抱更大的世界呢。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 2,921评论 1 3
  • 徒手深蹲,永远是最棒的自重健身动作 一次动作能调动到大腿肌群 臀大肌、腰腹核心共同发力 对提高力量、耐力 甚至是心...
    石家庄运动大V阅读 333评论 0 0
  • 一提到老师,总能勾起自己学生时代的回忆。 上学时,我们有很多很多的老师,有的老师只教过你一节课,而有的老师可以教你...
    慢慢游电影阅读 2,000评论 1 21
  • 健康长寿是人类共同的梦想,从历朝无数帝王起,就开始不断采集天地精华炼制仙丹,遗憾的是当时条件落后,资讯有限,以致都...
    张春华阅读 246评论 0 0
  • 1,前晚,云宝尿床,半夜发现将她抱起来拖裤子,她喊了声”妈妈”,于是我问她,“知不知道你尿床了啊?”“知道”然后就...
    pan02阅读 192评论 0 0