关于python的计算生态介绍

有人说python除了不能生孩子,其他什么都可以。这足以说明python有多强大,而python的强大离不开背后强大的计算生态。

  1. 从数据处理到人工智能

数据表示:采用合适方式用程序表达数据
数据清洗:数据归一化,数据转换、异常值处理
数据统计:数据的概要理解,数量、分布,中位数等
数据可视化:直观展示数据内涵的方式 数据挖掘:从数据分析获得知识,产生数据外的价值
人工智能:数据/语言/图像/视觉等方面深度分析与决策

  • python数据分析库:
    - numpy库(https://www.numpy.org),使用C语言实现,对外的接口使用python语言,计算速度优异
    - pandas库(https://pandas.pydata.org),底层基于numpy开发,python数据分析高层次应用库,提供了简单易用的数据结构和数据分析工具,通过操作索引操作数据,提供两个数据结构:series = 索引+一维数据,DataFrame=行列索引+二维数据
    - scipy库(http://www/scipy.org)底层基于numpy开发,:数学、科学和工程计算功能库,提供了一批数学算法及工程数据运算功能。类似Matlab,可用于如傅里叶变换,信号处理等功能

  • python数据可视化库:
    - Matplotlib库(http://matplotlib.org),底层基于numpy开发:高质量的二位数据可视化功能库,提供了超百种数据可视化展示效果,通过matplotlib.pyplot子库调用各种可视化效果
    - Seaborn库(http://seaborn.pydata.org):统计类数据可视化功能库,主要展示数据件分布,分类和线性关系等内容,基于motplotlib库开发,支持numpy和pandas
    - Mayavi库(http://docs.enthought.com/mayavi/mayavi/):三维科学数据可视化功能库,提供了一批简单易用的3D科学计算数据可视化展示效果,支持numpy、TVTK、Traits、Envisage等第三方库

  • python文本处理库:
    - PyPDF2库(http://mstamy2.github.io/PyPDF2):用来处理PDF文件的工具集,提供了一批处理pdf文件的计算功能,支持获取信息、分隔/整合文件,加密解密等。完全使用python语言实现,不需要额外依赖,功能稳定
    - NLTK库(http://www.nltk.org/):自然语言文本处理第三方库,提供简单易用的自然文本语言处理功能,支持语言文本分类,标记,语法句法,语义分析等,目前最优秀的python自然语言处理库
    - python-docx库(http://python-docx.readthedocs.io/en/latest/index.html):创建或更新Microsoft Word文件的第三方库,提供创建或更新,doc .docx等文件的计算功能

  • python机器学习库
    - Scikit-learn库(http://scikit-learn.org/):机器学习方法工具集,提供一批统一化的机器学习方法功能接口,提供聚类,分类,回归,强化学习等计算功能,是机器学习最基本最优秀的python第三方库
    - TensorFlow(https://www.tensorflow.org/):AlphaGo背后的机器学习计算框架,Google公司推动的开源(使用的是python语言)机器学习框架,可以将数据流图作为最基础,图节点代表运算,边代表张量进而形成机器学习的整体模式,也是应用机器学习方法的一种方式,支持谷歌人工智能应用
    - MXNet库(https:mxnet.incubator.apache.org/):基于神经网络的深度学习计算框架,提供可扩展的神经网络及深度学习计算功能,使用该库可以用来设计自动驾驶,机器翻译,语音识别等众多领域

  1. 从web解析到网络空间
  • python网络爬虫库
    - requests库(http://www.python-requests.org/):最友好的网络爬虫功能库,提供了简单易用的类HTTP协议网络爬虫功能,支持连接池,SSL、Cookies、HTTP代理等,是python最主要的页面级网络爬虫功能库
    - Scrapy库(https://scrapy.org):优秀的网络爬虫框架,提供了构建网络爬虫系统的框架功能,支持批量和定时的网页爬取、提供数据处理流程等,是python目前最主要且最专业的网络爬虫框架
    - pyspider库(http://docs.pyspider.org):强大的web页面爬取系统,提供了完整的网页爬取系统构建,支持数据库后端、消息队列、优先级、分布式框架等,是python最重要的第三方网络爬虫库,也是建立和建设专业级web网络爬取系统

  • python web信息提取库
    - BeautifulSoup库(https://www.curmmy.com/software/BeautifulSoup/bs4),提供了解析HTML和XML等Web信息的功能,可以加载多种解析引擎,又名beautifulsoup4或bs4,常与网络爬虫库搭配使用,如Scapy、requests等
    - Re库(https//docs.python.org/3.6/library/re.html):正则表达式解析和处理功能库,提供了定义和解析正则表达式的一批通用功能,可以用于合类场景,包括定点的web信息提取,是python的标准库
    - python-Goose(https://github.com/grangier/python-goose):提取文章类型Web页面的功能库,提供了对Web页面中文章信息/视频等元数据的提取功能,这对特定类型Web页面,应用覆盖面较广

  • python web网站开发库
    - Django库:最流行的web应用框架,提供了构建web系统的基本应用框架,采用MTV模式开发,是python最重要的Web应用框架。
    之前在这篇文章中记录了Django框架的学习心得。链接:https://www.jianshu.com/p/b9b080439d78
    - pyramid库:规模适中的web应用框架,提供了简单方便构建web系统的应用框架,是python产品级的应用框架,起步简单可扩展性好
    - Flask库:Web应用开发微框架,提供了最简单构建web系统的应用框架,特点就是简单,规模小,编写快速

  • python网络应用开发库
    - WeRobot(https://github.com/offu/WeRobot):微信公众号开发框架,提供了解析微信服务器消息及反馈消息的功能是建立微信机器人的重要手段
    - aip库(https://github.com/Baidu-AIP/python-sdk):百度AI开放平台接口,提供了访问百度人工智能服务的python功能接口,包括语音、人脸、OCR、NLP、知识图谱、图像搜索等领域的众多功能
    - MyQR(https://github.com/stlnsfar/qrcode):二维码生成第三方库,提供了生成基本二维码、艺术二维码和动态二维码

  1. 从人机交互到艺术设计
  • python图形用户界面库
    - PyQt5库(https://www.riverbankcomputing.com/software/pyqt):Qt框架开发的python接口,Qt是非常成熟的跨平台桌面应用开发系统,具有完备的GUI
    - wxPython(https://www.wxpython.org):跨平台GUI开发框架,提供了专用于python的跨平台GUI开发框架。也是python最主要的数据分析功能库,基于numpy开发
    - PyGObject(https://pygobject.readthedocs.io):使用GTK+ 开发GUI的功能库,提供了整合GTK+ 、WebKitGTK+ 等库的功能。GTK+ 是跨平台的一种用户图形界面GUI框架

  • python游戏开发库
    - PyGame(http://www.pygame.org):简单的游戏开发功能库,提供了基于SDL的简单游戏开发功能及实现引擎,是理解游戏对外部输入的响应机制及角色构建和交互机制重要的入门平台
    - Panda3D(http:www.panda3d.org):是开源、跨平台的3D渲染和游戏开发库,提供了python和C++两种接口,支持很多先进的三位渲染功能:法线贴图、光泽贴图、卡通渲染等,由迪士尼和卡耐基梅隆大学共同开发
    - cocos2d:构建2D游戏和图形界面交互式应用的框架,提供了基于OpenGL的游戏开发图形渲染功能,支持GPU加速,适用于2D专业级游戏开发

  • python虚拟现实库
    - VR Zero(https://github.com/WayneKeenan/python-vrzero):在树莓派上开发VR应用的Python库,提供了大量于VR开发相关的功能,支持设备小型化、配置简单化,非常适合初学者时间VR开发及应用
    - pyovr库(https://github.com/cmbruns/pyovr):Oculus Rift的python开发接口,针对Oculus VR设备的Python开发库,基于成熟的VR设备,提供全套文档,工业级应用设备
    - Vizard(http://www.worldviz.com/vizard-virtual-reality-software):基于python的通用VR开发引擎,是一个专业的企业级虚拟现实开发引擎,提供详细的官方文档,支持多种主流VR硬件设备,具有一定通用性

  • python图形艺术库
    - Quads库(https://github.com/fogleman/Quads):迭代的艺术,能够对图片进行四分迭代,可以生成给动图或静图图像
    - ascii_art库(https://github.com/jontonsoup4/ascii_art):ASCII艺术库,可以将普通图片转为ASCII艺术风格,输出可以是纯文本或彩色文本,可以词用图片格式输出
    - turtle库:(https://docs.python.org/3/library/turtle.html

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343