今天是我“略懂”Python的第200天,我遇到了新刺激……

大家好,我是一名曾经只会excel的数据分析师。


后来经我的同事大鹏点拨,我知道了Python数据分析,向他学习进入了一条通神之路。今天是我“略懂”Python数据分析的第200天

在这200天里,我的工作效率逐渐变高,处理数据量从千到万,接的项目越来越复杂,老板看我的眼神也越来越柔和,有时甚至单独请我吃饭……看来我很快就能升职加薪!

高兴之余,我对我的Python技术能力也有点担心,甚至陷入了一种瓶颈

1、工作中有大量的描述性统计工作,要求不高,对我这种审美捉急的人来说,excel的快速样式有时候很关键。

2、我很少碰到Python能做而excel不能做的数据处理,excel很慢甚至死机,但只要电脑性能好,总能完成;

3、虽说会Python是优势,但公司的excel普及程度很高,介于项目合作原因我总是需要用excel衔接数据合作。


这不免导致我对Python技能的定位产生怀疑,我称这个现象叫非典型性Python冷淡综合症

新刺激来的很快,就在今天,带我入Python坑的同事大鹏介绍来了一个新人小覃。我很快感觉到老板对我关爱的眼神落到了小覃身上。这不,他们正在工位电脑前谈笑风生。

这怎么行!老板最宠的只能是我!

我决定再次展开“欢迎新人”套近乎策略,探探这位新人如此招待见的原因


走近他们,我先注意到了小覃电脑屏幕上有一堆猫猫狗狗照片,而小覃正在边写python代码边和老板解释什么。只见他迅速写了十几行代码并运行,成功地识别了图片里的猫。

第一步:进行模型训练,构建识别猫狗的CNN模型

第二步:测试一张测试集里的照片,确认照片的分类为猫

这看似简单的操作却这让我和老板都很好奇

我从未处理过除了CSV和JSON以外格式的数据,面对新的思路,我不禁怀疑是否自己之前太过浅薄。

而老板一个劲的点头,说找对了人,接下来的AI旅游小程序项目有亮点了,咱们的产品肯定会刷爆朋友圈,还一边拿手机里的产品概念图给小覃看:

图中为计算机通过机器学习识别街景图片中的行人、自行车和机动车并定位边界。该数据有助于识别城市道路使用情况,甚至研究街道美学,能帮助使用者快速认知陌生城市。本图来自“城室科技”,欢迎有兴趣的小伙伴微信自行搜索。

看来面前是一位新大神,经验告诉我,喂到嘴边的大腿不能不跪,我立刻上前献上的膝盖,说道:覃大哥,小弟也算略懂Python,之前在公司做数据分析工作,但从没完成过你这么酷的操作,快教教小弟,你刚刚用Python干了什么?


覃大哥笑道:过奖了,其实刚刚就是基本的利用机器学习神经网络算法来识别图片里的对象。我使用Python加载深度学习工具包Keras,构建了一个是简单卷积神经网络(CNN)模型进行猫狗识别,用于给老板解释原理。你也一起听吧。


总的来说,我有一些猫狗图片,作为训练集数据(Training Set),它们是用于建立和优化模型的已经有标签的原始数据。而我们也会有一些测试集数据(Test Set),用于检验模型。我的目标是为了构建一个模型系统,把未知猫狗标签图片放进这个系统进行测试,正确地给它们打上是猫还是狗的标签。

图为实时识别猫狗的动态位置,算法来自 Joseph Redmon ,他研究使用计算机视觉的一种检测系统yolo来定位他家的猫狗,相关介绍可自行搜索ted演讲How computers learn to recognize objects instantly。

一个好的模型并不是一蹴而就,需要进行调整。比如我刚建立的CNN模型的准确率大概只在50%到60%,很低。因此实际应用上我们一般会投入大量精力做一些提高准确率的操作

常用的操作包括增加训练集样本数量、尝试使用更多或更少的特征值、集成模型等等方法。这决定了学习机器学习必须要捡起你的数学,不过这都是后话。

分辨猫狗是业界一个成熟案例,这里我们以一个训练好的图像分类模型VGG16为例,以便得到更准确的结果:

1# 搭建全连接层

2top_model = Sequential()

3top_model.add(Flatten(input_shape=vgg16_model.output_shape[1:]))

4top_model.add(Dense(256,activation='relu'))

5top_model.add(Dropout(0.5))

6top_model.add(Dense(2,activation='softmax'))

7

8model = Sequential()

9model.add(vgg16_model)

10model.add(top_model)


用此方法我们便可以更精确的辨认出猫狗。不管猫主子是何种奇特姿态,准确率都比较高,可达到85%。

覃大哥放下鼠标,转过头来,对我和老板说道:这是一个示例,让大家理解机器学习的一种工作方向,这个方向被称为“计算机视觉”,大家经常听说的的图像识别就是这门技术里的内容。老板想完成旅游小程序,用计算机视觉技术研究街景必不可少。

此时的我突然茅塞顿开,这不就是我一直找寻的突破口吗早就听说人工智能机器学习,但一直觉得自己数学不好没有着手学习。现在看到演示,才发现千里之行,始于足下。

于是我立马向他问道:覃大神,请接收小弟的仰慕,能否教我这门技术,小弟能打水能锤肩学得快!


覃大神这候笑了:可以啊,入门不难,有个好老师带更是事半功倍,来腾讯课堂免费体验一下便知。


更可以加群:862672474,群内除了有热心的老师和同学们的答疑以外,还有更加系统、干货更密集的免费直播!


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容