用Python爬取淘宝1000多商品,只想为老父亲做点事

本文来自我们小密圈的一位非常铁杆的粉丝,这位粉丝看我的文章大概有2年多了,非常朴实的一位铁杆,希望大家耐心看完这篇文章!

北靠黄河南靠山,我家住在老潼关。

对,就是那个鸡鸣啼三省(秦晋豫)的陕西东大门潼关。就是那个“山河表里潼关路”中的潼关。

家有五亩薄田,田地由老父亲打理,前几年当地百姓开始种植黄花菜』,父亲在家也种了一些。

(咱家五亩地)

(刚拍的核桃花是不是也很美?)

(往年黄花菜长这样)

一直以来存在一个问题,终端市场菜价并不便宜,但是菜农却没有议价能力,往往一手优质菜源,却卖不上好价格,而在终端市场消费者朋友又未必能吃到“好”菜。(倒金的寻不着贩银的?)如果你在学习Python的过程当中有遇见任何问题,可以加入我的python交流学习qq群:250933691,多多交流问题,互帮互助,群里有不错的学习教程和开发工具。学习python有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我,如果你准备学习大数据,也欢迎加入大数据学习交流qq群458345782,每天与大家分享学习资源哦。

眼看又快到黄花菜的采摘季了,我也一直在思考有没有一种可能将农户和终端消费者朋友直接对接起来进行提前预售,来解决两个问题:

稳定菜价,菜农能卖上差不多的价格,增加收入。

终端消费者花同样的价格能吃到优质安全的一手放心菜。

我想,应该是一个双赢的局面。

那如何定一个合理的价格呢?

想到了万能的淘宝,于是我考虑用 Python 抓取淘宝目前在售的黄花菜商品进行价格分析,为自家的黄花菜定价做一个参考。

数据采集

在淘宝搜索关键『黄花菜』,搜索结果一共有 100 页,第一页返回 48 个商品,再往后翻页每页有 44 个商品。

翻到最后一页查看,返回的商品已经与黄花菜没多少关系了,基本上都是家具或者黄花鱼等商品。

用二分法向前翻页,翻页到 25 页的时候返回结果种已经只有个别的黄花菜商品了。

所以只需要采集前 25 页的搜索结果。

最终采集到的数据如下图:

25 页搜索结果,一共采集到 1104 条商品数据,25*44+4 = 1104。

1104 条数据中仍然包含一些其他商品,所以需要对采集回来的数据进行进一步清洗。

需要注意的是黄花菜不同于其他商品,每个商品的价格其实是和净含量是对应的。

所以采集数据的时候需要将商品详情页净含量数据一同采集回来。

数据清洗

数据清洗的思路就是,首先将标题中不包含『黄花菜』的所有行过滤掉。

然后再将标题中包含鱼、虾、腐竹之类的行过滤掉。

最后就是将净含量为空的商品过滤掉,一共有 8 个商品,全部是天猫超市的商品,查看商品详情页确实与其他商品详情页不同,所以采集数据时使用的正则没能提取到商品净含量。

因为每个商品的净含量不同,无法直接进行价格对比,所以最后根据商品价格、运费、净含量计算出每个商品的单价即每斤多少元。计算公式为:

(商品价格+运费)/ 净含量 = 商品单价

经过一番清洗后,只剩下 704 条商品数据了,数据结构如下:

价格分析

按照采集到的不完全数据,我们来进行一些粗略统计:

总共有 549 个店铺:

其中 119 个店铺有超过1个商品在出售,430 个店铺只有 1 个商品在售。

天猫店铺 73 个,C店 476 个。

704个商品销售地分布在 147 个地区,其中商品最多的地区前 5 为:

吉林              39 个商品

湖南 衡阳       36 个商品

甘肃 庆阳       34 个商品

上海              25 个商品

山西 大同       22 个商品

我所在的地区陕西渭南有 17 个商品在售,看到福建莆田也有 10 个商品在售,如下:

从商品标题来看,福建莆田销售的黄花菜产地多为山西大同。

其实淘宝有很多商家并非原产地直销,黄花菜也基本上都是经手了多层经销商了。

接下来我们重点来看一下销售单价:

最贵的黄花菜:

根据单价筛选出了排名前 5 的商品,最贵的单价居然是 39000元/斤,仔细看了一下,这个商品是一个带礼盒包装的商品,净含量为1g,实际上标题中注明了净含量为 500g,因此其单价应该是 78 元/斤。

进行修正后重新排序,得到最贵的 5 个商品为:

平均单价在 150 元以上。

最便宜的黄花菜:

最便宜的菜有 3 个单价 10 元以下的商品,这 3 个商品是水泡菜,并非干菜,过滤掉之后,最便宜的菜就是 12.8元。

12.8元,我不太清楚运费能够做到多低,这么低的价格,估计商家在亏本出售吧。

最贵的菜一斤的价格,能买最低的价格 10 斤还多,您会选择买那种菜吃?

整体价格情况:

704 个商品,平均单价为 50 元左右,不同的定价多达 300 个,其中定价最多的商品也是 50,有 17 个商品单价为 50元每斤,见下图:

销量最多的商品:

根据已付款人数和净含量计算出销售量,上图显示销售量最多的三个商品定价分别为:18、20、30,基本上就是 20元、30元的样子。

淘宝搜索结果中显示的已付款人数应该是指最近 30 天已付款人数,按照这样计算销售前三的三个商品近一个月来销售量在万余斤。

单价区间销售量统计:

所有商品近一个月销量为38252 斤,销售前三的商品占到了销售总量的 26.82%,统计了一下单价区间的销售量:

单价大于100的商品销售量:128.18

单价80(含)-100的商品销售量:448.908

单价60(含)-80的商品销售量:877.35

单价50(含)-60的商品销售量:1137.388

单价40(含)-50的商品销售量:1571.0

单价30(含)-40的商品销售量:1453.69

单价20(含)-30的商品销售量:14729.32

单价10(含)-20的商品销售量:17346.4

可以看到明显的趋势,价格越便宜销量越多,而在 30-40 与 40-50 两个区间销量相当,甚至 40-50 价格区间的销量比 30-40 之间的还能高一点点。

同样,可以看到不管是便宜到 12.8,还是贵到 210,都有朋友购买,前者便宜过菜农的成本很多,后者显然多了很多溢价。

存在即合理,不多说。

那如果是您,您会选择那个价位的黄花菜?我想自然首选安全放心的黄花菜。

几乎所有商家都在标榜自家的菜无硫,源自农家自产,这似乎是一句完全正确的废话。(此废话非彼废话)

任何商家所有的菜最终的源头都是来自于菜农,但是可能买到的一斤菜中有N多家菜农的菜,想象一下商贩在乡村收菜的情景,不是说质量会一定有问题,而是说质量自然难以把控。

当然,704 个商品中肯定也有农户自营的商品,农户自营商品自然能够完全把控品质,但是要注意的是其一,农户自己做零售成本会更高,其次,数量绝对有限,因此价格绝不会很低。更重要的是,您如何能从 704 个商品中选择出来?

总结下来,就是要选到放心安全的黄花菜着实不易。

看到这篇文章的朋友,恭喜您,不用再去纠结选择了,如果有需要的话,我想答案已经不言而喻了。

因为,我想在这里对自家的 2 亩黄花菜以及本家二叔家的黄花菜进行预售,合计约 6 亩黄花菜,预计干菜产量 1000 斤左右,寻找 1000 位有缘朋友。

关于售价

关于黄花菜的采摘:

可能很多朋友不了解,这里简单说一下,采摘在 6 月中旬左右开始,为期 40 天左右,无论阴雨天晴,黄花菜必须每天采摘,否则开花以后就不能吃了。

采摘期间,一般下午 14、15时左右开始,采摘时长约4-5个小时,迎着烈日汗滴禾下土,若为阴雨天则身披雨衣冒雨采摘。

采摘过后需要蒸制,蒸制完成后自然晾晒后为成品干菜。

的确是粒粒皆辛苦。

关于成本:

黄花菜蒸制过后要靠晴天自然晾晒,如果遇到阴雨天气,一般会入冷库存放,需要一定的费用,其次阴雨天气也会有一定的损耗。(如果采摘卖鲜菜不会有这些问题)

旺盛时期一般采摘不过来的时候都需要雇用人手,18年日工资约 60 元,每天每人采摘鲜菜(绿菜)平均 40-50斤,按照 6 斤鲜菜晒一斤干菜计算,一斤干菜人工采摘成本约 7 元左右,7 元意味着菜农没落到一毛钱。

其次,因为仅售自己家的黄花菜,能做好品质的把控,自然产量也有限,一年仅售一次,售完即止。

最终定价:

综合成本以及淘宝在售黄花菜平均价格,本次预售价格计划定为 51.88元/斤含运费

其一,寓意我要发发。

其次,价格唯一。目前在 51-52 元区间在售的 16 个商品,没有定价为 51.88 元的商品。

预售规则

此次预售采用全款预售(稳定售价),从即日起开始至 2019 年 8 月 15 结束,开始采摘后按照订单顺序陆续发货。

4 月 2 日特意回家到田间拍了些照片,田间地头景色很迷人,一起来欣赏一下?(更多图片淘宝商品详情页)

(鸟有语,花有香)

希望通过此次预售能解决卖菜难的问题,在建立个人品牌信誉同时,能与各位朋友直接建立长期联系和友谊。

更为重要的是,能让您吃到绝对新鲜、绝对无添加的优质黄花菜,让您省心安心。

异 想

目前,在农村务农的基本上都是5、6十岁的老农民,其实我也有思考过再过十年后农村的地谁来种?

我个人的看法,一方面随着农村土地确权为土地流转打好基础,发展的方向自然是土地流转到少数人手中进行规模化经营。

同时另一方面会不会产生一些与终端消费直连的高端经营模式?为高端消费者打造一个专属菜园或者果园?

按照这个方向和思路,假如农村一对小两口在家经营五亩田地,按照每人每月4000元工资计算,一年工资约十万元,那么应该种植些什么,又该如何经营呢?

如果你在学习Python的过程当中有遇见任何问题,可以加入我的python交流学习qq群:250933691,多多交流问题,互帮互助,群里有不错的学习教程和开发工具。学习python有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我,如果你准备学习大数据,也欢迎加入大数据学习交流qq群458345782,每天与大家分享学习资源哦

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容