python获取亚马逊产品详情页大图的2种方法

                      【尊重作者原创,转载请注明出处】

(原创)python获取亚马逊产品详情页大图的2种方法

一般来说刚入门学爬虫,爬取亚马逊是个不错的选择,也算是一个小boss,废话不多说,直接看思路

方法1:改变图片的url

以这个产品为例:

复制图片url:https://images-na.ssl-images-amazon.com/images/I/41WWDvKrG%2BL._SX38_SY50_CR,0,0,38,50_.jpg

然后再网页打开,我们看到的只是小图,

接下来我们把图片的url改下,改成这样:https://images-na.ssl-images-amazon.com/images/I/41WWDvKrG%2BL._SX888_.jpg

这时候我们看到的图片是:

改法:从图片链接的第一个下划线开始改,改成”SX888“,也可以直接改成”SX888.jpg“,最后一个下划线不会影响结果

再试第二张图:

代码如下:

#获取亚马逊商品图片

import time

import re

from lxmlimport etree

from selenium import webdriver

url ="https://www.amazon.com/-/zh/OPI-Nail-Envy-Strengthener-Original/dp/B00178TVXG/ref=zg_bs_17269950011_3?_encoding=UTF8&psc=1&refRID=4E4AAND19DR30CB6HGQJ"#产品详情页链接

# 开发者模式

options = webdriver.ChromeOptions()

driver = webdriver.Chrome(chrome_options=options,executable_path='C:\\Anaconda3\\Scripts\\chromedriver')#这个路径根据自己的环境变量添加

driver.get(url)

time.sleep(5)

sun = etree.HTML(driver.page_source)

#获取图片链接

img_url = sun.xpath('//div[@id="altImages"]/ul/li/span/span/span/span/img/@src')

for rin range(len(img_url)):

#使用正则替换

    c = re.sub('_(.*)','SX888.jpg', img_url[r])

    print('img_url:',c)

driver.quit()

运行结果:

直接点进去看看:

为什么不用requests请求呢?

之前测试太多了,IP都被标记了,老是出现验证码,呜呜呜,加了代理都木用呀,但是用selenium加上延迟时间长一点,基本不会出现验证码,各位小伙伴们,不要暴力爬取呀!


方法2

还是在同一个商品网页


接下来找到这个地方


复制一个链接在浏览器打开看看:

这样我们就知道商品大图url 的所在点,接下来就是提取出大图的链接:


代码如下:

#亚马逊商品图片获取

from seleniumimport webdriver

from lxmlimport etree

import time

def run():

# 开发者模式

 options = webdriver.ChromeOptions()

#添加路径

 driver = webdriver.Chrome(chrome_options=options,executable_path='C:\\Anaconda3\\Scripts\\chromedriver')

url ='https://www.amazon.com/-/zh/OPI-Nail-Envy-Strengthener-Original/dp/B00178TVXG/ref=zg_bs_17269950011_3?_encoding=UTF8&psc=1&refRID=4E4AAND19DR30CB6HGQJ'

driver.get(url)

#睡眠

time.sleep(5)

sun = etree.HTML(driver.page_source)

content = sun.xpath('//*[@id="imageBlock_feature_div"]/script[1]/text()')

#清洗  下面的空格,空行不能删

wer =''.join(content).replace("});",'').replace("P.when('A').register",'').replace(

'("ImageBlockATF", function(A){','').replace('var data = ','').replace('null','"null"').replace('false',

'"false"').replace(

'true','"true"').replace('A.$.parseJSON','').replace('return data;','').replace(

"A.trigger('P.AboveTheFold'); // trigger ATF event.","").replace(';','').replace(' ','')

for yiin eval(wer)['colorImages']['initial']:

    img_max = yi['hiRes']

        if img_max =='null':#如果没有大图,返回中图

            img_max = yi['large']

        print('img_url:', img_max)

driver.quit()

运行结果:

在浏览器打开:


这种获取方式有时候可以爬到隐藏图片,以上就是我的获取方式,第一次写文章,难免有不足之处,请大家多多包涵和指教!

【尊重作者原创,转载请注明出处】

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343