如何利用八爪鱼爬虫爬取图片 下载本文

内容发布更新时间 : 2024/5/18 22:09:05星期一 下面是文章的全部内容请认真阅读。

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

如何利用八爪鱼爬虫爬取图片

很多电商、运营等行业的朋友,工作中需要用到大量的图片,手动复制太麻烦,现在市面上有一款自动化爬虫工具:八爪鱼采集器,可以帮助大家用最简单的方式自动爬取大量图片,上万张图片几个小时即可轻松搞定。

八爪鱼先将网页中图片的URL采集下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。

下面以ebay网站为例,给大家介绍八爪鱼爬虫爬取图片的方法。 采集网站:

https://www.ebay.com/

使用功能点:

? 分页列表信息采集 ? 执行前等待 ? 图片URL转换

步骤1:创建采集任务

1)进入主界面,选择“自定义采集”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

八爪鱼爬取图片步骤1

2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”

八爪鱼爬取图片步骤2

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

3)系统自动打开网页,红色方框中的图片是这次演示要采集的内容

八爪鱼爬取图片步骤3

步骤二:创建翻页循环

1)点击右上角的“流程”,即可以看到配置流程图。将页面下拉到底部,找到下一页的大于号标志按钮,鼠标点击,在右侧操作提示框中,选择“循环点击单个链接”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

八爪鱼爬取图片步骤4

由于该网页每次翻页 网址随之变化,所以不是ajax页面,不需要设置ajax。如果有网站每次翻页,网址不变,则需要在高级选项设置ajax加载。

步骤三:图片链接地址采集

1)选中页面内第一个图片,系统会自动识别同类图片。在操作提示框中,选择“选中全部”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

八爪鱼爬取图片步骤5

2)选择“采集以下图片地址”

八爪鱼爬取图片步骤5

由左上角流程图中可见,八爪鱼对本页全部图片进行了循环,并在“提取数据”中对图片链接地址进行了提取。

此时可以用鼠标随意点击循环列表中的某一条,再点击“提取数据”,验证一下是否都有正常提取。如果有的循环项没有提取到,说明该xpath定位不准,需