内容发布更新时间 : 2024/12/23 16:23:22星期一 下面是文章的全部内容请认真阅读。
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
如何利用八爪鱼爬虫爬取图片
很多电商、运营等行业的朋友,工作中需要用到大量的图片,手动复制太麻烦,现在市面上有一款自动化爬虫工具:八爪鱼采集器,可以帮助大家用最简单的方式自动爬取大量图片,上万张图片几个小时即可轻松搞定。
八爪鱼先将网页中图片的URL采集下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。
下面以ebay网站为例,给大家介绍八爪鱼爬虫爬取图片的方法。 采集网站:
https://www.ebay.com/
使用功能点:
? 分页列表信息采集 ? 执行前等待 ? 图片URL转换
步骤1:创建采集任务
1)进入主界面,选择“自定义采集”
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
八爪鱼爬取图片步骤1
2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
八爪鱼爬取图片步骤2
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
3)系统自动打开网页,红色方框中的图片是这次演示要采集的内容
八爪鱼爬取图片步骤3
步骤二:创建翻页循环
1)点击右上角的“流程”,即可以看到配置流程图。将页面下拉到底部,找到下一页的大于号标志按钮,鼠标点击,在右侧操作提示框中,选择“循环点击单个链接”
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
八爪鱼爬取图片步骤4
由于该网页每次翻页 网址随之变化,所以不是ajax页面,不需要设置ajax。如果有网站每次翻页,网址不变,则需要在高级选项设置ajax加载。
步骤三:图片链接地址采集
1)选中页面内第一个图片,系统会自动识别同类图片。在操作提示框中,选择“选中全部”
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
八爪鱼爬取图片步骤5
2)选择“采集以下图片地址”
八爪鱼爬取图片步骤5
由左上角流程图中可见,八爪鱼对本页全部图片进行了循环,并在“提取数据”中对图片链接地址进行了提取。
此时可以用鼠标随意点击循环列表中的某一条,再点击“提取数据”,验证一下是否都有正常提取。如果有的循环项没有提取到,说明该xpath定位不准,需