内容发布更新时间 : 2025/1/11 6:16:00星期一 下面是文章的全部内容请认真阅读。
八爪鱼·云采集服务平台
www.bazhuayu.com
网站链接采集方法
我们在采集数据时,经常有批量获取网站链接的情况。一是获取网站页面内的链接,二是获取网站当前地址栏的链接。
本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】,教大家如何使用八爪鱼采集软件采集网站链接的方法。
一、八爪鱼提取页面内的超链接
在网页里点击需要提取的链接,选择“采集以下链接地址”
八爪鱼提取页面内的超链接图1
八爪鱼·云采集服务平台
www.bazhuayu.com
二、八爪鱼提取当前地址栏的超链接
从左边栏拖出一个提取数据的步骤出来(如果当前页已经有其他的提取字段,这一步可省略) 点击“添加特殊字段”,选择“添加当前页面网址”。可以看到,当前地址栏的超链接被抓取下来
八爪鱼提取页面内的超链接图2
而批量提取网页链接的需求,一般是指批量提取页面内的超链接。以下是一个使用八爪鱼批量提取页面内超链接的完整示例。
八爪鱼·云采集服务平台
www.bazhuayu.com
采集网站:
https://s.taobao.com/search?initiative_id=tbindexz_20170918&ie=utf8&spm=a21bo.50862.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5-e&commend=all&imgfile=&q=
手
表
&suggest=history_1&_input_charset=utf-8&wq=&suggest_query=&source=suggest
步骤1:创建采集任务
1)进入主界面,选择自定义模式
八爪鱼提取页面内的超链接图3
八爪鱼·云采集服务平台
www.bazhuayu.com
2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
八爪鱼提取页面内的超链接图4
3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的商品url 是这次演示采集的信息
八爪鱼提取页面内的超链接图5
八爪鱼·云采集服务平台
www.bazhuayu.com
步骤2:创建翻页循环
1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中, 选择“循环点击下一页”
八爪鱼提取页面内的超链接图6
步骤3:商品url采集
1)如图,移动鼠标选中列表中商品的名称,右键点击,需采集的内容会变成绿色,然后点击“选中全部”