内容发布更新时间 : 2024/5/3 19:05:28星期一 下面是文章的全部内容请认真阅读。

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

如何利用八爪鱼爬虫抓取数据

听说很多做运营的同学都用八爪鱼采集器去抓取网络数据，最新视频，最热新闻等，但还是有人不了解八爪鱼爬虫工具是如何使用的。

所以本教程以百度视频为例，为大家演示如何采集到页面上的视频，方便工作使用。

常见场景：

1、遇到需要采集视频时，可以采集视频的地址（URL），再使用网页视频下载器下载视频。 2、当视频链接在标签中，可切换标签进行采集。

3、当视频链接在标签中，也可采集源码后进行格式化数据。

操作示例：

采集要求：采集百度视频上综艺往期视频

示例网址：http://v.http://www.35331.cn//show/list/area-内地+order-hot+pn-1+channel-tvshow

操作步骤：

1、新建自定义采集，输入网址后点击保存。

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

注：点击打开右上角流程按钮。

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

2、创建循环翻页，找到采集页面中下一页按钮，点击，执行“循环点击下一页”。

在流程中的点击翻页勾选Ajax加载数据，时间设置2-3秒。

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

3、创建循环点击列表。点击第一张图片，选择“选中全部”（由于标签可能不同，会导致无法选中全部，可以继续点击没被选中的图片）

继续选择循环点击每个元素

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

4、进入详情页后，点击视频标题（从火狐中可以看到视频链接在A标签中，如图所示），所以需要手动更换到相应的A标签。

手动更换为A标签：