八爪鱼采集器自定义怎么用?八爪鱼采集器自定义使用方法

生活网 2020-12-08 11:26:16

有了上次体验的使用模板爬取数据的经验,相信大家应该能较为熟练的使用八爪鱼采集器了,或许有小伙伴好奇,难道我们只能通过软件预设的模板爬取数据吗,当然不是,八爪鱼采集器还有一个自定义采集功能,以供用户采集自己想要的数据,比起预设的模块,自定义更加灵活,虽然比起预设模板更为复杂,但是爬取到的数据也更贴合你的心意,本文小编便为大家带来八爪鱼采集器的自定义模块教程。

步骤一

首先还是照旧,启动并登入你的八爪鱼采集器,进入到主界面,点击【新建】下的【新建任务组】创建一个新的组。

点击确定创建新组

步骤二

创建好组后,点击【新建】下的自定义任务,就会到这样一个界面。

我们可以去寻找想要爬取的网页的链接,这里小编到京东搜索了手机,等搜索结果出来,就可以复制链接。

将我们复制的链接粘贴到网址一栏中,并将任务组改成先前创建的组,然后点击【保存设置】。

步骤三

保存设置后,便会跳转到爬取界面,软件会自动开始识别网页中要爬取的部分,根据个人机器网速不同,相应的等待时间也不同。

识别完成后,我们可以看到有许多数据,其中有许多无用的数据,需要我们剔除。

将光标移动到表格字段上,会出现两个图标,笔图标为更改字段名,垃圾桶为删除此字段。

我们可以自由的删除,更改字段名,这里小编仅保留上图内字段。

步骤四

设置好字段后,我们把目光转到上图内的小框中,首个不可选,我们直接忽视。

采集前滚动页面加载更多数据:因为现在很多网站都采用的是动态页面,有些内容不会在加载的时候展示,只有当我们下拉时才会逐渐展示出来,而这个功能就是为了防止这个情况出现。

翻页并采集多页数据:设置爬取多页,不勾选仅爬取当前页。

点击列表中XXX并采集下一级页面:这个功能可以让我们爬取子页面内的内容。

这里我们不深入爬取,只勾选前两项,然后点击【生成采集设置】。

点击生成后,会让你开始保存或查看,这里点击保存并开始采集。

步骤五

到了这个界面后,我们可以看到一个细致的流程,内循环列表中就是本页内爬取的内容。

我们点击外循环的设置按钮。

展开退出循环设置,勾选循环执行次数,这里我们仅爬取3页。

开始采集

采集完成,点击导出。

另外,如果你爬取的页面内有重复数据,软件也会直接提示,根据自己情况选择保留或去除。

导出方式

导出文件的保存位置

保存完成

查看数据

以上就是小编为大家带来的八爪鱼采集器自定义模块教程,熟练使用后相信小伙伴们能采集的数据就更多了,使用八爪鱼采集器采集数据后,可以根据采集的数据进行分析,完成各种任务,希望本文能为大家带来帮助。

生活网声明:资讯来源于网络,属作者个人观点,仅供参考。 投诉
为您推荐
海口市花和市树是什么 2021-09-15生活常识 生姜贮藏方法是什么?生姜怎样保存长久不坏? 2021-09-15生活常识 茄子生冻好还是熟冻好?茄子能冷冻到冬天吃吗? 2021-09-15生活常识 三亚市花和市树是什么 2021-09-15生活常识
茄子怎么处理能储存时间长? 2021-09-15生活常识 豆腐是怎么做出来的? 2021-09-15生活常识 豆腐怎么挑好坏? 2021-09-15生活常识 漱口水可以代替刷牙吗?不刷牙用漱口水有用吗 2021-09-15生活常识
荆门市花和市树是什么 荆门市花是什么花 2021-09-15生活常识 漱口水怎么使用?漱口水使用注意事项 2021-09-15生活常识 漱口水的作用和刷牙一样吗?刷牙后用漱口水好吗? 2021-09-15生活常识 自己种大蒜如何预防菌核病? 2021-09-15生活常识
大蒜菌核病是怎么引起的?蒜菌核病的发生规律是什么? 2021-09-15生活常识 适合露天四季盆栽植物有哪些 2021-09-15生活常识 散的金针菇如何保存?散装金针菇保质期多久? 2021-09-15生活常识 聊城市花和市树是什么 聊城市花是什么花 2021-09-15生活常识
莱芜市花和市树是什么 莱芜市花是什么花 2021-09-15生活常识 2021中秋节祝福语送客户 中秋节祝福语2篇 2021-09-15生活常识 济源市花和市树是什么 济源市花是什么花 2021-09-15生活常识 中秋送客户礼品祝福的话2021精选(1-16条) 2021-09-15生活常识
焦作市花和市树是什么 焦作市花是什么花 2021-09-15生活常识 中秋节给客户的祝福语精选一览 2021-09-15生活常识 中秋节送客户什么礼品高大上? 2021-09-15生活常识
m.life.southmoney.com
生活网 © 版权所有 闽ICP备18014564号-1
权利通知