如何爬取网站数据——前嗅ForeSpider使用教程

时间:2024-10-15 21:19:24

1、简介:我们想要从网上获取自己想要的数据,通常有几种常见的方式,方式一,手动复制粘贴,适合收集少量数赍铈于脏据;二,自己编写爬虫脚本,获取自己想要得到的数据,能收集大量数据,但需要自己有编码能力;三,使用数据采集软件,既不需要自己编写爬虫脚本,又能收集自己想要的数据。 作为一个日常工作中需要采集大量数据来分析用户需求与行为的人,又不会编写脚本,一个好用的数据采集软件成为我工作中必不可少的工具,这几天我使用了几种数据采集软件,发现最好用的就是前嗅的ForeSpider数据采集软件。可视化的操作界面,很高级,功能全面,我需要采集的网站都能满足。下面我给大家分享一下最近的使用心得,希望能帮助到有需要的人。 我采集的网站是美团网,想要得到美团上所有冒菜商家的地址和电话。

如何爬取网站数据——前嗅ForeSpider使用教程

2、第一步:新建任务打开前嗅ForeSpider采集系统以后①点击左上角“加号”新建任务②在弹窗里填写采集地址,任务名称③点击下一步,选择进行数据抽取还是链接抽取,首先当前检索结果列表链接,所以点击抽取链接,选择链接抽取④完成后模板抽取配置列表有两个个模板,默认模板和新建模板,模板一的默认链接抽取已与模板二关联

如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程

3、第二步:通过地址过滤,得到所需的链接。①点击采集预览,在采集预览中有于目标链接相似的其他链接,可通过地址过滤得到列表链接。找到所需要的列表链接,右击复制链接,“https://www.meituan.com/meishi/+数字+/”②勾选地址过滤,过滤规则选择包含,将复制的目标地址粘入,使用过滤串“\d”得到列表链接,过滤串规则说明:\d表示一串(个)数字③点击采集预览确认链接是否过滤完全

如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程

4、第三步:填写模板二示例地址并新建数据抽取①将模板一过滤得到的任意一条链接,作为模板二的示例地址。如:https://www.meituan.com/meishi/137562207/②新建数据抽取方法一:通过点击“下一步”后勾选抽取数据,再次点击“下一步”得到数据抽取。方法二:直接点击模板二,点击上面“新建数据抽取”按钮,得到数据抽取

如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程

5、第四步:创建/选择表单在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的方法三。方法一:通过下拉菜单或表单ID选择已有表单方法二:点击创建表单进入快速建表页面,新建表单。方法三:点击“采集配置”-“数据建表”,点击采“采集表单”

如何爬取网站数据——前嗅ForeSpider使用教程

6、第五步:配置表单根据所需内容,配置表单字段(即表头),此处配置了网页主键、标题、联系方式、联系地址共4个字段,表单如图

如何爬取网站数据——前嗅ForeSpider使用教程

7、第六步:字段取值① 先关联表单② 字段取值是在数据模板位置写脚本,来给对应字段赋值,如图1补朱锚卦3所示。代码如下:var str=DOM.GetSource().ToStr().Middle("\"detailInfo\":",",\"photos\""); //获取网页源码包含数据部分内容jScript js;var obj=js.RunJson(str); //生成json对象record re;re.id=MD5(URL.urlname);//给主键字段生成唯一标识re.tit=obj.name; //标题名称re.addr=obj.address; //店铺地址re.tel=obj.phone; //店铺电话RESULT.AddRec(re,TMPL.fstdoc.schemaid); //将所有的字段放入结果集

如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程

8、第七步:模板预览①鼠标右键点击“数据抽取”,然后点击“模板预览”②预览结果

如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程

9、第八步:采集预览①点击右上角采集预览②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图17所示。

如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程
如何爬取网站数据——前嗅ForeSpider使用教程

10、这样就把美团网冒菜的商家地址和电话采集出来了,大家也可以根据自己的需要设置进行采集。今天的分享就就到这里了,我也是初学者可能用的不是特别好,希望能帮助到有需要的人,这个软件确实对我的工作很有帮助,祝大家使用愉快!

© 手抄报圈