跳到主要内容

网站标题过滤器

概述

程序可以通过识别网站标题内容,根据用户设置的规则,去决定采集到的数据是否需要存储;

什么是网页标题?

网页标题,也就是指网站的HTMl源码中,"title"标签对应的值。浏览器顶部上显示的也是当前网站的标题,搜索引擎返回的结果中,也会显示网站的标题。

运用场景

  • 需求:要求仅存储标题中带有“男装”、“女装”、“童装”等文字的网站地址(满足一个条件即可);

  • 需求:要求仅存储标题中不包含“学院”两个字的网站;

界面

3.0.4版本后,过滤器已经不是独立存在了,已经集成到了过滤方案中,所以我们可以在过滤方案中配置。 功能导航: 软件菜单-》【过滤规则配置】-》【新增过滤方案】-》【网页标题】,如图:

Alt text

使用建议

如非必要,不建议使用任何过滤器。开启过滤器将针对每个结果进行判断操作,消耗更多的时间从而影响效率!当前过滤器对效率的影响程度为:高

配置说明

【启用状态】:分为“开启”与“关闭”。 只有选择了“启用”,该过滤器才会在方案中生效!

【判断类型】:分为“包含”与”不含“两种。 如果选择包含,则采集结果必须要满足标题中包含规则值中的某一项内容,才会被存储,否则会被过滤;如果选择不包含,则采集结果必须满足标题中不含规则值中的所有内容,才会被存储;

【规则值】:则是设置标题中包含或者不包含哪些文字。比如:“男装”、”女装“、”童装“;

规则值需要自行添加配置。可以一个或者多个。可以点击新增,然后输入需要的值,然后回车键或者点击空白地方实现添加,然后点击保存按钮即可保存配置!

备注:创建了过滤器后,就可以在任务引擎参数配置中,指定选择使用我们创建的过滤方案了。

示例:

本次以只采集特定实体行业有关内容为例,想要采集生态板、电源线插头等行业的数据,则配置如下:

启用状态: 开启

判断类型: 包含

规则值: "生态板""电源线""插头"

别忘了点击“保存”按钮!