پرش به مطلب اصلی

过滤方案与过滤器简介

一. 过滤方案是什么?

过滤方案,就是集合了多个自定义过滤器,形成的一套用于筛选数据结果的方案!

二. 过滤器是什么?

过滤器,是形成过滤方案的最小单位。过滤器根据判断的数据源的不同,功能也不同,但都是为了针对数据进行筛选而存在。

三、运用场景

比如,可能会有这样一些需求:

1:要求仅存储顶级域名,又或者仅存储顶级域名以及二级域名;

2:要求仅存储标题中带有“茶叶”文字的网站地址,或者是存存储标题中不包含“翻译”文字的网站地址;

3:要求仅存储能正常访问打开的网站(HTTP状态码为200),又或者仅存储无法正常访问(无法解析的域名)的网站数据;

4:要求仅存储,网页内容中包含"女装、童装、男装"的网站数据,又或者存存储网页内容中不包括"新闻"的网站数据;

5:要求仅存储国外网站(服务器归属地不属于中国的),或者是仅存储服务器归属地为日本的网站,又或者仅存储中国大陆、以及香港和台湾的数据;

6:要求仅存储域名前缀以"blog、bbs"等开头的网站;

7:要求仅存储域名中包含".jp"与".co"的网站数据,又或者是仅存储域名中不包含"gov.cn"的网站数据;

8:要求仅存储网页内容语言为中文的站点,又或者仅存储语言为日语的站点;

9:要求仅存储使用某个开源CMS程序的网站(可以用网页内容过滤器,设置该CMS程序的特征做判断);

.....

那么,要实现上面的需求,就需要用到MSRAY-PLUS的过滤器功能了。

**注意:如果在任务中使用了过滤引擎,会一定程度上降低运行效率,过滤条件越苛刻,采集结果越少。

二、过滤方案管理

1. 界面一览

过滤方案管理界面

2. 导入过滤方案

导入过滤方案

导入前,请先复制好过滤方案的文本内容。然后点击“导入过滤方案”按钮,粘贴进去,点“立即导入”即可。

3. 导出过滤方案

导出过滤方案

您可以将您拥有的过滤方案,导出进行备份,或者分享给其他用户。点击“导出”按钮,然后复制即可。

4. 过滤方案表分享

msray-plus团队已经根据大量需求,制作好了一部分过滤方案规则,用户可以直接复制你内容并导入到自己的软件中。

获取过滤方案规则表,可以点击查看《过滤方案分享》

5. 新增过滤方案

新增过滤方案

新增方案,需要自定义每个过滤器的规则信息。每个过滤器的底部注意事项中,我们都给出了设置文档说明,用户可直接点击打开对应的过滤器说明文档!

点击“保存配置”后,将新增或更新您的过滤方案信息。

默认方案名称为新增规则的编号,可以点击“改名称“按钮,自行设置进行备注。

三、过滤器与重复过滤功能的区别

过滤器,与重复过滤不同。重复过滤是系统内置的,仅仅是为了剔除重复数据;

而过滤引擎是可以自定义配置,根据多个维度,对抓取到的结果进行筛选的引擎。

比如只想要顶级域名的结果,只存储网址对那个IP属于某个国家的结果,比如不想采集后缀为edu,gov的域名,那么都可以使用过滤引擎来实现。目前内置了8个维度的过滤功能。