软件介绍
Msray-plus,是一款高性能⚡️ 的企业级综合性爬虫/数据采集软件。
本文档,将助您深入了解软件的使用与各种技巧😍 !
核心功能如下:
⭐ 1:可从众多知名主流搜索引擎中检索提取搜索结果,并自动去重以及自定义规则过滤与格式化存储;
⭐ 2:内置强大的蜘蛛功能,可从全网爬取相关数据,提取出满足自定义规则的全网活跃域名网址数据;
⭐ 3:可批量提取与分析海量网站内容中公开非隐私性的联系方式数据,诸如公司官网中的邮箱、QQ、手机、facebook、twitter等;
主要运用于全网域名/网址采集、行业市场数据研究分析、指定类型网站采集与分析、网络推广分析以及为各种私有化模型、大数据分析等提供数据支撑。目前内置3大任务引擎,分别是搜索任务引擎、外链爬虫任务引擎、联系信息采集任务引擎。对应的详细介绍,可查看后文!
支持存储多种数据:
✅域名 ✅根网址 ✅网址(url) ✅来源搜索引擎 ✅搜索引擎排名编号
✅IP ✅IP所属区域/线路 ✅标题 ✅描述与简介 ✅访问状态码 ✅网页内容语言
本程序不包含任何攻击性质功能。同时,也严禁利用本程序用于非法用途!否则我方有权封停授权停止服务!
🥇 软件优势
💸 1.支持国内与国外众多知名主流搜索引擎并持续更新,并支持细粒度自定义开启与关闭指定的搜索引擎,自定义线程数等;
💸 2.单机支持亿级数据存储、导入、导出与处理,并且对机器配置要求不高;
💸 3.内置强大高性能的重复过滤模块,单机支持亿级数据快速自动重复判断处理;
💸 4.提供软件操作UI界面。无需使用复杂的命令,非技术人员也可快速上手。可指定链接远程或本地软件服务节点进行相关操作。
💸 5.内置提供本地网页版客户端,无需下载即可使用。功能强大且简单易上手!
💸 6.支持跨平台运行,同时支持windows、linux、mac等系统(2024年5月跨平台客户端即将上线);
💸 7.软件核心已陆续迭代超2年+,不但资源占用低,性能也高,根据机器配置日采集百万/千万级不重复无压力;
💸 8.搜索任务与外链爬虫任务都支持无限采集,自动扩展。可根据需要自行开启与关闭;
💸 9.超全面的多种过滤方案模块支持,比如按域名级别、按标题字符、按内容、按国家区域/线路、按网页语言、按访问状态、按域名后缀等等;
💸 10.全面的数据导出功能,同时支持CSV与TXT等格式,也支持按时间(比如按小时)导出结果;
💸 11.提供自定义webhook数据推送接口,可无缝灵活对接到自己的系统以及拓展到数据库,做二次处理等;
💸 12.更新维护稳定,正常情况下每月都会推出一个新的版本,提供更多功能拓展或优化(大版本除外);