67 篇博文 含有标签「msray-plus」

新增百度移动版引擎；
搜索引擎名称改动，百度定制超级版改为百度电脑版；
导出功能升级，导出全部支持显示每条结果的所属引擎、以及所属搜索关键词；
谷歌原版引擎升级；
搜索任务，支持导出自动拓展的搜索引擎相关关键词；
关键词载入与重复采集判断逻辑优化；

新增yandex引擎(俄罗斯搜索引擎)，无需代理; 已破解反爬安全验证机制；

修复目录未初始化创建导致任务结果无法导出的问题,新版会自动创建；
修复导出管理模块的删除功能；
google引擎优化；
其他细节优化

新增国外引擎duckduckgo，需要国外网络线路才能访问！
支持抓取与导出搜索引擎的每个返回结果的描述说明信息(概要信息);
优化存储系统，减少redis使用与redis并发操作；
内置双线路认证与初始化信息获取接口，最大化避免使用者服务器与官网接口网络不通导致运行失败的情况；
创建搜索引擎任务，取消自动创建关联外联引擎任务的默认勾选状态；
导出功能升级，支持导出带协议的域名数据(根网址，如http://www.msray.net)，智能支持http和https;
每个搜索引擎任务的全部实时采集数据内容，会自动存储在data/result/engine/任务ID编号.txt文件中；
每个系统引擎任务的全部实时采集数据内容，会自动存储在data/result/extend/任务ID编号.txt文件中；
每个任务支持自定义是否全局防重复！(不开启的话，仅仅是任务中导出结果没有重复数据，如果开启，则多任务都没有重复数据！)
后台搜索引擎管理功能升级；
支持自定义数据文件自动分割时间间隔(按分钟)，比如每小时自动生成一个数据文件，则在data/config.ini中配置file_split_time=60 (本功能为后台的导出管理菜单模块所服务)

修复1.3.1版本中存在的BUG。
修改过滤方案，保存后不再跳转回列表页面；

百度定制版引擎优化，无需HTTP代理，可突破安全验证，并支持多页搜索，每页50条数据，极速高效爬取内容(建议线程数60-200)！

谷歌镜像版引擎独立与接口更新优化，无需HTTP代理，可突破安全验证，并支持多页搜索；

相关词采集扩展功能更新；

搜索引擎管理功能优化；

目前为止首发的第一个稳定版本！

新增百度定制版引擎，无需HTTP代理，可突破安全验证，极速高效爬取内容！
新增神马引擎(建议每个线程配置5-10个代理，比如10线程则配置50-100个代理)；
系统稳定性升级与优化；
功能优化；
搜索引擎任务的关键词扩展引擎，支持自定义线程数；

过滤方案升级(不兼容老版本过滤方案数据结构)
系统稳定性升级与优化；
搜索任务与系统引擎任务，新增备注字段，可自定义标注；
功能优化：在存储字段未勾选的情况下，不影响过滤方案的使用(比如老版本存储字段如果未勾选IP归属地，则过滤方案中的归属国家判断会无效，新版本已避免此问题)。
任务结果数据导出功能升级与修复(并支持单独导出IP)；
后台支持查看任务上传的初始种子文件；
重启软件后，任务状态自动重置为停止状态；

过滤方案的各种策略的值，支持批量编辑！
引擎镜像数据支持批量删除；
更新全球顶级域名后缀列表库，也可以自行删除部分后缀(文件路径：data/tld.data)。
站群检测算法优化

修复部分老操作系统由于根域名证书太老导致的HTTPS异常问题；
系统引擎内置新增同IP网站查询扩展模块(关联抓取)；
优化导出功能，防止低配服务器在千万级数据导出情况下引起的内存不足异常退出；

系统稳定性升级与优化；
后台新增版本检测与显示功能；
导出的txt文件，新增支持windows记事本打开(解决换行显示问题);
关键词种子文件，不在需要手工转为utf8编码,系统支持自动转换;

支持快捷配置开启外网访问WEB功能(需要修改data/config.ini文件，详细请查看备注)；
支持自定义软件后台HTTP服务端口，防止端口占用冲突（需要修改data/config.ini文件，默认为56789）
去除种子关键词的长度过滤功能，防止部分关键词较长被忽略；
使用新版自建协程池调度方案，减少大量内存与CPU占用以及提升效率；
优化多个细节，防止长时间运行导致的轻微内存泄露问题；
代理API服务优化，初始启动即可拉取一次数据，之后按自定义频率定期自动更新数据；
搜索引擎逻辑优化；
goland sdk版本升级，使用最新1.18.2稳定版本；
HTTP请求库算法升级；
修复上一版本http代理池轮训算法BUG(由于三方ORM库忽略updatedAt字段更新导致的问题)
新增新版本检测功能。程序启动后即可自动检测是否存在新版本，方便升级。
新增同IP网站查询功能，数据超全(免费且无限制)，可在本地软件后台进行查询；
备注：

data/config.ini中，可自定义msray服务端口号。防止端口冲突；
data/config.ini中，可自定义IP，默认为127.0.0.1 可改为外网IP，即可开启外网访问后台的功能；
data/config.ini中，可自定义初始化redis服务器链接信息。

1：[重要]系统引擎(外链引擎大幅度提升效率与稳定性，减少资源占用)；
2：系统稳定性升级与优化；
3：修复上一版本HTTP请求库升级，导致的代理API服务接口功能异常问题；
4：修复编辑已存在的过滤方案的域名后缀过滤时候，无法新增的问题；
5：修复搜索引擎LOGO显示问题;

对上一把本进行相关细节优化

1：修复开启后台远程访问情况下无法导出的问题；
2：优化网络请求模块,减少资源占用与优化内存占用；
3：重写外链引擎模块，提升效率与稳定性；
4：重写搜索引擎关联外链引擎的算法，并自动判断数量，数量太少则提示先等待搜索引擎关联更多的种子URL后再开始；
5：导出数据，存储类型新增"域名(带http://前缀)"模式；
6：新增导出模式。可支持快速导出到服务器目录(适用于大数据)，也可选择导出并下载到本地！
7：新增一键清除全系统已采集域名数据(删除后以前的重复数据不会被过滤)；
8：新增一键清除全系统已采集网址数据(删除后以前的重复数据不会被过滤)；
9：新增一键全系统清除黑名单数据；
10：redis服务端内置RDB备份文件配置和AOF备份机制配置(按需自己调整切换，详情请看说明文档)

1:修复代理模块的删除功能；
2:修复账户管理模块的相关BUG;
3:编辑搜索采集任务时，搜索引擎列表的选中状态显示实际的勾选状态(老版本会进行初始化勾选)
4:修复部分情况下，编辑外链引擎任务显示404的问题；

0:新增谷歌引擎；
1:软件后台，代理功能模块增强！支持批量删除，支持http,socks4,socke5等。同时支持外部代理数据API服务接口的自动化更新配置服务(一键导入，自动定时更新)；
2:软件后台，新增系统资源占用与程序资源开销显示，方便用户根据指标自行调整线程数设定；
3:重写HTTP请求库，防止部分链接数据链过大可能导致的内存不断上涨，长期运行可能导致的"OOM"问题；
4:优化关键词扩展模块；
5:软件后台，支持外网访问(需要自行修改static/config.js中的system.baseUrl指向的值，改为自己服务器外网IP，并开启防火墙即可)；
6:新增后台资源监控日志任务，程序运行后，会定时获取程序资源占用指标数据，并写入logs/system.log文件中；

1：优化默认redis服务端配置文件；防止redis快照备份时导致无法写入数据；
2：修复“导出管理”中，执行导出的结果每条结果重复显示两条的问题；

1：优化默认redis服务端配置文件；防止redis快照备份时导致无法写入数据；
2：修复“导出管理”中，执行导出的结果每条结果重复显示两条的问题；

1：根据用户反馈，本版本把redis集成方式恢复为原来的绿色版启动方式(非服务启动)；
2：优化泛解析域名智能识别算法(垃圾大量二级域名自动加为黑名单，防止蜘蛛陷阱)；
3：优化Redis连接池；
4：优化软件内部缓存功能，减少涉及redis的相关耗时操作；
5：解决在部分情况下程序大量redis操作超时的BUG；
6：优化后台任务相关操作限制；