站点管理
同时管理多个站点配置,编辑完成自动保存;高可配置性的规则列表,可以过滤掉任何不想要的链接;通过预设速度来适应不同场景下的并发爬取;根据网页信息自动过滤掉非网页内容的链接;设置最大页数或层数实现定量爬取。
爬虫执行
根据已配置站点开始执行爬虫任务,实时更新执行状态:数量、延迟、速度;自动为已爬取链接编制索引,以树状图形式显示;完善的日志输出与保存,时刻了解执行状态;执行完毕后自动保存至硬盘,程序关闭后不丢失。
结果管理
编辑爬虫的执行结果,通过多种搜索方式查找特定链接,或是使用正则批量删除不需要的链接;一键导出为多种结果:文本、表格、数据文件,可在其他设备导入数据文件来还原结果;打开任务日志来查看执行过程。
结果推送
将一个或多个结果一键添加至推送列表,自动判断链接是否重复并去除;如果历史推送记录存在链接,则自动更新推送状态防止重复推送;自动判断平台剩余额度自动停止;支持三个平台同时并发推送,可批量推送一次请求提交多个链接,推送时提取链接的域名部分自动填充推送参数,仅需配置平台token。
推送历史
推送时根据响应信息判断是否成功,成功则自动保存防止重复推送;可根据指定域名来过滤显示信息,可通过多种方式查找指定链接,并删除;如果有非软件内推送的链接,可以手动添加至列表。
|
1. 本站所有资源来源于用户上传和网络,,如有侵权请邮件联系站长!
2. 掮客解密,解你所想,唯一发布官网:http//:www.qiankejm.cn!
3. 如搬运请您加上本站链接http//:www.qiankejm.cn!