农业搜索引擎-信息抓取系统主要包括信息采集、信息检索过滤和信息发布三大模块,主要有如下的功能特色:
◆对目标网站进行信息自动抓取,支持各种标准格式信息资源的采集,如 HTML页面、文本信息、图片等。
◆抓取速度快,系统采用多线程并发搜索技术,用户可根据需要设置并发线程的数目。
◆搜集到的信息可以按照不同的分类方式,并且保留原文链接。用户可以按照日期、来源、标题进行检索、浏览。
◆ 可以对抓取的信息定义关键字,对网页内容进行过滤,并可进行组合检索和二次检索,检索到的信息可以进行数据批量导出。