搜索引擎让人们平等便捷地获取信息,找到所求。

本项目的愿景是实现一个基于Scrapy和Lucene的个人搜索引擎,该搜索引擎的主要功能有:

(1)爬虫抓取深圳大学公文通信息(数据来源需后期增加,目前只抓公文通),进行数据预处理,数据提取,分词,建立索引,当用户搜索相关信息时呈现准确的信息检索服务。

(2)集成一些常用校内服务的入口,例如讲座,课程表,校园小巴实时位置等,扮演一个信息聚合的角色。

本项目采用了Python(Scrapy), Java(Lucene), PHP(ThinkPHP),分别对应了爬虫模块,索引模块,查询模块的功能实现,并实现了不同语言的功能模块间的接口通讯,接口间数据交换格式为Json文本。

本仓库包含索引模块和查询模块的源码,爬虫模块源码在另一个仓库:szu spider