NewsSpider/ml

#新闻检索系统框架

##后端程序

抓取新闻

• Step1:采集网易，头条和腾讯新闻，以json格式保存
• Step2:由于抓取内容较大，对文件进行拆分，每个文件保存100个新闻文档 ++新闻在文件中的书序默认从1开始到结束++

构建索引

• 根据tf-idf提取每篇新闻文档的关键词。
• 建立倒排索引，以小文件进行存储，因此需要维护两个词典
  • 词项-编号，以json格式存储到文件，启动系统初加载到字典中。
  • 词项-文档编号，（即倒排记录），查询时按需进行加载。
• 避免一次性读写，分批次读取新闻内容，建好索引写入文件，对于已经出现的词项更新倒排记录。

检索

• Step1:对输入的词或句子进行拆分，分别查询每个词
• Step2:对每个词返回的倒排记录进行合并，得到最终的查询记录。优化：按照文档频率从小到大进行合并
• Step3:可以考虑对结果按时间进行排序。
• Step4:返回内容摘要及url链接

###相似新闻推荐 ++待定++

##前段展示

• 暂定使用webpy轻量级框架进行开发。
• 页面结构
  • 搜索首页
  • 搜索结果展示页
  • 新闻页（侧边包含推荐相似新闻部分）