Spider/NewsSpider
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Merge branch 'master' of github.com:lzjqsdd/NewsSpider

Browse Source
This commit is contained in:
lzjqsdd 2016-05-09 18:40:23 +08:00
commit 89baa3e396
1 changed files with 8 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
README.md
View File

@ -3,6 +3,11 @@
- 网易新闻 - 网易新闻
- 腾讯新闻 - 腾讯新闻
## 主要功能
- 新闻抓取
- 索引构建
- 前端搜索
### [整体结构](https://github.com/lzjqsdd/NewsSpider/blob/master/Frame.md) ### [整体结构](https://github.com/lzjqsdd/NewsSpider/blob/master/Frame.md)
## 运行 ## 运行
@ -26,3 +31,6 @@ scrapy crawl [toutiao|netease|tencent]
- title.json(不含新闻内容) - title.json(不含新闻内容)
- news.json(含新闻内容)，可以在setting.py中修改默认写入选项 - news.json(含新闻内容)，可以在setting.py中修改默认写入选项
- `news2db.py` 可以将json文件写入`sqlite3`数据库 - `news2db.py` 可以将json文件写入`sqlite3`数据库
### Demo展示
![Demo](https://github.com/lzjqsdd/NewsSpider/blob/master/data/show.png)