说明抓取过程中遇到的问题

2016-04-23 15:36:15 +08:00 · 2016-04-23 15:36:15 +08:00 · f447621f0b
commit f447621f0b
parent 2f60698e84
1 changed files with 5 additions and 0 deletions
--- a/README.md
+++ b/README.md
@ -16,3 +16,8 @@ scrapy crawlall
 ```shell
 scrapy crawl toutiao
 ```
 ### 注意事项
  抓取的新闻为utf-8格式的，并不是乱码
  网易新闻2015年的内容格式和2016的不一样，可以抓取，需要修改xpath解析方式
  默认参数可以抓取到13万条左右的数据，保存在title.json(不含新闻内容)，news.json(含新闻内容)，可以在setting.py中选择