Spider/NewsSpider
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
爬取今日头条，网易，腾讯等新闻,并建立简单的搜索引擎
9 Commits 2 Branches 4 Tags 22 MiB
Python 90.7%
HTML 8.7%
Shell 0.6%
d7a3e28f59
Go to file
lzjqsdd d7a3e28f59 增加UserAgent池防止爬虫被禁，增加进程锁防止同时开启多个爬虫写入同一个文件出现错误数据
2016-04-23 12:34:35 +08:00
news_spider 增加UserAgent池防止爬虫被禁，增加进程锁防止同时开启多个爬虫写入同一个文件出现错误数据 2016-04-23 12:34:35 +08:00
tutorial 增加今日头条简版一个内容板块的抓取，网站限制最多500页 2016-04-19 10:49:43 +08:00
.gitignore 增加UserAgent池防止爬虫被禁，增加进程锁防止同时开启多个爬虫写入同一个文件出现错误数据 2016-04-23 12:34:35 +08:00
README.md Initial commit 2016-04-19 10:25:16 +08:00

README.md

NewsSpider

爬取今日头条，网易，新浪，腾讯等新闻