lzjqsdd
|
f447621f0b
|
说明抓取过程中遇到的问题
|
2016-04-23 15:36:15 +08:00 |
|
lzjqsdd
|
2f60698e84
|
Update README.md
修改程序说明
|
2016-04-23 12:44:24 +08:00 |
|
lzjqsdd
|
d7a3e28f59
|
增加UserAgent池防止爬虫被禁，增加进程锁防止同时开启多个爬虫写入同一个文件出现错误数据
|
2016-04-23 12:34:35 +08:00 |
|
lzjqsdd
|
cfed93f3ef
|
修改时间为时间戳格式，同时运行三个spider写入一个文件会出现脏数据
|
2016-04-22 17:16:06 +08:00 |
|
lzjqsdd
|
3201d09c43
|
Add TencentSpider,Add SelfDefine Command to run mulity spider
|
2016-04-22 10:14:42 +08:00 |
|
lzjqsdd
|
2a312aa769
|
修复网易新闻抓取时间提取错误，增加提取的新闻数据（仅时间标题）
|
2016-04-21 22:44:36 +08:00 |
|
lzjqsdd
|
37288e7260
|
增加网易历史新闻数据抓取，由于各个页面的时间布局有出入，应采用正则提取时间
|
2016-04-19 23:49:36 +08:00 |
|
lzjqsdd
|
47865e367d
|
主要增加网易新闻抓取，其他：修改头条新闻内容换行表达，增加浏览器标识解决网易无法抓取问题
|
2016-04-19 18:18:45 +08:00 |
|
lzjqsdd
|
d10ebdec47
|
增加其他分类抓取
|
2016-04-19 11:26:16 +08:00 |
|
lzjqsdd
|
a37d701063
|
增加今日头条简版一个内容板块的抓取，网站限制最多500页
|
2016-04-19 10:49:43 +08:00 |
|
lzjqsdd
|
387eddfa2f
|
Initial commit
|
2016-04-19 10:25:16 +08:00 |
|