2019-07-16 18:37:04 +08:00
|
|
|
# spider-flow
|
|
|
|
|
|
|
|
|
|
#### 介绍
|
|
|
|
|
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
#### 特性
|
|
|
|
|
|
|
|
|
|
- [x] 支持css选择器、正则提取
|
|
|
|
|
- [x] 支持JSON/XML格式
|
|
|
|
|
- [x] 支持Xpath/JsonPath提取
|
|
|
|
|
- [x] 支持多数据源、SQL select/insert/update/delete
|
|
|
|
|
- [ ] 支持爬取JS动态渲染的页面
|
|
|
|
|
- [ ] 支持代理
|
|
|
|
|
- [x] 支持二进制格式
|
|
|
|
|
- [ ] 支持保存/读取文件(csv、xls、jpg等)
|
|
|
|
|
- [ ] 支持插件扩展
|
|
|
|
|
|
2019-07-16 18:46:42 +08:00
|
|
|
#### 项目部分截图
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
