2019-07-16 18:37:04 +08:00
|
|
|
|
# spider-flow
|
|
|
|
|
|
|
|
|
|
|
|
#### 介绍
|
|
|
|
|
|
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
|
|
|
|
|
|
|
2019-07-19 13:23:07 +08:00
|
|
|
|
#### 项目部署启动
|
2019-07-19 13:23:24 +08:00
|
|
|
|
- SpiderApplication.java 右键main
|
|
|
|
|
|
- 访问路径：http://localhost:8088/
|
2019-07-16 18:37:04 +08:00
|
|
|
|
|
|
|
|
|
|
#### 特性
|
|
|
|
|
|
- [x] 支持css选择器、正则提取
|
|
|
|
|
|
- [x] 支持JSON/XML格式
|
|
|
|
|
|
- [x] 支持Xpath/JsonPath提取
|
|
|
|
|
|
- [x] 支持多数据源、SQL select/insert/update/delete
|
|
|
|
|
|
- [ ] 支持爬取JS动态渲染的页面
|
|
|
|
|
|
- [ ] 支持代理
|
|
|
|
|
|
- [x] 支持二进制格式
|
|
|
|
|
|
- [ ] 支持保存/读取文件(csv、xls、jpg等)
|
|
|
|
|
|
- [ ] 支持插件扩展
|
2019-07-19 15:11:42 +08:00
|
|
|
|
#### 变量匹配说明
|
2019-07-16 18:37:04 +08:00
|
|
|
|
|
2019-07-19 15:11:42 +08:00
|
|
|
|
| 方法名称 | 参数1 | 参数2 | 参数3 | 参数4 | 方法说明 |
|
|
|
|
|
|
| --- | --- | --- | --- | --- | --- |
|
|
|
|
|
|
| selector | resp.html | css选择器 | 获取类型：text、attr、outerhtml | 获取的标签名：如<a href=“”/> 则写：href |获取页面单个变量值|
|
|
|
|
|
|
| selectors | resp.html | css选择器 | 获取类型：text、attr、outerhtml | 获取的标签名：如<a href=“”/> 则写：href |获取页面多个变量值|
|
|
|
|
|
|
### 项目部分截图
|
2019-07-16 18:47:52 +08:00
|
|
|
|
|
2019-07-16 18:46:42 +08:00
|
|
|
|
|
2019-07-22 10:41:47 +08:00
|
|
|
|
|
|
|
|
|
|
|
