Spider/spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

crawler jsoup spider spider-flow web-crawler web-spider webcrawler webspider xpath

Go to file

珍惜每一天 27dedd74f6 !1 h合并 Merge pull request !1 from 珍惜每一天/masterzy		2019-07-19 14:54:20 +08:00
.settings	Commit	2019-07-16 18:32:12 +08:00
db	调整抓取图片模版	2019-07-19 14:50:55 +08:00
src/main	修改页面交互；保存模版不刷新到列表页面	2019-07-19 14:42:03 +08:00
.classpath	Commit	2019-07-16 18:32:12 +08:00
.gitignore	Commit	2019-07-16 18:32:12 +08:00
.project	Commit	2019-07-16 18:32:12 +08:00
pom.xml	Commit	2019-07-16 18:32:12 +08:00
README.md	更新 README.md	2019-07-19 13:23:24 +08:00

README.md

spider-flow

介绍

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

项目部署启动

SpiderApplication.java 右键main
访问路径：http://localhost:8088/

特性

支持css选择器、正则提取
支持JSON/XML格式
支持Xpath/JsonPath提取
支持多数据源、SQL select/insert/update/delete
支持爬取JS动态渲染的页面
支持代理
支持二进制格式
支持保存/读取文件(csv、xls、jpg等)
支持插件扩展

项目部分截图