Spider/spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

crawler jsoup spider spider-flow web-crawler web-spider webcrawler webspider xpath

Go to file

qsmeng df49538fa6 注释		2019-07-26 14:49:52 +08:00
.settings	添加大量内置函数	2019-07-25 15:40:19 +08:00
db	添加 string.uuid() 函数	2019-07-25 18:48:06 +08:00
src/main	注释	2019-07-26 14:49:52 +08:00
.classpath	Commit	2019-07-16 18:32:12 +08:00
.gitignore	Commit	2019-07-16 18:32:12 +08:00
.project	Commit	2019-07-16 18:32:12 +08:00
document.md	更新 document.md	2019-07-24 15:05:38 +08:00
LICENSE	添加 LICENSE	2019-07-23 14:24:33 +08:00
pom.xml	添加大量内置函数	2019-07-25 15:40:19 +08:00
README.md	更新 README.md	2019-07-26 08:59:44 +08:00

README.md

spider-flow

介绍

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

demo

妹子图（感谢网友提供）
北京菜价（感谢网友提供）
GVP项目

特性

支持css选择器、正则提取
支持JSON/XML格式
支持Xpath/JsonPath提取
支持多数据源、SQL select/insert/update/delete
支持爬取JS动态渲染的页面
支持代理
支持二进制格式
支持保存/读取文件(csv、xls、jpg等)
支持插件扩展

使用说明

演示站点

服务器配置较低,如有卡顿请谅解

项目部分截图

QQ交流群：720832964