Spider/spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

crawler jsoup spider spider-flow web-crawler web-spider webcrawler webspider xpath

Go to file

mxd cf8568ec28 修复表达式偶尔获取不到值的BUG		2019-09-05 18:51:16 +08:00
db	修改数据库为MySQL	2019-08-22 15:18:31 +08:00
spider-flow-api	前端测试日志优化显示	2019-09-04 17:52:50 +08:00
spider-flow-core	修复表达式偶尔获取不到值的BUG	2019-09-05 18:51:16 +08:00
spider-flow-proxypool	IP代理池提示、Selenium提示	2019-09-01 14:38:04 +08:00
spider-flow-redis	前端测试日志优化显示	2019-09-04 17:52:50 +08:00
spider-flow-selenium	前端测试日志优化显示	2019-09-04 17:52:50 +08:00
spider-flow-web	日志优化、JSON折叠高亮	2019-09-05 14:06:11 +08:00
.gitignore	更改包结构，增加方法执行器接口	2019-08-09 10:12:32 +08:00
LICENSE	添加 LICENSE	2019-07-23 14:24:33 +08:00
pom.xml	页面图标bug修复	2019-08-29 16:15:16 +08:00
README.md	redis插件	2019-08-27 17:34:02 +08:00

README.md

spider-flow

介绍

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

QQ交流群：720832964

使用说明

演示站点

服务器配置较低,如有卡顿请谅解

DEMO

妹子图（感谢网友提供）
北京菜价（感谢网友提供）
GVP项目

项目结构

spider-flow
├── spider-flow-api -- 插件开发的依赖
├── spider-flow-core -- 核心包
├── spider-flow-web -- web界面
├── spider-flow-selenium -- selenium插件

特性

支持css选择器、正则提取
支持JSON/XML格式
支持Xpath/JsonPath提取
支持多数据源、SQL select/insert/update/delete
支持爬取JS动态渲染的页面
支持代理
支持二进制格式
支持保存/读取文件(csv、xls、jpg等)
常用字符串、日期、文件、加解密等函数
支持流程嵌套
支持插件扩展(自定义执行器，自定义函数）
任务监控
支持HTTP接口

插件列表

Selenium插件
Redis插件
Mongodb插件
Hbase插件
IP代理池插件
OCR识别插件

项目部分截图