update readme
This commit is contained in:
parent
ab1bf1ca05
commit
8cfc8eef51
59
README.md
59
README.md
@ -1,57 +1,46 @@
|
||||
# spider-flow
|
||||
<p align="center">
|
||||
<img src="https://www.spiderflow.org/images/logo.svg" width="600">
|
||||
</p>
|
||||
<p align="center">
|
||||
<a target="_blank" href="https://www.oracle.com/technetwork/java/javase/downloads/index.html"><img src="https://img.shields.io/badge/JDK-1.8+-green.svg" /></a>
|
||||
<a target="_blank" href="https://www.spiderflow.org"><img src="https://img.shields.io/badge/Docs-latest-blue.svg"/></a>
|
||||
<a target="_blank" href='https://gitee.com/jmxd/spider-flow'><img src="https://gitee.com/jmxd/spider-flow/badge/star.svg?theme=white" /></a>
|
||||
<a target="_blank" href='https://github.com/javamxd/spider-flow'><img src="https://img.shields.io/github/stars/javamxd/spider-flow.svg?style=social"/></a>
|
||||
<a target="_blank" href="LICENSE"><img src="https://img.shields.io/:license-MIT-blue.svg"></a>
|
||||
<a target="_blank" href="https://shang.qq.com/wpa/qunwpa?idkey=10faa4cf9743e0aa379a72f2ad12a9e576c81462742143c8f3391b52e8c3ed8d"><img src="https://img.shields.io/badge/Join-QQGroup-blue"></a>
|
||||
</p>
|
||||
|
||||
【声明】 请勿将`spider-flow`应用到任何可能会违反法律规定和道德约束的工作中,请友善使用`spider-flow`,遵守蜘蛛协议,不要将`spider-flow`用于任何非法用途。如您选择使用`spider-flow`即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。
|
||||
[介绍](#介绍) [特性](#特性) | [插件](#插件) | [Demo站点](http://demo.spiderflow.org) | [文档](https://www.spiderflow.org) | [更新日志](https://www.spiderflow.org/changelog.html) | [截图](#截图) | [免责声明](#免责声明)
|
||||
|
||||
#### 介绍
|
||||
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
|
||||
> **QQ交流群:720832964**
|
||||
## 介绍
|
||||
平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台
|
||||
|
||||
#### 使用说明
|
||||
[点击跳转](https://www.spiderflow.org)
|
||||
|
||||
|
||||
#### 演示站点
|
||||
[点击跳转](http://demo.spiderflow.org/)
|
||||
> 服务器配置较低,如有卡顿请谅解
|
||||
|
||||
### 项目结构
|
||||
```
|
||||
spider-flow
|
||||
├── spider-flow-api -- 插件开发的依赖
|
||||
├── spider-flow-core -- 核心包
|
||||
├── spider-flow-web -- web界面
|
||||
```
|
||||
|
||||
#### 特性
|
||||
- [x] 支持css选择器、正则提取
|
||||
- [x] 支持JSON/XML格式
|
||||
- [x] 支持Xpath/JsonPath提取
|
||||
## 特性
|
||||
- [x] 支持Xpath/JsonPath/css选择器/正则提取/混搭提取
|
||||
- [x] 支持JSON/XML/二进制格式
|
||||
- [x] 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
|
||||
- [x] 支持爬取JS动态渲染的页面
|
||||
- [x] 支持爬取JS动态渲染(或ajax)的页面
|
||||
- [x] 支持代理
|
||||
- [x] 支持二进制格式
|
||||
- [x] 支持保存/读取文件(csv、xls、jpg等)
|
||||
- [x] 支持自定保存至数据库/文件
|
||||
- [x] 支持自动保存至数据库/文件
|
||||
- [x] 常用字符串、日期、文件、加解密等函数
|
||||
- [x] 支持流程嵌套
|
||||
- [x] 支持插件扩展(自定义执行器,自定义函数)
|
||||
- [x] 支持插件扩展(自定义执行器,自定义方法)
|
||||
- [x] 任务监控,任务日志
|
||||
- [x] 支持HTTP接口
|
||||
- [x] 支持Cookie自动管理
|
||||
- [x] 支持自定义函数
|
||||
|
||||
#### 插件列表
|
||||
## 插件
|
||||
- [x] [Selenium插件](https://gitee.com/jmxd/spider-flow-selenium)
|
||||
- [x] [Redis插件](https://gitee.com/jmxd/spider-flow-redis)
|
||||
- [x] [OSS插件](https://gitee.com/jmxd/spider-flow-oss)
|
||||
- [x] [Mongodb插件](https://gitee.com/jmxd/spider-flow-mongodb)
|
||||
- [ ] Hbase插件
|
||||
- [x] [IP代理池插件](https://gitee.com/jmxd/spider-flow-proxypool)
|
||||
- [x] [OCR识别插件](https://gitee.com/jmxd/spider-flow-ocr)
|
||||
- [x] [电子邮箱插件](https://gitee.com/jmxd/spider-flow-mailbox)
|
||||
|
||||
### 项目部分截图
|
||||
## 项目部分截图
|
||||
![GVP项目爬虫测试](https://images.gitee.com/uploads/images/2019/1030/104033_0075e463_297689.gif "spider-test.gif")
|
||||
![数据展示](https://images.gitee.com/uploads/images/2019/0716/184618_21bce697_297689.png "demo-2.png")
|
||||
|
||||
### 如有问题或者建议请提Issue
|
||||
## 免责声明
|
||||
请勿将`spider-flow`应用到任何可能会违反法律规定和道德约束的工作中,请友善使用`spider-flow`,遵守蜘蛛协议,不要将`spider-flow`用于任何非法用途。如您选择使用`spider-flow`即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。
|
Loading…
Reference in New Issue
Block a user