AlanTuring
|
8b4e49021d
|
add crawl copy
|
2022-06-04 17:17:08 +08:00 |
|
mxd
|
2e0be2bbeb
|
v0.5.0
|
2020-04-13 08:41:59 +08:00 |
|
BillDowney
|
59d652954b
|
Merge branch 'dev' of https://gitee.com/jmxd/spider-flow into dev
|
2020-04-12 17:12:25 +08:00 |
|
BillDowney
|
885bebe053
|
修改pom结构依赖，把所有的dependencies放入parent，方便管理
|
2020-04-12 17:08:14 +08:00 |
|
nekolr
|
0c0cdca38c
|
修复输出 csv 文件被锁定的问题
|
2020-04-12 16:51:29 +08:00 |
|
nekolr
|
6543a74cf3
|
Merge remote-tracking branch 'upstream/dev' into dev
|
2020-04-11 18:56:04 +08:00 |
|
nekolr
|
0d3fba67c9
|
修复输出 csv 文件乱码的问题
|
2020-04-11 18:48:57 +08:00 |
|
mxd
|
ed4ec48dff
|
代码优化
|
2020-04-11 15:52:05 +08:00 |
|
mxd
|
ce4bdf7e19
|
elements增加htmls、outerHtmls、texts、attrs、ownTexts、wholeTexts等方法
|
2020-04-11 15:51:03 +08:00 |
|
mxd
|
2c78a1809b
|
自动去重（根据URL）,暂不支持参数 close #I193U2
|
2020-04-11 11:07:07 +08:00 |
|
mxd
|
374f60b07a
|
增强循环
|
2020-04-09 17:03:02 +08:00 |
|
mxd
|
375f74dbfc
|
增加注释节点
|
2020-04-09 10:01:10 +08:00 |
|
mxd
|
7761eee3ee
|
rest服务增加异步接口
|
2020-04-09 09:02:40 +08:00 |
|
Lukin
|
8b9cec62bc
|
添加HTML代码反转义支持
|
2020-04-07 10:16:46 +08:00 |
|
mxd
|
0379b02e7b
|
代码优化
|
2020-04-05 13:50:39 +08:00 |
|
mxd
|
5e7b6afd0b
|
close #I1CH36
|
2020-04-05 12:39:25 +08:00 |
|
BillDowney
|
385cb98cbe
|
增加流程通知，暂时只支持邮件通知
|
2020-04-04 03:08:08 +08:00 |
|
mxd
|
3c4e81c2f4
|
增加历史版本
|
2020-04-02 18:52:06 +08:00 |
|
mxd
|
80c7aa32a0
|
v0.4.3
|
2020-04-02 09:54:50 +08:00 |
|
kinglf
|
9f27e895c1
|
SqlRowSet方法扩展 ${rs.nextToMap()}
|
2020-03-30 14:15:38 +08:00 |
|
kinglf
|
543f467cdc
|
增加sql输出select为sqlRowSet流
|
2020-03-30 13:55:15 +08:00 |
|
mxd
|
a62ca0125d
|
debug
|
2020-03-30 12:18:08 +08:00 |
|
mxd
|
1d472339e9
|
首页增加导航
|
2020-03-27 14:04:55 +08:00 |
|
mxd
|
dcab892dd8
|
调整队列出队时机
|
2020-03-27 11:44:21 +08:00 |
|
mxd
|
562ad6dfbf
|
优化插入返回主键
|
2020-03-27 11:43:45 +08:00 |
|
libin
|
c4d79a198e
|
1、增加单条插入返回自增主键机制(insertofPk)
|
2020-03-27 10:14:33 +08:00 |
|
libin
|
c8867a8f8a
|
1、新增单条自增主键返回机制insertofPk;
|
2020-03-27 10:07:55 +08:00 |
|
libin
|
6624b43776
|
1、新增insertofPk返回自增主键值，但暂不支持批量新增返回的情况
|
2020-03-27 09:34:44 +08:00 |
|
mxd
|
41c0efb639
|
自定义函数返回数组、日期类型不对的问题
|
2020-03-26 18:51:37 +08:00 |
|
mxd
|
9cef96a04e
|
线程提交策略配置
|
2020-03-26 16:59:59 +08:00 |
|
mxd
|
9deb98ba54
|
增加流转选项(异常流转、非异常流转、无论异常都流转)以及传递变量设置
|
2020-03-25 19:12:47 +08:00 |
|
mxd
|
e82ffbbba5
|
修复ex变量不会自动清除的BUG
|
2020-03-25 17:25:32 +08:00 |
|
mxd
|
a39168f48d
|
v0.4.2
|
2020-03-22 14:55:27 +08:00 |
|
mxd
|
621a835882
|
v0.4.1
|
2020-03-18 10:08:55 +08:00 |
|
mxd
|
6b1d1612a4
|
修复输出节点的BUG,输出文件编码格式调整为UTF-8无BOM头
|
2020-03-17 21:25:36 +08:00 |
|
mxd
|
8d087ea6dd
|
修复前端日志打印不完整的BUG
|
2020-03-17 21:23:52 +08:00 |
|
td_zhangyu
|
a101b6ec21
|
修复输出csv文件没有表头和MS打开中文乱码问题
|
2020-03-17 17:30:39 +08:00 |
|
mxd
|
1890fed520
|
修复strVar.xpath方法无法获取内容的问题
|
2020-03-17 15:26:15 +08:00 |
|
mxd
|
8f6f238e79
|
修复最大线程数为1时爬虫不执行的问题
|
2020-03-17 14:48:25 +08:00 |
|
mxd
|
452904ad12
|
移除LoopJoin执行器,新增ForkJoin执行器以及优化代码,增加注释,去除不必要的代码
|
2020-03-17 11:37:00 +08:00 |
|
mxd
|
90037a1678
|
v0.4.0
|
2020-03-15 20:22:35 +08:00 |
|
mxd
|
dbcad57e0a
|
修改注释
|
2020-03-15 20:21:21 +08:00 |
|
mxd
|
4757a8c056
|
递归执行改为非递归执行
|
2020-03-14 19:16:18 +08:00 |
|
mxd
|
119b54dda4
|
自定义函数
|
2020-03-11 21:14:16 +08:00 |
|
td_zhangyu
|
adbcbb974a
|
新增ExecutorsUtils和ExpressionUtils工具类初始化ShapeExecutor和ExpressionEngin
|
2020-03-11 15:57:29 +08:00 |
|
td_zhangyu
|
cf621dbcdb
|
调整参数校验
|
2020-03-11 15:28:59 +08:00 |
|
td_zhangyu
|
1cc3dccc80
|
去除多余输出
|
2020-03-05 17:56:05 +08:00 |
|
td_zhangyu
|
cb271391de
|
1、新增输出到文件和直接入库
|
2020-03-05 17:48:23 +08:00 |
|
td_zhangyu
|
b47195550b
|
1、修复header、cookie、paramter最多设置10个问题
2、调整url下载为file.download(path,url)和file.download(path,urls)
3、新增获取元素节点和上级元素的方法：elementVar.subling()、elementVar.parent()、elementVar.parents()、elementsVar.parents()
4、新增output节点支持直接输出数据库
5、修复删除、新增残留问题
|
2020-03-05 16:33:11 +08:00 |
|
td_zhangyu
|
df819d8e3c
|
执行器出错，非流程重大异常，不需停止作业
|
2020-01-02 17:24:19 +08:00 |
|