Commit Graph

119 Commits

Author SHA1 Message Date
td_zhangyu
42fc316e56 Merge branch 'dev' of https://gitee.com/jmxd/spider-flow into dev 2019-12-25 17:11:15 +08:00
mxd
7c94a3042b 优化日志 2019-12-25 16:46:54 +08:00
mxd
f7d8b527d8 修复输出全部参数的未选中也输出的BUG 2019-12-25 16:45:20 +08:00
td_zhangyu
a1207f5b61 修复任务未执行,查询日志失败 2019-12-25 14:47:57 +08:00
td_zhangyu
7d48659826 1、默认不全部输出参数
2、服务启动重置所有任务下一次执行时间
2019-12-25 14:09:15 +08:00
小东
cdac7d2e73 !19 魔改版合并
Merge pull request !19 from 我是D/dev
2019-12-24 15:19:35 +08:00
td_zhangyu
3e84c8ef8f 1、拆分任务日志 2019-12-24 14:27:29 +08:00
td_zhangyu
fb9b587830 1、更新服务重启后,任务下一次执行时间 2019-12-24 12:01:44 +08:00
小东
0d090f7c2a !18 魔改版
Merge pull request !18 from 我是D/dev
2019-12-24 10:22:29 +08:00
td_zhangyu
767959adca 1、测试框能最小化
2、优化全部参数输出
2019-12-24 10:16:43 +08:00
td_zhangyu
53ccffd2fd 1、新增移除SpiderWebSocketContext中序列化器到FastJsonSerializer中
2、新增批量参数设置
3、新增输出全部功能
2019-12-23 17:39:31 +08:00
mxd
ae8a55cda7 update version to 0.3.1 2019-12-23 10:19:51 +08:00
mxd
0db75a6426 修改日志实现方式 2019-12-21 20:41:51 +08:00
mxd
44cd3634b8 删除不必要的方法 2019-12-21 13:13:11 +08:00
mxd
52e45e04ec 修复cookie不能使用表达式的BUG 2019-12-21 00:53:38 +08:00
mxd
c61f30fa85 增加list排序 2019-12-21 00:53:14 +08:00
mxd
17f0e9c512 增加map转list的方法 2019-12-21 00:52:54 +08:00
td_zhangyu
af690ef7c1 调整变量名 2019-12-20 15:25:34 +08:00
td_zhangyu
88ca287c16 还原pool连接池 2019-12-20 15:21:31 +08:00
td_zhangyu
cd2dc85cad 1、调整SpiderContext为流线程池和任务线程池
2、新增插件功能描述及功能区显示
3、调整流程节点同步执行
4、调整xpath解析方式,修复原解析xpath异常错误
5、修复listVar.join中list.length为1时返回异常
6、其他细小功能优化
2019-12-19 17:44:22 +08:00
mxd
6f7544e5c4 修改下次执行时间的计算方式 2019-12-13 17:08:34 +08:00
mxd
2b13b1b3fd 删除不必要的代码 2019-12-13 17:07:51 +08:00
mxd
4486d92d2b 增加obj.sleep方法 2019-12-13 17:07:24 +08:00
mxd
9f7d90746c update version to 0.3.0 2019-12-09 10:52:30 +08:00
mxd
d80646399f 修复resp.html时内容不正确 2019-12-07 23:16:47 +08:00
td_zhangyu
c217f8f1d5 1、调整日志
2、新增resp获取title,url,新增resp.images()
3、新增url批量下载,不用再先爬取再下载
4、增加List<String>过滤方法
5、新增string.lastIndexOf
6、新增多函数执行
7、新增ThreadFunctionExecutor
8、调整RequestExecutor中延迟时间对第一次执行也生效
9、隐藏数据源中密码显示
10、日志查看增加动态滚动
2019-12-06 17:13:45 +08:00
mxd
a29d431640 修复缓存结果的BUG 2019-12-03 17:21:03 +08:00
mxd
785c3fc857 Cookie自动管理 2019-12-03 14:54:25 +08:00
mxd
aa02f561af 增加resp.links()方法 2019-12-03 13:44:03 +08:00
mxd
defc93533e 对返回结果缓存 2019-11-30 14:03:36 +08:00
mxd
76cfe80094 增加任务状态、任务执行记录 2019-11-30 13:45:23 +08:00
mxd
384a3dab44 update version to 0.2.1 2019-11-17 13:39:28 +08:00
mxd
20749cd646 SQL语句支持表达式语法 2019-11-17 12:52:49 +08:00
mxd
e9db3711de 修复表达式在xxx${expr}格式中,expr为null时整个表达式返回null的问题 2019-11-17 12:52:03 +08:00
mxd
e10a3df8aa 修正延迟计算不准确的问题 2019-11-17 12:38:39 +08:00
mxd
01cf572114 全局变量支持表达式语法 2019-11-17 12:33:14 +08:00
mxd
b5eff983f1 表达式null.方法/属性,以及map[null]、array[null]直接返回null 2019-11-12 17:20:12 +08:00
mxd
5540ea7bb3 增加selectOne和selectInt方法 2019-11-12 15:33:35 +08:00
mxd
1d7125f7b6 update version to 0.2.0 2019-11-03 18:03:32 +08:00
mxd
21af629b86 增加全局变量 2019-11-03 17:01:42 +08:00
mxd
9d629edba3 修复双重循环中间定义的变量未正确聚合的BUG 2019-11-03 12:38:48 +08:00
mxd
e8d4239d06 修复等待节点在双重循环中表现与预期不一致的BUG 2019-11-02 21:25:30 +08:00
mxd
9caafb8f04 增加List打乱函数 2019-11-02 16:45:34 +08:00
mxd
c1c79c8683 修复某些Header无法设置的问题 2019-11-02 16:13:25 +08:00
mxd
1a6b97a65a 修复循环次数可能不对的BUG 2019-11-01 10:24:52 +08:00
mxd
e448efd229 update version to v0.1.0 2019-10-30 10:27:43 +08:00
mxd
927160c25d 增加MD5相关函数 2019-10-29 14:32:28 +08:00
mxd
f5267279b6 增加获取二进制流,可供下载大文件 2019-10-29 14:31:01 +08:00
mxd
fd282152fc 支持数据库批量插入 close #I13Y32 2019-10-27 20:58:27 +08:00
mxd
89c0bf0416 修复多个循环的聚合变量BUG 2019-10-27 20:56:54 +08:00