Spider/spider-flow
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
478 Commits 9 Branches 11 Tags 3.6 MiB
a5d4ccedaf
Commit Graph

174 Commits

Author SHA1 Message Date
JOKING
238a339c59 异常处理，代码优化 2019-12-30 18:00:37 +08:00
mxd
3262228efa update version to 0.3.2 2019-12-26 11:09:06 +08:00
mxd
964a3a63eb update version to 0.3.2 2019-12-26 10:57:36 +08:00
mxd
97be24969d Merge remote-tracking branch 'origin/dev' into dev 2019-12-26 10:34:37 +08:00
mxd
969ce00b18 修复前端日志不输出的BUG 2019-12-26 10:33:36 +08:00
td_zhangyu
42fc316e56 Merge branch 'dev' of https://gitee.com/jmxd/spider-flow into dev 2019-12-25 17:11:15 +08:00
mxd
7c94a3042b 优化日志 2019-12-25 16:46:54 +08:00
mxd
f7d8b527d8 修复输出全部参数的未选中也输出的BUG 2019-12-25 16:45:20 +08:00
td_zhangyu
a1207f5b61 修复任务未执行，查询日志失败 2019-12-25 14:47:57 +08:00
td_zhangyu
7d48659826 1、默认不全部输出参数 
2、服务启动重置所有任务下一次执行时间
 2019-12-25 14:09:15 +08:00
小东
cdac7d2e73 !19 魔改版合并 
Merge pull request !19 from 我是D/dev
 2019-12-24 15:19:35 +08:00
td_zhangyu
3e84c8ef8f 1、拆分任务日志 2019-12-24 14:27:29 +08:00
td_zhangyu
fb9b587830 1、更新服务重启后，任务下一次执行时间 2019-12-24 12:01:44 +08:00
小东
0d090f7c2a !18 魔改版 
Merge pull request !18 from 我是D/dev
 2019-12-24 10:22:29 +08:00
td_zhangyu
767959adca 1、测试框能最小化 
2、优化全部参数输出
 2019-12-24 10:16:43 +08:00
td_zhangyu
53ccffd2fd 1、新增移除SpiderWebSocketContext中序列化器到FastJsonSerializer中 
2、新增批量参数设置
3、新增输出全部功能
 2019-12-23 17:39:31 +08:00
mxd
ae8a55cda7 update version to 0.3.1 2019-12-23 10:19:51 +08:00
mxd
0db75a6426 修改日志实现方式 2019-12-21 20:41:51 +08:00
mxd
44cd3634b8 删除不必要的方法 2019-12-21 13:13:11 +08:00
mxd
52e45e04ec 修复cookie不能使用表达式的BUG 2019-12-21 00:53:38 +08:00
mxd
c61f30fa85 增加list排序 2019-12-21 00:53:14 +08:00
mxd
17f0e9c512 增加map转list的方法 2019-12-21 00:52:54 +08:00
td_zhangyu
af690ef7c1 调整变量名 2019-12-20 15:25:34 +08:00
td_zhangyu
88ca287c16 还原pool连接池 2019-12-20 15:21:31 +08:00
td_zhangyu
cd2dc85cad 1、调整SpiderContext为流线程池和任务线程池 
2、新增插件功能描述及功能区显示
3、调整流程节点同步执行
4、调整xpath解析方式，修复原解析xpath异常错误
5、修复listVar.join中list.length为1时返回异常
6、其他细小功能优化
 2019-12-19 17:44:22 +08:00
mxd
6f7544e5c4 修改下次执行时间的计算方式 2019-12-13 17:08:34 +08:00
mxd
2b13b1b3fd 删除不必要的代码 2019-12-13 17:07:51 +08:00
mxd
4486d92d2b 增加obj.sleep方法 2019-12-13 17:07:24 +08:00
mxd
9f7d90746c update version to 0.3.0 2019-12-09 10:52:30 +08:00
mxd
d80646399f 修复resp.html时内容不正确 2019-12-07 23:16:47 +08:00
td_zhangyu
c217f8f1d5 1、调整日志 
2、新增resp获取title，url，新增resp.images()
3、新增url批量下载，不用再先爬取再下载
4、增加List<String>过滤方法
5、新增string.lastIndexOf
6、新增多函数执行
7、新增ThreadFunctionExecutor
8、调整RequestExecutor中延迟时间对第一次执行也生效
9、隐藏数据源中密码显示
10、日志查看增加动态滚动
 2019-12-06 17:13:45 +08:00
mxd
a29d431640 修复缓存结果的BUG 2019-12-03 17:21:03 +08:00
mxd
785c3fc857 Cookie自动管理 2019-12-03 14:54:25 +08:00
mxd
aa02f561af 增加resp.links()方法 2019-12-03 13:44:03 +08:00
mxd
defc93533e 对返回结果缓存 2019-11-30 14:03:36 +08:00
mxd
76cfe80094 增加任务状态、任务执行记录 2019-11-30 13:45:23 +08:00
mxd
384a3dab44 update version to 0.2.1 2019-11-17 13:39:28 +08:00
mxd
20749cd646 SQL语句支持表达式语法 2019-11-17 12:52:49 +08:00
mxd
e9db3711de 修复表达式在xxx${expr}格式中，expr为null时整个表达式返回null的问题 2019-11-17 12:52:03 +08:00
mxd
e10a3df8aa 修正延迟计算不准确的问题 2019-11-17 12:38:39 +08:00
mxd
01cf572114 全局变量支持表达式语法 2019-11-17 12:33:14 +08:00
mxd
b5eff983f1 表达式null.方法/属性，以及map[null]、array[null]直接返回null 2019-11-12 17:20:12 +08:00
mxd
5540ea7bb3 增加selectOne和selectInt方法 2019-11-12 15:33:35 +08:00
mxd
1d7125f7b6 update version to 0.2.0 2019-11-03 18:03:32 +08:00
mxd
21af629b86 增加全局变量 2019-11-03 17:01:42 +08:00
mxd
9d629edba3 修复双重循环中间定义的变量未正确聚合的BUG 2019-11-03 12:38:48 +08:00
mxd
e8d4239d06 修复等待节点在双重循环中表现与预期不一致的BUG 2019-11-02 21:25:30 +08:00
mxd
9caafb8f04 增加List打乱函数 2019-11-02 16:45:34 +08:00
mxd
c1c79c8683 修复某些Header无法设置的问题 2019-11-02 16:13:25 +08:00
mxd
1a6b97a65a 修复循环次数可能不对的BUG 2019-11-01 10:24:52 +08:00
mxd
e448efd229 update version to v0.1.0 2019-10-30 10:27:43 +08:00
mxd
927160c25d 增加MD5相关函数 2019-10-29 14:32:28 +08:00
mxd
f5267279b6 增加获取二进制流，可供下载大文件 2019-10-29 14:31:01 +08:00
mxd
fd282152fc 支持数据库批量插入 close #I13Y32 2019-10-27 20:58:27 +08:00
mxd
89c0bf0416 修复多个循环的聚合变量BUG 2019-10-27 20:56:54 +08:00
mxd
42b1b7e769 循环结束后聚合变量xxx->@xxx 2019-10-27 19:02:38 +08:00
mxd
23cf92e8a2 增加循环节点、等待循环结束节点 close #I13Y2X close #I13Y2V 2019-10-26 16:27:27 +08:00
mxd
d984709e2f close #I13Y2P 2019-10-25 18:28:12 +08:00
mxd
55ebb2e69c close #I13Y2I 2019-10-25 17:37:18 +08:00
varyuan
4f30c8f064 clean up code 2019-10-24 17:32:18 +08:00
mxd
af830b9cc7 增强正则抽取函数 2019-10-22 11:09:17 +08:00
mxd
54602dc3a1 增加resp.url用于获取当前url 2019-10-22 11:07:31 +08:00
mxd
c01951a217 修复获取循环次数异常不打印的BUG 2019-10-16 11:34:57 +08:00
mxd
92a7ed1f89 优化线程池，避免线程数过多 2019-10-13 18:15:27 +08:00
mxd
34c9e1d077 增加调度日志记录、查看日志功能 2019-10-12 12:13:43 +08:00
mxd
9aa32f9f0c 优化表达式错误提示 2019-10-11 14:22:31 +08:00
mxd
ed9ca342d9 表达式增加动态方法 2019-10-04 16:42:52 +08:00
mxd
14989c52c0 表达式BUG修复 2019-10-04 16:41:47 +08:00
mxd
bf55422d93 表达式增强 2019-09-29 11:22:32 +08:00
mxd
557660dbc2 补全注释 2019-09-29 10:58:46 +08:00
吕金泽
5c9e972c10 优化 url.getParameters 改名为 url.parameterMap 获取全部参数 
添加 url.parameter 根据key获取参数
 2019-09-28 19:59:28 +08:00
吕金泽
24ff424eb9 添加函数 url.getParameters 2019-09-28 18:30:10 +08:00
mxd
56091583e5 修复表达式Map类型的BUG以及增强 2019-09-27 15:18:47 +08:00
吕金泽
4e3239c0a2 把jpa换成mybatis plus 2019-09-26 14:08:33 +08:00
mxd
7c6b53a6e2 表达式支持定义map类型 2019-09-25 18:09:31 +08:00
mxd
900d4764ff 增加异常变量,用来判断节点是否有异常 2019-09-24 16:11:01 +08:00
mxd
5ec5ae6b1d 优化表达式错误提示 2019-09-24 14:12:54 +08:00
mxd
1c717eb322 TLS验证开关的BUG 2019-09-23 18:02:26 +08:00
zhouyi
a06ee97271 修改Spider.java循环得到标签修改为Map.get获取 2019-09-23 14:03:40 +08:00
mxd
7f4d53c143 表达式提示优化 2019-09-21 18:26:24 +08:00
mxd
730fed4920 修复表达式引号不能包含}的问题以及'abc'.method()无法调用的问题 2019-09-20 18:53:02 +08:00
mxd
3a8678a365 数据源修改与关闭 2019-09-19 14:44:28 +08:00
mxd
1fd1e2f135 数据源单独管理 2019-09-19 14:30:33 +08:00
mxd
4c8fea412a TLS证书验证开关 2019-09-18 16:54:56 +08:00
mxd
2e4c0522c9 代理可能出现空指针的BUG 2019-09-18 16:46:56 +08:00
吕金泽
c2d1e6253b 删除文件 spider-flow-core/.project 2019-09-18 16:01:23 +08:00
吕金泽
d6757aa4dc 删除文件 spider-flow-core/.gitignore 2019-09-18 16:01:17 +08:00
吕金泽
28df144090 删除文件 spider-flow-core/.classpath 2019-09-18 16:01:13 +08:00
吕金泽
7c083a01fa 删除文件 spider-flow-core/.settings 2019-09-18 16:01:07 +08:00
mxd
5c19291abb 增加多种扩展方法 2019-09-17 15:34:20 +08:00
mxd
ce5ef1eaf3 忽略证书 2019-09-17 11:33:02 +08:00
mxd
5a69ab0107 String类增强 2019-09-16 16:52:18 +08:00
mxd
90d6f5e7bf 执行函数的日志调整 2019-09-16 11:13:42 +08:00
mxd
6872214773 Selenium BUG修复 2019-09-16 11:13:06 +08:00
mxd
42af698f51 实现动态扩展方法,方便链式调用 2019-09-14 16:27:54 +08:00
mxd
51db815594 弃用Freemarker、移除各种抽取方法，改为extract.selector、extract.xpath等方法 2019-09-13 21:14:50 +08:00
mxd
550b15f21c 修复表达式BUG 2019-09-13 14:14:28 +08:00
mxd
ad8d026314 表达式BUG修复 2019-09-13 13:22:50 +08:00
mxd
dd0f8ef619 新增停止测试、重新开始测试功能 2019-09-11 18:45:53 +08:00
mxd
7f8701eaaa 增加跟随重定向开关 2019-09-11 12:01:29 +08:00