fix readme.md of augment

AugmentText/augment_nmt/requestments.txt

@@ -1,3 +1,3 @@
 tensorflow-gpu==1.15.2
-transformers==0.4.10
+transformers==4.8.2
 

AugmentText/augment_simbert/README.md

@@ -9,4 +9,5 @@
 
 ## 备注
   效果还是比较好的, 可以生成多个相似句子, 但是生成式的模型一般都比较慢。
+  - 相比simbert, roformer-sim效果要好些
 

AugmentText/augment_simbert/enhance_roformer.py

@@ -112,44 +112,26 @@ if __name__ == '__main__':
         res = gen_synonyms(text)
         print(res)
 
-['平乐县古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，西毗邻阳朔，北连恭城',
- '平乐县，古称昭州，隶属于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919.',
- '平乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭',
- '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连',
- '平乐县，属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭',
- '平乐县，古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平',
- '平乐县，古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平县。',
- '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔',
- '平乐县，古称昭州，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919.34',
- '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔。',
- '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平县，西北毗邻阳朔县。',
- '平乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔',
- '平乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔。',
- '昭平县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连',
- '昭乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔。',
- '昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭',
- '平乐县，古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县',
- '广西壮族自治区桂林市，隶属于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919',
- '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平',
- '广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919']
+"""
+['平乐县古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，西毗邻阳朔，北连恭城', '平乐县，古称昭州，隶属于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919.', '平乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭', '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连', '平乐县，属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭', '平乐县，古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平', '平乐县，古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平县。', '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔', '平乐县，古称昭州，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919.34', '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔。', '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平县，西北毗邻阳朔县。', '平乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔', '平乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔。', '昭平县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连', '昭乐县隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔。', '昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭', '平乐县，古称昭州，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县', '广西壮族自治区桂林市，隶属于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919', '平乐县，隶属于广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平', '广西壮族自治区桂林市，位于广西东北部，桂林市东南部，东临钟山县，南接昭平，西北毗邻阳朔，北连恭城，总面积1919']
+['榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点，平乐以北称漓江。', '景点主要就是榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点', '主要景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称桂', '景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称桂江', '榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点', '榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点。', '这个景点主要有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称', '1. 榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点。', '第一，平乐县的主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。', '平乐县主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。', '学校主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江。', '1、榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称桂江。', '宜宾市榕津千年古榕、冷水石景苑、仙家温泉、漓江风景区等，普洱山为漓江分界点，平乐以北称漓江。', '花开湖畔的景观特色：榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江', '广州市榕津千年古榕、冷水石景苑、仙家温泉、漓江风景区、漓江风景区等，平乐县为漓江分界点。', '该景区主要旅游景点有：榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。', '郴州市永化区榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，桂江县为漓江分界点，平', '公益群岛水平县主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等', '此处主要是桂江最为优秀的桂江旅游区，主要是榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区等。', '桂江“大桂林”景点”的三角半南边有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。']
+['印岭玲珑，昭水晶莹，环绕我平中，青年的乐园，多士受陶熔。生活自觉自治，学习自发自动，手脑并用。迎接新潮流，建设新平中。', 
+ '印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。学习自发自动，手脑并用。迎接新潮流，建设新平中。', 
+ '日常生活界面，印岭玲珑，昭水晶莹，环绕我平中，青年的乐园，多士受陶熔，生活自觉自治，学习自发自动。来迎接新潮流，建设新平中。', '印岭玲珑，昭水晶莹，环绕我平中青年的乐园，多士受陶熔。学习自发自动，教育自发自动。迎接新潮流，建设新平中。', '印岭玲珑，昭水晶莹，环绕我平中，青年的乐园，多士受陶熔，学习自发自动。迎接新潮流，建设新平中。', '印岭玲珑，昭水晶莹，环绕我平中，生活自觉自治，学习自发自动。五育并重，手脑并用。迎接新潮流，建设新平中。', '印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。学习自发自动。五育并重，手脑并用。', '" 印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。生活自觉自治，学习自发自动。', '印岭玲珑，昭水晶莹，环绕我平中，青年的乐园，多士受陶熔。5. 游客家属，生活自觉自治，学习自发自动，手脑并用。', '印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔，生活自觉自治，学习自发自动。', '印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。生活自觉自治，学习自发自动。', '印岭玲珑，昭水晶莹，环绕我平中青年的乐园，多士受陶熔。. . . . . . 5. 生活自觉自治，学习自发自动。。. . . . . . . . . . .', '青年的乐园，多士受陶熔，生活自觉自治，学习自发自动，五育并重，手脑并用。迎接新潮流，建设新平中，生动水晶莹。', '-印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。生活自觉自治，学习自发自动。', '印岭玲珑，昭水晶莹，环绕我平中，我帮你生活自觉自治，学习自发自动。五育并重，手脑并用。迎接新潮流，建设新平中，我尊敬的新平里', '印岭玲珑，昭水晶莹，环绕我平中，青年的乐园，多士受陶熔。生活自觉自治，学习自发自动。(三) 教师围绕昆虫生态新潮流，学习自己的', '加用中，含义：印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔，生活自觉自治，学习自发自动。', '印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。“五育并重，学习自发自动，”元首，明显精致。。', '印岭玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔。生活自觉自治，学习自发自动，九年来的生活里，震雷南声五五个大功准备。', '长平玲珑，昭水晶莹，环绕我平中。青年的乐园，多士受陶熔，生活自觉自治，学习自发自动。']
+['阳朔山水甲天下, 桂林山水甲桂林', 
+ '桂林山水甲天下，阳朔山水甲桂林', 
+ '桂林山水甲天下, 阳朔山水甲', 
+ '桂林山水甲天下阳朔山水甲桂林', 
+ '桂林山水甲天下, 阳朔山水', '山水甲天下, 阳朔山水甲桂林', '山水甲天下，阳朔山水甲桂林', '桂林山水甲天下, 阳朔山水甲桂林。', '天下, 阳朔山水甲桂林', '山水甲天下, 阳朔山水甲桂林。', '桂林山水甲天下太阳朔山水甲桂林', '山水甲天下，阳朔山水甲桂林。', '云林山水甲天下, 阳朔山水甲桂林', '湛江山水甲天下, 阳朔山水甲桂林', '桂林山水甲天下, 阳朔山水甲湖景桂林', '书：桂林山水甲天下，阳朔山水甲桂林', '桂林山水甲天下山水甲桂林', '平安山水甲天下，阳朔山水甲桂林', '桂林山水甲天下都是阳朔山水甲桂林?', '凤凰山水甲天下，阳朔山水甲桂林']
+['三国一统天下.', '三国一统天下：', '三国一统天下. . .', '三国一统天下。', '三国——一统天下', '《三国一统天下》', '在三国一统天下中', '三国一统天下治天下', '三国一统天下是三国一统天下吗', '三国一统天下简介?', '三国汉太宗一统天下', '三国一统天下，什么是三国一统天下？', '三国一统天下是什么？', '三国一统天下是谁？', '中国合治三国一统天下等等', '三国一统天下作者', '三国一统天下中国名？', '三国时期一统天下是谁？', '如何分析三国一统天下', '云南三国一统天下全体如何']
+['世间万物皆系于其上。', '世间万物皆系于上', '世间万物皆系于其下', '世间万物皆系于其下。', '世间万物皆系于其下，世间万物皆系于其上', '世间万物皆系于其中', '世间万物皆系于其下！', '世间万物皆系其下', '世间万物皆系于其中。', '世间万物皆系于下一.', '世间万物皆系于其下，有名。', '世间万物皆处于其上。', '世间万物皆如其上', '世间万物皆自于其上', '世间万物皆是其下', '世间万物皆记, 联系于此上', '物物皆系于其上', '世间万物皆系于其上，静性到不退。', '世间万物皆不与其下。', '世间万物皆系于其上，其道法同时至此为世中回家。']
+['2020年真是一个糟糕的年代, 进入20年代，新冠爆发、经济下行, 什么的都来了。', '2020年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行，什么的都来了。', '2020年真是一个糟糕的年代，进入20年代，新冠爆发、经济下行，什么的都来了。', '2020年真是一个糟糕的年代, 进入20年代，新冠爆发、经济下行, 什么的都来了！', '2020年真是一个糟糕的年代, 进入20年代新冠爆发、经济下行，什么的都来了。', '2020年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行, 什么的都来了。', '2020年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行. 什么的都来了。', '今天，2020年真是一个糟糕的年代，进入20年代，新冠爆发、经济下行，什么的都来了。', '2019年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行, 什么的都来了。', '2016年真是一个糟糕的年代, 进入20年代，新冠爆发、经济下行，什么的都来了。', '2017年真是一个糟糕的年代, 进入20年代，新冠爆发、经济下行，什么的都来了。', '2020年真是一个糟糕的年代, 进入20年代，新冠爆发、经济下行，什么的都来了，希望每年交易！', '2020年真是一个糟糕的年代，进入20年代，新冠爆发、经济下行，什么的都来了，什么都来了，2020年真是一个糟糕的年代了，人们现在20年代本来都没有了。', '2020年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行, 什么的都来了，现代如今的多人都来了。', '2020年真是一个糟糕的年代，进入20年代，新冠爆发、经济下行。', '如果你说话，现在你知道的，2020年真是一个糟糕的年代，进入20年代，新冠爆发、经济下行，什么的都来了。', '马上不够混仓了，我们就认为是2020年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行，什么的都来了。', '出自《公益科目》，2020年真是一个糟糕的年代，进入20年代，新冠爆发、经济下行，什么的都来了。', '进入20年代，新冠爆发、经济下行，什么的都来了。', '老套板你报应用开发公司投资者卡成功的，2019年真是一个糟糕的年代, 进入20年代, 新冠爆发、经济下行，什么的都来了。']
+['仿佛一切都变得不那么重要了？', '所以，仿佛一切都变得不那么重要了。', '因为，仿佛一切都变得不那么重要了。', '仿佛是一切都变得不那么重要了。', '仿佛一切都变得不那么不重要了。', '仿佛一切都变得不那么重要。', '反而仿佛一切都变得不那么重要了！', '又，仿佛一切都变得不那么重要。', '仿佛一切变得不那么重要了。', '仿佛一切都可能变得不那么重要。', '仿佛一切都变得那么重要了。', '仿佛一切都变得比不那么重要了。', '仿佛的一切都能变得不那么重要。', '仿佛一切变得不那么重要。', '一切都变得不那么重要了。', '仿佛一切都变得那么重要！', '仿佛因一切都变得很重要了。', '仿佛一切都不那么重要了。', '也仿佛，一切都变得很重要。', '不会意味着，仿佛一切都变得不那么重要了。']
+['苹果多少钱一斤?', '苹果苹果多少钱一斤', '苹果多少钱一斤苹果', '一般苹果多少钱一斤', '苹果多少钱一斤？', '多少钱苹果一斤', '苹果一斤多少钱', '一般苹果多少钱一斤？', '苹果一斤多少钱？', '苹果得多少钱一斤？', '苹果价格多少钱一斤？', '苹果贵多少钱一斤苹果多少钱一斤', '苹果现在一般多少钱一斤', '一斤苹果是多少钱苹果', '现在一斤苹果多少钱', '苹果多少钱一斤苹果手机', '苹果一斤多少钱，苹果一斤多少钱苹果一斤多少钱', '现在苹果多少钱一斤，苹果多少钱，苹果', '苹果手机多少钱一斤', '苹果价格大概是多少钱一斤']
 
-['榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点，平乐以北称漓江。',
- '景点主要就是榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点',
- '主要景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称桂',
- '景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称桂江',
- '榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点',
- '榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点。',
- '这个景点主要有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称',
- '1. 榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐县为漓江分界点。',
- '第一，平乐县的主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。',
- '平乐县主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。',
- '学校主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江。',
- '1、榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江，以南称桂江。',
- '宜宾市榕津千年古榕、冷水石景苑、仙家温泉、漓江风景区等，普洱山为漓江分界点，平乐以北称漓江。',
- '花开湖畔的景观特色：榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，平乐以北称漓江',
- '广州市榕津千年古榕、冷水石景苑、仙家温泉、漓江风景区、漓江风景区等，平乐县为漓江分界点。',
- '该景区主要旅游景点有：榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。',
- '郴州市永化区榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等，桂江县为漓江分界点，平',
- '公益群岛水平县主要旅游景点有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等',
- '此处主要是桂江最为优秀的桂江旅游区，主要是榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区等。',
- '桂江“大桂林”景点”的三角半南边有榕津千年古榕、冷水石景苑、仙家温泉、桂江风景区、漓江风景区等。']
+win10-i7-cpu
+time_total:677.4484674930573
+time_per:75.27205194367303
+time_one:3.76
+
+"""

AugmentText/augment_simbert/tet_keras.py

@@ -0,0 +1,24 @@
+# !/usr/bin/python
+# -*- coding: utf-8 -*-
+# @time    : 2021/9/22 21:29
+# @author  : Mo
+# @function: 获取下三角矩阵
+
+
+import keras.backend as K
+import numpy as np
+
+# np.random.rand(2,3)
+
+input_x = np.array([[1,2,3], [4,5,6], [7,8,9]])
+s = K.cast(input_x, dtype="float32")
+idxs = K.cumsum(s, axis=1)  # 一行一行累加, 可用于构建上三角矩阵、下三角矩阵
+print(K.eval(idxs))
+mask = idxs[:, None, :] <= idxs[:, :, None]
+print(K.eval(mask))
+mask = K.cast(mask, K.floatx())
+print(K.eval(mask))
+ee = 0
+
+print(75.27 / 20)
+