From e12460214ba4843ba5769d4c932be5b31e98f844 Mon Sep 17 00:00:00 2001 From: liuhuanyong Date: Sun, 30 Aug 2020 22:16:42 +0800 Subject: [PATCH] Update README.md --- README.md | 27 ++++++++++++++------------- 1 file changed, 14 insertions(+), 13 deletions(-) diff --git a/README.md b/README.md index fe91836..e2ec9ee 100644 --- a/README.md +++ b/README.md @@ -1,5 +1,5 @@ # CognitiveInference -CognitiveInference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，以现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推理类知识库的项目实践集合、常识推理测试评估项目集合。 +Cognitive Inference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，以现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推理类知识库的项目实践集合、常识推理测试评估项目集合。 # 项目介绍 常识推理是人工智能的高级阶段，基于已有知识，运用知识推理机技术，完成限定领域决策行为，能够在充分减少人为劳动的同时，产生经济效益。例如，基于已知知识进行知识推理，采用如事件驱动传导路径等进行知识发现，能够辅助于业务的推理和辅助决策，在智能投研进行未知风险预警、在舆情分析中对公司进行舆论控制和监控。 @@ -7,32 +7,32 @@ CognitiveInference，认知推理、常识知识库、常识推理与常识推 "逻辑知识库"作为描述现实社会事件之间传导关联的库，需要在规模、质量，领域针对性三个方面入手进行解决。具体地，作者通过对自己所涉及的推理项目进行系统回顾，认为，推理类常识知识库，应该从垂直和横向两个维度出发进行构建。 # 一、纵向常识逻辑 -上需要考虑的是类人的抽象和概括能力，这个需要抽象、概念性、上下位知识的构建。例如，作者对纵向常识逻辑，形成了以下工作: +纵项常识逻辑需要考虑的是类人的抽象和概括能力，这个需要抽象、概念性、上下位知识的构建，可以让机器模仿人类的举一反三和概括总结的技能。例如，作者对纵向常识逻辑，形成了以下工作: 1、上下位关系图谱项目：HyponymyExtraction(https://github.com/liuhuanyong/HyponymyExtraction). -上下位这种语义关系是整个词汇语义关系中的一个重要内容，通过上下位关系，可以将世间万物进行组织和练联系起来，对于增进人们对某一实体或概念的认知上具有重要帮助，自然语言文本中存储着大量的上下位关系知识，如经过语言专家编辑整理形成的概念语义词典，如同义词词林，中文主题概念词典，hownet等，也存在开放百科知识平台当中，有效地利用这些信息，能够支持多项应用基于知识概念体系，百科知识库，以及在线搜索结构化方式的词语上下位抽取。适用的场景为用户输入一个需要了解的词语，后台通过查询既定知识库，从百百科知识库，在线非结构化文本中进行抽取，形成关于该词语的上下位词语网络，并以图谱这一清晰明了的方式展示出来。 +上下位这种语义关系是整个词汇语义关系中的一个重要内容，通过上下位关系，可以将世间万物进行组织和练联系起来，对于增进人们对某一实体或概念的认知上具有重要帮助，自然语言文本中存储着大量的上下位关系知识，如经过语言专家编辑整理形成的概念语义词典，如同义词词林，中文主题概念词典，hownet等，也存在开放百科知识平台当中，有效地利用这些信息，能够支持多项应用基于知识概念体系，百科知识库，以及在线搜索结构化方式的词语上下位抽取。项目实现为用户输入一个需要了解的词语，后台通过查询既定知识库，从百科知识库，在线非结构化文本中进行抽取，形成关于该词语的上下位词语网络，并以图谱这一清晰明了的方式展示出来。 2、电商商品概念与销售知识图谱项目：GoodsKG(https://github.com/liuhuanyong/GoodsKG). 项目以京东电商为实验数据来源，采集京东商品目录树，并获取其对应的底层商品概念信息，组织形成商品知识图谱。目前，该图谱包括有概念的上下位is a关系以及商品品牌与商品之间的销售sale关系共两类关系，涉及商品概念数目1300+，商品品牌数目约10万+，属性数目几千种，关系数目65万规模。该项目可以进一步增强商品领域概念体系的应用，对自然语言处理处理的几个下游应用带来帮助，如商品品牌识别，商品对象及属性级别情感分析，商品评价短语库构建，商品品牌竞争关系梳理等提供基础性的概念服务。 3、抽象知识图谱项目：AbstractKnowledgeGraph(https://github.com/liuhuanyong/AbstractKnowledgeGraph) -抽象知识图谱，目前规模50万，支持名词性实体、状态性描述、事件性动作进行抽象。目标于抽象知识，包括抽象实体，抽象动作，抽象事件。基于该知识图谱，可以进行不同层级的实体抽象和动作抽象，这与人类真实高度概括的认知是一致的。本项目提出了一个抽象知识图谱的项目，目的是对知识抽象与泛化提供一个思路并初步实践，介绍了抽象知识图谱，对抽象图谱的现实需求进行论述。介绍了中文抽象图谱的相关工作。摆阔CN-Probase,Hownet,大词林,百度百科Schema等，并给出了之前关联的项目地址。本项目提出了一个可用的抽象知识图谱构建路线，提出抽象知识图谱的实施路线并给出抽象接口实践。 - +项目提出了一个抽象知识图谱的项目，目的是对知识抽象与泛化提供一个思路并初步实践，介绍了抽象知识图谱，对抽象图谱的现实需求进行论述。介绍了中文抽象图谱的相关工作。包括 CN-Probase,Hownet,大词林,百度百科Schema等，并给出了之前关联的项目地址。本项目提出了一个可用的抽象知识图谱构建路线，提出抽象知识图谱的实施路线并给出抽象接口实践。建成抽象知识图谱，目前规模50万，支持名词性实体、状态性描述、事件性动作进行抽象，可完成抽象知识，包括抽象实体，抽象动作，抽象事件。基于该知识图谱，可以进行不同层级的实体抽象和动作抽象，这与人类真实高度概括的认知是保持一致。 # 二、横向常识逻辑 -横向上，需要挖掘顺承、因果、反转等多个方向的逻辑演化关系。例如，作者对横向常识逻辑，形成了以下下工作： +横向上，需要挖掘顺承、因果、反转等多个方向的逻辑演化关系。例如，作者对横向常识逻辑，形成了以下工作： -4、因果事件图谱项目：CausalityEventExtraction(https://github.com/liuhuanyong/CausalityEventExtraction). +4、顺承事件图谱项目：SequentialEventExtration(https://github.com/liuhuanyong/SequentialEventExtration). -以构造和总结因果模板，结合中文语言特点，构建因果语言知识库的方式，对因果事件抽取以及因果知识图谱构建进行尝试。本项目罗列出了9类显式因果逻辑抽取模式，通过使用因果连词库，结果词库、因果模式库等，完成因果抽取，对文本进行噪声移除，非关键信息去除等进行文本预处理，基于因果模式库，完成因果对抽取，选择选择一种恰当（短语、短句、句子主干）等方式进行事件表示。使用知识图谱中的实体对齐技术进行事件融合，基于业务需求，可以用相应的数据库进行存储，比如图数据库等完成事件存储。 +以谓词性短语作为事件表示的方法方兴未艾,针对特定领域,构建起特定领域的顺承事件图谱,可以支持事件推理,基于事件的意图识别与推荐等多项运用。本项目基于50W文章领域语料,运用简单提取方式形成的顺承关系图谱demo,形成了事件节点为326781个, 顺承事件对为543580条,分别为30W和50W的图谱规模。 -5、顺承事件图谱项目：SequentialEventExtration(https://github.com/liuhuanyong/SequentialEventExtration). +5、因果事件图谱项目：CausalityEventExtraction(https://github.com/liuhuanyong/CausalityEventExtraction). + +项目以构造和总结因果模板，结合中文语言特点，构建因果语言知识库的方式，对因果事件抽取以及因果知识图谱构建进行尝试。罗列出了9类显式因果逻辑抽取模式，通过使用因果连词库，结果词库、因果模式库等，完成因果抽取、对文本进行噪声移除，非关键信息去除等进行文本预处理；基于因果模式库，完成因果对抽取，选择短语、短句、句子主干等方式进行事件表示；使用知识图谱中的实体对齐技术进行事件融合，基于业务需求，可以用相应的数据库进行存储，比如图数据库等完成事件存储。 -目前,以谓词性短语作为事件表示的方法方兴未艾,针对特定领域,构建起特定领域的顺承事件图谱,可以支持事件推理,基于事件的意图识别与推荐等多项运用。本项目基于50W文章领域语料,运用简单提取方式形成的顺承关系图谱demo,形成了事件节点为326781个, 顺承事件对为543580条,分别为30W和50W的图谱规模。 6、复合事件图谱项目：ComplexEventExtraction(https://github.com/liuhuanyong/ComplexEventExtraction). -项目对中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件事件图谱的类型、表现形式进行了归纳，并结合复合事件模式与语料进行了实验。实验表明，反转事件，其实在某种程度上可以用来构造反义词词典，例如"不是A而是B"这种模式，可以得到很多反义的词或短语，我们可以用wordvector找相近词，可以靠这种方式收集反义词。汉语显示标记其实在中文文本当中还是用的很普遍，在1000W文本中，有超过半数的文本中包含以上模式。能够把显示事件图谱做好，感觉用处还是很多的。 +项目对中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件事件图谱的类型、表现形式进行了归纳，并结合复合事件模式与语料进行了实验。实验表明，反转事件，其实在某种程度上可以用来构造反义词词典，例如"不是A而是B"这种模式，可以得到很多反义的词或短语，可以用wordvector找相近词，可以靠这种方式收集反义词。汉语显示标记其实在中文文本当中还是用的很普遍，在1000W文本中，有超过半数的文本中包含以上模式。能够把显示事件图谱做好，感觉用处还是很多的。 # 三、常识逻辑推理 @@ -44,11 +44,12 @@ CognitiveInference，认知推理、常识知识库、常识推理与常识推 8、基于事理图谱的未来事件预测项目：EventPredictBasedOnEG(https://github.com/liuhuanyong/EventPredictBasedOnEG). -基于海量数据进行因果挖掘,可以得到大量的因果知识，基于因果逻辑库,即历史因果,通过计算当前事件与历史事件的相似性，可以在定性的方式上做出一些方向性的预测，方向上包括两种，一种是积极信号，另一种是消极信号，本项目主要是想完成这一目标．介绍了一个基于因果图谱的既定事件未来预测的接口预测demo。 +基于海量数据进行因果挖掘,可以得到大量的因果知识，基于因果逻辑库,即历史因果,通过计算当前事件与历史事件的相似性，可以在定性的方式上做出一些方向性的预测，方向上包括两种，一种是积极信号，另一种是消极信号，项目介绍了一个基于因果图谱的既定事件未来预测的接口预测demo。 9、学迹事理实时知识库终身学习项目：EventKGNELL(https://github.com/liuhuanyong/EventKGNELL). -事理图谱版Magi，EventKGNELL, event knowlege graph never end learning system, a event-centric knowledge base search system，一个7*24小时不断学习的实时事理学习与搜索平台，力图紧跟实时网络信息，面向公众提供以“事件”为核心的实时结构化知识搜索服务的实时事理逻辑知识库终身学习和事件为核心的知识库搜索项目，项目实现了包括事件概念抽取、事件因果逻辑抽取、事件数据关联推荐与推理， +事理图谱版Magi，EventKGNELL, eventuality knowlege graph never end learning system,一个7*24小时不断学习的实时事理学习与搜索平台，力图紧跟实时网络信息，面向公众提供以“事件”为核心的实时结构化知识搜索服务的实时事理逻辑知识库终身学习和事件为核心的知识库搜索项目，项目实现了包括事件概念抽取、事件因果逻辑抽取、事件数据关联推荐与推理， + 本项目对现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。