一、BMP神经网络在句法分析中的运用（论文文献综述）
陈鸿彬[1]（2021）在《汉语句法分析中数据增强方法研究》文中进行了进一步梳理句法分析是自然语言处理中的一项基础核心技术,其目标是根据给定的语法理论,自动识别分析句子中各种成分之间的关系,最终得到句法树,在机器翻译等自然语言处理任务中有着广泛的应用。当前主流的神经网络句法分析模型依赖大规模标注数据,但是由于汉语不像英语有丰富的词性变化等表层信息来表示句法结构,导致汉语树库规模较小,人工标注成本高,短期内难以扩大。因此,如何利用现有的标注树库自动进行数据增强成为研究的焦点。在汉语句法分析的数据增强任务中,对于给定的标注树库,要求数据增强所生成的句子满足如下条件:第一,要求生成句具有多样化的句法结构,并保证其句法树结构的完整性;第二,要求生成句具有正确的句法结构标注;第三,生成句的语义要合理,即保证生成句符合语言表达的习惯。针对汉语句法分析中数据增强的这三个需求,本文工作和贡献总结如下:（1）提出基于词汇化树邻接语法的数据增强方法。词汇化树邻接语法是计算语言学中的一种重要形式语法,基于该语法可以在句法树之间进行“接插”和“替换”的操作,从而推导生成新的句法树,并且有语言学的知识保证其生成的句法树符合语法规则且具有正确的句法结构标注,能够很好地满足句法分析中数据增强的前两个需求。因此我们基于词汇化树邻接语法,设计实现词汇化树抽取算法与句法树合成算法。同时,我们分析总结汉语树库中相对英文树库所特有的一些表达方式和句法标注体系,在算法层面对词汇化树邻接语法进行“剪枝”优化,避免生成句引入过多的噪声。我们基于公开的数据集CTB5.1进行数据增强,并通过该方法基于原训练集的18k数据构建了338k的增强数据,最后进行小样本和鲁棒性的实验。在小样本的数据增强实验中,使用该方法得到的增强数据使依存句法分析模型和成分句法分析模型的精度分别提高1.4%和2.12%。在鲁棒性的实验中,我们人工挑选出86个生成句构建扩展测试集并进行实验。实验结果显示,使用数据增强后,依存句法分析模型和成分句法分析模型的精度分别提高1.02%和0.38%,说明该数据增强方法能够有效提高句法分析模型的鲁棒性。（2）提出基于语言模型的语义合理性评估方法。语言模型是一种基于概率的判别模型,即通过概率判断一个句子的语义合理性。因此针对句法分析中数据增强的第三个需求,本文提出利用语言模型对生成句进行语义合理性评估,从而筛选出语义合理的句子作为最终的增强数据。本文分别设计实现了n-gram语言模型与RNN神经网络语言模型,将词汇化树邻接语法所获得的338k个生成句筛选为105k和94k的数据规模,最后进行小样本和鲁棒性的实验。在小样本实验中,使用该方法得到的增强数据使依存句法分析模型和成分句法分析模型的精度提高1.6%和2.14%。同时,在鲁棒性实验中,依存句法分析模型和成分句法分析模型在扩展测试集中的精度分别提高1.43%和0.44%,表现出更好的鲁棒性。综上所述,针对当前汉语标注树库不足的现状和句法分析中数据增强的需求,我们提出基于词汇化树邻接语法的数据增强方法,并结合语言模型,基于当前18k的训练集分别构建了338k、105k和94k的增强数据,最后在公开的数据集上进行实验对比分析,实验结果表明,该方法能够有效提高当前神经网络汉语句法分析模型的性能和鲁棒性。
张立[2]（2021）在《基于深度学习的特定目标情感分类模型研究》文中研究说明特定目标情感分类是自然语言处理的重要研究方向之一,其旨在准确判别句子中目标实体的情感极性,由于目标实体的情感极性依赖于句子上下文语境中某些表达目标情感的情感特征词,通过挖掘目标实体与句子上下文的语义情感联系,从而找到与目标实体相关的情感特征词;虽然特定目标情感分类模型在过去的几十年研究中已经有了极大的发展,但仍存在无法充分挖掘目标实体与情感特征词的关联,以及准确判别包含多个目标的句子中的目标情感极性等一系列问题,所以依旧是一个极具挑战性的任务。为了准确判别句子中目标实体的情感极性,本文通过研究当前自然语言处理领域的方法,提出基于深度学习的特定目标情感分类模型,主要内容为:（1）提出基于目标特征融合的图卷积网络模型（Aspect-feature Fusion with Graph Convolutional Network,AFGCN）,该方法首先将句子输入至词嵌入层、Bi-LSTM层中进行上下文语义编码,得到句子的隐层向量表示;然后根据句子中词,离目标实体的不同距离,分别对词的隐层向量表示乘上相应的位置权重,从而达到距离较远的词其影响也越小的效果;由于目标作为一个实体名词,其情感倾向由句子中的情感特征词决定,其本身并不包含情感倾向,所以先将目标置为零向量,再使用图卷积网络,将与目标存在依存句法关系的词的隐层向量表示,填充至目标隐层向量中;然后再使用注意力机制在句子隐层向量表示中筛选关键信息,最后再与池化后的目标隐层向量拼接得到最后的结果。通过融合图卷积网络和注意力机制筛选出的关键信息,构建了更为准确的情感特征表示,从而提高了分类精度。（2）提出基于多目标依存建模的图卷积网络模型（model Multi-aspect Dependencies with Graph Convolutional Network,MDGCN）,模型首先对输入句子进行语义编码,再通过注意力机制对目标进行上下文语义编码;为了能够有效建模同一句子中多个目标之间存在的依存关系,提出根据句子的依存句法树构建多目标依存图,再根据多目标依存图使用图卷积网络对多个目标之间的依存性进行建模;最后,利用生成的目标表示进行情感分类。通过构建多目标依存图,获取了目标之间的依存关系,弥补了单一目标受限于句法依存树上的关联词而无法找到更有效的情感特征词的局限性,从而提高了分类精度。（3）在AFGCN网络模型的基础上,本文联合预训练语言模型以及对依存句法树进行改进,提出基于改进依存句法树与预训练语言模型的图卷积网络模型（AFGCN over Improved Dependency Tree and BERT,IBGCN）,首先根据句子的依存句法树,以目标为中心,重新设计面向目标的依存句法树（Aspect-oriented Dependency Tree,ADT）,针对每个目标生成其特有的依存句法树,从而充分利用了目标的特征,然后,为了增强模型的表达能力,同时拥有句子在特定语境下不同隐层表示的词向量,使用BERT作为词向量,使句子中每个词在高维空间中有更加准确且符合语境的隐层表示,从而提高了分类精度。
王宣皓[3]（2021）在《基于深度学习的智能问答模型研究》文中指出检索口语化文本或专业领域用语时,传统的搜索引擎已不能满足实际需求,随着深度学习技术的广泛应用,智能化的问答更能适应不同应用领域。智能问答是通过对文本深度语义信息的理解,在问题库中检索匹配度较高的知识信息,并将答复语句进行反馈的过程。面对现有的智能问答模型中存在的不足,本文在命名实体识别,文本分类和文本匹配任务上进行改进,从而提高智能问答结果的准确率。具体研究内容如下:首先,针对现有命名实体模型在面对复杂实体词汇边界划分不清的问题,本文提出了基于深度学习的命名实体模型,其融合了基于WoBert模型的词汇增强算法,使模型能够引入外部词汇信息,增强模型对词汇特征的理解,从而有效划分实体词汇边界和实体类别。在公开数据集上进行实验,选用由精确率、召回率的调和平均值F1作为模型评判指标,结果表明本模型F1值达到82.19%,比Bert-CRF模型效果提高了 7%。其次,面对复杂长文本语句时,基于深度学习的单层神经网络较难理解文本真实语义信息,因此本文提出基于自注意力机制多特征提取融合网络模型,其通过自注意力机制来理解文本语句在上下文结构中的依赖特征,使用深度卷积注意力叠加网络和基于注意力机制的双向门控组合网络分别对文本语义进行深度挖掘,然后将提取到的两种语义特征拼接为融合特征表示向量,通过使用Softmax分类器实现对文本特征的类别划分。经过在公开数据集上的对比实验,结果表明该模型F1值比CNN模型提高了 11.6%。然后,针对现有文本匹配模型效果不佳的问题,提出使用多层多特征提取融合的文本匹配模型。将文本匹配模型分为两层,一层为基于孪生Bert模型多特征提取融合的文本匹配模型,另一层为多特征融合的相似度算法。实现对问答库文本的层层筛选,深入理解文本真实语义,从而提升文本匹配效果。在公开数据集上对文本匹配模型进行实验测试,本文模型F1值高达70.75%,对多特征融合的相似度算法实验测试,结果表明多特征融合的文本相似度计算更加符合用户需求。最后,将智能问答模型应用于寻医问药智能问答系统中,实现与用户的真实信息交互,能够有效地理解专业领域知识,经过多组测试,得出问答准确率达到74%,从而验证了本文模型的可行性和有效性。
戴碧云[4]（2021）在《基于深度神经网络的成分句法分析》文中认为成分句法分析是在自然语言处理和语言学领域都有着广泛应用的重要问题,它的目的是根据短语结构语法从给定句子中提取出基于语法结构的解析树。近年来,应用深度神经网络编码器-解码器框架进行成分句法分析成为了研究热点。目前性能最好的深度神经网络成分句法分析器一般采用多头自我注意力编码器和全局或局部的解码器来显式地生成结构良好的树结构。但在其编码和解码的过程中仍然存在两个问题:1.多头自我注意力编码器结构的冗余且没有考虑时序位置信息;2.局部正则化的成分句法分析模型有着较差的鲁棒性,对输入噪声的抵抗能力比较弱。本文主要研究了基于深度神经网络的成分句法分析,针对上述存在的两个问题,主要工作可以概括为以下两点:1.提出了具有多位置上下文信息的自我注意力编码器的成分句法分析。具体来说,我们提出了一个成分句法分析的多维自我注意力编码器,其中使用了新型位置掩码来编码输入文本的时序和位置信息。我们的编码器抛弃了堆叠的结构,在成分句法分析的预测精度和时间效率上都优于复杂的Transformer编码器。在宾州树库的华尔街日报英文数据集上训练后,我们的解析器在华尔街日报测试集上达到了最优的95.91的F1得分;同时在SPMRL多语言数据集上,我们的解析器超过了 8种语言中7种的最优的结果。并且我们提出的编码器在文本分类任务上也取得了很好的效果。2.提出了基于对抗训练的鲁棒的局部成分句法分析。为了给训练样本增加输入噪声、增强鲁棒性,已有的成分句法分析模型通过扰动标签-结构空间将随机噪声引入到训练样本中。本文中我们通过对抗训练来引入系统噪声。我们建立了一个带有（p,q）-扰动策略的扰动系统,其中随机噪声和系统噪声分别以概率p和q扰动训练样本。通过将这个（p,q）-扰动策略合并到一个自我注意力编码器和一个贪心自顶向下的解码器中,我们提出了一种新的对抗成分句法分析模型来学习语法结构。我们的对抗成分句法分析模型在宾州树库上训练后,在华尔街日报测试集上取得了有竞争力的解析性能。此外,为了分析模型的鲁棒性,我们构建了迷你数据集并对其进行扰动,实验结果表明我们的对抗成分句法分析模型的鲁棒性得到了增强。
娄智雄[5]（2021）在《基于门控卷积网络的细粒度情感分析研究》文中提出文本细粒度情感分析作为自然语言处理领域中的一项重要任务,其研究目的在于从互联网中有价值的评论文本信息中挖掘诸如产品、服务、事件等细粒度元素,并对相关细粒度元素进行情感判别。目前细粒度情感分析已经广泛应用于社交网络、电商服务、舆情分析等方面,从中展现了它巨大的价值。近年来,深度学习的不断发展,为细粒度情感分析提供了 一系列的解决方案,虽然这些方案取得了不错的效果,但是在计算复杂性以及模型大小上都大大增加,使得情感分析的效率变低。特别是在如今具有海量评论数据的网络中,低效率的细粒度情感分析方案意味着时间成本急剧上升。鉴于门控卷积网络具有较高计算效率的特性,本文针对当前主流的方法存在的效率问题,提出基于门控卷积网络的改进细粒度情感分析算法。本文的主要工作如下:（1）研究如何提取评论文本中细粒度元素;由于循环神经网络、条件随机场此类主流方法存在计算效率偏低以及文本整体联系提取能力不强的问题,本文提出基于门控卷积网络的文本细粒度元素提取模型。另外,在细粒度元素抽取过程中经常会出现边界定位出错的问题,本文尝试通过指针网络进行span区间定位的方式解决该问题。（2）优化文本特征表示方法;目前文本特征表示方法是采用concat特征向量的方式直接进行相关语义的融合,但特征向量映射到特征空间并不统一,导致引入一些杂质信息。本文针对此问题,从情感词典、句法结构特征、位置编码等不同角度文本特征表示出发,采用多通道文本表示向量融合的方式抽取文本中所蕴含的语义信息。（3）研究如何快速对文本中提取的细粒度元素进行情感分析;当前大多数解决方案是基于预训练BERT模型或者递归神经网络,但这些方案计算复杂性高,效率低,使其无法进行快速地结果响应。于是本文结合研究工作2中的文本特征表示方法,提出门控交互膨胀卷积网络的细粒度情感分析模型,在保证准确率的同时,明显降低整个模型的在训练过程中的时间复杂度以及模型大小尺寸。为验证设计模型效果,本文采用公开的短文本评论数据SemEva12014作为数据集,设计不同的对比、消融实验,选择合适评价指标,用于判定最终的实验效果。结果表明,与主流使用的BERT预训练或者RNN网络的方式相比,本文模型在准确率、召回率上保持一定的竞争力,并且模型尺寸大小以及训练时间复杂度上优化明显。
邓钰[6]（2021）在《面向短文本的情感分析关键技术研究》文中研究指明社交网络和电子商务平台已变成庞大的公共信息集散地,海量信息数据的挖掘与价值赋能一直在进行。数据科学第四范式的提出,为深度学习在大数据和人工智能（Artificial Intelligence,AI）领域大显身手提供了理论基础,自然语言处理（Natural Language Processing,NLP）也深受其益,迅猛发展。利用海量互联网数据对人们的情感和观点进行分析,有着重要的科研价值和社会价值。NLP中的情感分析是最活跃的研究领域之一,已经从计算机科学扩展到管理学和社会学,如市场营销、金融、政治、历史甚至医疗。观点几乎是所有人类活动的核心,是影响人们行为的关键因素,如何利用NLP技术对主观意见文本进行情感分析,被越来越多的研究人员关注。在NLP中,不同于传统语义分析,情感分析更聚焦与观点有关的情感语义,包括文本情感极性分类问题等,需要更深层次的理解和建模。另外,社交网络文本和产品评论篇幅短,针对性强,往往包含更丰富的情感信息。相较于传统机器学习算法,深度学习不依赖人工构建特征,具有特征的自学习能力,非常适合语言文本的抽象、高维、复杂等特点。本文针对短文本情感分析问题,依据不同的任务阶段、场景和粒度,研究设计有效的深度学习解决方案。论文的主要工作和成果如下:1.提出了一种基于混合词嵌入的交互注意力网络（Hybrid Word Embedding Based Interactive Attention Network,HWE-IAN）,该模型主要解决传统词嵌入对文本情感语义表达不足,以及不同领域间语义鸿沟的问题。HWE-IAN利用预训练算法Bidirectional Encoder Representations from Transformers（BERT）对传统词嵌入的情感语义表征能力予以补充,在任务预处理阶段充分挖掘文本蕴含的情感语义信息;同时融入了词性信息、位置信息和n-gram信息等多种语义特征,使模型具有更加丰富的情感语义表达;模型还使用注意力机制让各类特征进行交互,抽象更深层次的上下文内部语义关联,以提升模型的情感分类性能。最后,在两个公开英文情感分类语料上进行实验,结果证明HWE-IAN模型优于其他对比模型,有效提高了情感分类性能。2.提出了一种多头注意力记忆网络（Memory Network based on Multi-head Attention,MAMN）,该模型解决了多头注意力机制和记忆力网络的性能瓶颈,进一步充分挖掘短文本蕴含的情感语义特征和上下文内联结构关系。MAMN模型利用n-gram特征和ON-LSTM网络对多头自注意力机制进行改进,以对文本内联关系进行更深层次的提取,使模型可以获得更丰富的文本特征信息;同时利用多头注意力机制对多跳记忆网络结构进行优化,以对短文本上下文内部语义结构进行有效建模,充分挖掘高层情感语义特征。最后在三个公开英文用户评论数据集上对模型进行实验评估,结果验证了MAMN在情感分类任务中的有效性,其分类性能优于CNN、LSTM和胶囊网络架构的其它基线任务模型。3.提出了一种结合多跳注意力的迁移胶囊网络（Transfer Capsule Network with Multi-hop Attention,MHA-TCap）,该模型针对特定领域中有标注训练数据稀缺的问题。同时,从面向领域类别的细粒度情感分类任务入手,MHA-TCap模型探究了小数据集上性能提升的方法。模型采用深度记忆力网络和胶囊网络构造迁移学习框架,有效借助胶囊网络的迁移学习特性,将相近领域大规模标注数据蕴含的知识迁移至目标领域,提升在小数据集上的分类性能。MHA-TCap使用多维组合特征弥补一维特征注意力机制的不足,而多个基于领域类别的注意力计算层进行叠加,可以获取更深层次针对特定领域的情感特征信息。实验在一个公开中文评论数据集（包含六类领域数据）上进行,结果不仅表明该模型具有良好的分类性能,还验证了其迁移学习能力,最后证明MHA-TCap对于更细粒度面向目标的情感分类任务也有很好的泛化能力。4.提出了一种基于注意力机制的混合胶囊网络（Attention-based Aspect-level Sentiment Capsule Network,ABASCap）,该模型主要针对面向目标（aspect）的细粒度情感分类问题,通过研究目标与上下文之间内部关联更合理的建模方式,更加有效的挖掘与目标有关的情感语义特征。模型使用改进的多头注意力机制对n-gram特征进行加工,以捕获文本内部结构以及目标与上下文之间的语义关联;定义了局部窗口大小（Local Context Window,LCW）来明确目标相关局部上下文区域,提出局部上下文掩码机制（Local Context Mask Mechnism,LCM）对其进行处理,并结合多头注意力机制对目标与局部上下文的强关联进行建模;采用胶囊网络生成最终的文本表征,并根据任务特点对路由算法和激活函数进行优化。最后在三个细粒度情感分类数据集上对模型进行评估,实验结果表明ABASCap模型的性能优于其他基线模型,在结合BERT之后性能提升更加显着,充分证明其在面向目标情感分类任务中的有效性。
赵雪峰[7]（2021）在《面向社交媒体的文本情感分析方法研究》文中提出随着社交媒体的飞速发展以及人工智能技术的逐渐落地,社交媒体中的文本情感分析技术已经成为自然语言处理领域中的研究热点。近年来随着深度学习方法在各个领域的成功应用和人们需求的日益增加,文本情感分析技术也越来越精细化、复杂化。本文主要研究社交媒体领域下,用户评论文本情感分析技术中的句子级情感分析任务和方面级情感分析任务。在句子级情感分析任务中,针对传统卷积神经网络和循环神经网络在文本情感分析领域对文本特征提取存在的语义丢失、无法识别文本关键词等问题进行改进,提出一种结合高斯自注意力机制的双通道文本特征提取模型。首先该模型利用改进的胶囊网络来提取更深层次的文本特征,然后使用双向长短期记忆网络提取双向的语义依赖最后加入高斯自注意力层得到输入信息对分类结果的注意力分布。在方面级情感分析任务中,首先提出了层次依存句法分析解决现有依存句法分析无法区分不同类型的依赖关系问题,针对现有方面级情感分析数据集规模和数据标注问题引入了预训练语言模型的同时挖掘句子深层语义,并将胶囊结构应用到图神经网络中改善卷积层过多造成的语义丢失问题,其次使用了双重图胶囊结构充分提取方面词和上下文的语义特征,并根据方面级情感分析任务中方面词和上下文长度关系提出了循环高斯注意力机制。实验部分,句子级情感分析任务选用社交媒体领域下的用户评论数据集,方面级情感分析任务选用SemEval2014数据集中的Laptop和Restaurant数据集,在以上数据集上均取得较高的准确率和F1值。实验结果表明,本文提出方法相较于其他模型具有更高的准确率。最后将本文方法嵌入到一个简要的情感分析系统中,测试结果表明具有一定的应用和实践价值。
陈雨龙,付乾坤,张岳[8]（2021）在《图神经网络在自然语言处理中的应用》文中提出近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述,首先介绍了图神经网络的核心思想并梳理了三种经典方法:图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。
杨陈菊[9]（2021）在《基于短语结构的汉语层次句法边界研究》文中提出近几年,随着人工智能技术的广泛应用,句法分析等深层自然语言分析的关注度越来越高。句法分析的主要任务是分析一个句子的构成,并使其可以转化成句法树。通过句法分析,可以解析一个句子的构成词块,词与词之间的关系,从而帮助机器理解自然语言,并运用于机器翻译、自动问答、文摘生成等语义理解领域中。句法分析是自然语言处理的一个经典任务,本文主要研究汉语层次句法分析中的边界问题。首先通过剖析短语结构的层次句法分析的层次性和汉语的结构特点,提出了一种把核心词作为词块的形式替换、层层进行词块组合的句法结构树。在句法边界分析的过程中,将词块识别和核心词提取分开进行,并对词块识别和词块的核心词提取方法分别进行探讨,并利用不同的模型进行了实验。具体如下:1.核心词提取。本文将词块核心词提取问题看作求词块中每个核心词的重要度的问题,然后取出重要度最高的词作为该词块的核心词。首先结合Word2Vec词向量改进Text Rank重要度排序算法,然后加入词语的相似度信息、位置信息、词性信息来提高识别准确度。2.词块识别。首先将词块识别看作一个标记序列识别的问题,然后分别使用双向长短期记忆模型（Bi-directional Long Short-Term Memory,Bi LSTM）、条件随机场（Conditional Random Field,CRF）、二者结合的模型（Bi LSTM+CRF）进行词块边界标记的识别。其中CRF能够学习输出标记序列结果的转移特征,学习预测序列相邻的标记搭配关系,达到预测标记序列联合解码的效果;Bi LSTM能够学习上下文特征,解决序列预测中的长依赖问题。Bi LSTM+CRF模型充分发挥了各自的优势,提高了序列的识别效果。在宾州中文树库（CTB8.0）语料上进行了所提出方法与基线方法的对比实验,并且对比了CRF、Bi LSTM、Bi LSTM+CRF词块识别分别与改进的Text Rank核心词提取方法组合的句法边界分析效果,以及各句长下每种模型的识别情况。结果表明,使用Bi LSTM+CRF联合改进的Text Rank识别效果最好,相比于基线LR方法F1值提升了6.58个百分点,整句正确率提升了3.68个百分点,验证了模型的有效性和稳定性。
李涛[10]（2020）在《威胁情报知识图谱构建与应用关键技术研究》文中研究指明网络威胁情报作为一种网络安全大数据,其本质是立足于攻击者视角对防御方所面临的潜在威胁信息进行汇总与分析,进而帮助防御者更好地提升网络安全防护能力。当前随着网络安全形势的日益严峻,网络威胁情报在整个网络安全防护过程中的价值愈发突显。知识图谱作为知识工程在大数据时代成功应用的典型代表,是人工智能研究领域的一个重要分支。知识图谱本质上是一种大规模语义网络,其以图结构的形式直观地表达客观世界中存在的各种概念、实体、属性及语义关系。知识图谱技术蕴含有两个显着特性:实现多源异构数据的关联融合;实现知识的精准化语义检索与智能化推理分析。知识图谱所具备的这些特性能够完美契合大数据挖掘与分析的技术需求,为此,当前知识图谱已发展成为一种大数据处理与数据挖掘的技术体系。本文将知识图谱技术应用于网络威胁情报领域,面向非结构化网络威胁情报数据,深入研究网络威胁情报知识图谱构建与应用过程中所涉及的关键技术,重点探索了面向非结构化网络威胁情报的知识抽取方法以及面向网络威胁情报知识图谱的知识推理方法,梳理了知识图谱在网络威胁情报领域应用的技术体系。本文主要工作如下:1.提出基于多特征融合的威胁情报实体抽取方法。构建网络威胁情报知识图谱,在从非结构化网络威胁情报中自动抽取威胁相关知识的过程中,威胁实体的抽取是一项基础任务,包括软件、恶意软件、漏洞、攻击工具、攻击模式等特定类别。针对当前基于神经网络的端到端实体抽取系统应用于网络威胁情报领域时,无法准确标注威胁情报实体类别及其边界的问题,提出了融合词特征、字符特征、实体边界特征以及实体词的上下文特征,将该研究问题建模为序列标注任务,基于深度学习模型和注意力机制设计编-解码框架,在更为准确地识别网络威胁情报实体的同时,提高模型训练速度。2.提出基于语义特征增强的网络威胁情报实体关系抽取方法。针对为威胁情报实体建立语义关联的问题,面向非结构化的网络威胁情报,融合实体间关联的全局语义特征和局部语义特征,并将关系抽取问题转化为威胁情报实体间的关系分类问题。考虑到端到端实体关系抽取系统在实体语义关系信息获取上的局限性,引入对抗学习机制以增强实体关系所表征的语义特征。在此基础上,将表征威胁情报实体关系的语义特征送入多分类器进行训练,得到监督学习下针对句子级网络威胁情报的实体关系抽取系统。3.提出融合对抗主动学习的网络威胁情报知识三元组抽取方法。针对句子级的威胁情报实体语义关系抽取系统在实践效率和重叠关系获取中所存在的问题,设计面向威胁情报实体和关系的联合抽取方案。引入一种新的联合标注策略,将实体和关系的联合抽取问题建模为一种序列标注任务,基于深度学习设计编-解码器框架,并引入动态注意力机制以更好地捕获序列中各个词间的依赖性。该方法可适用于段落级威胁情报实体-关系语义三元组的直接获取。此外,鉴于联合抽取方法缺乏标签数据,提出一种对抗主动学习算法,通过比较数据的语义相似性,选择待标注的训练样本,以较低的标注代价不断提升模型性能。4.提出混合强化学习和图卷积网络的威胁知识推理方法。针对面向威胁情报知识图谱进行语义检索无法直接获得隐式知识的问题,提出一种知识推理技术,旨在推理预测威胁情报实体间的隐含关系,实现关系推理。具体地,结合当前基于强化学习和图卷积网络在通用领域知识图谱知识推理中的实践,设计一种对抗学习机制,通过对抗训练同时增强基于强化学习的知识推理能力以及基于图卷积网络的关系路径编码能力,在此基础上,将其应用于威胁情报知识语义三元组,实现混合强化学习和图卷积网络的威胁知识推理系统。
二、BMP神经网络在句法分析中的运用（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、BMP神经网络在句法分析中的运用（论文提纲范文）
（1）汉语句法分析中数据增强方法研究（论文提纲范文）
| 致谢 |
| 摘要 |
| ABSTRACT |
| 1 引言 |
| 1.1 研究背景及意义 |
| 1.2 国内外相关研究 |
| 1.2.1 依存句法分析研究现状 |
| 1.2.2 成分句法分析研究现状 |
| 1.2.3 自然语言处理数据增强研究现状 |
| 1.3 研究内容和论文结构安排 |
| 2 相关理论与技术 |
| 2.1 句法分析概述 |
| 2.1.1 依存句法分析理论及评测方法 |
| 2.1.2 成分句法分析理论及评测方法 |
| 2.2 自然语言处理数据增强概述 |
| 2.3 基于编码-解码框架的神经网络模型概述 |
| 2.4 词汇化树邻接语法概述 |
| 2.5 本章小结 |
| 3 基于词汇化树邻接语法的数据增强方法 |
| 3.1 基于词汇化树邻接语法数据增强框架 |
| 3.2 词汇化树抽取算法 |
| 3.3 句法树合成算法 |
| 3.4 汉语词汇化树邻接语法优化 |
| 3.5 实验设计与设置 |
| 3.5.1 实验设计 |
| 3.5.2 实验数据 |
| 3.5.3 评测指标 |
| 3.5.4 模型训练细节 |
| 3.6 实验结果与分析 |
| 3.6.1 依存句法分析评测实验与结果分析 |
| 3.6.2 成分句法分析评测实验与结果分析 |
| 3.7 本章小结 |
| 4 基于语言模型的语义合理性评估方法 |
| 4.1 结合语言模型的数据增强方法 |
| 4.2 语言模型和评估指标 |
| 4.2.1 n-gram语言模型 |
| 4.2.2 RNN语言模型 |
| 4.2.3 语义合理性评估的指标 |
| 4.2.4 语义合理性评估方法 |
| 4.3 实验结果与分析 |
| 4.3.1 依存句法分析评测实验与结果分析 |
| 4.3.2 成分句法分析评测实验与结果分析 |
| 4.3.3 不同数据增强方法实验对比结果与分析 |
| 4.4 本章小结 |
| 5 结论与展望 |
| 参考文献 |
| 作者简历及攻读硕士学位期间取得的研究成果 |
| 学位论文数据集 |
（2）基于深度学习的特定目标情感分类模型研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 本文的主要工作 |
| 1.4 本文章节安排 |
| 1.5 本章小节 |
| 第二章 相关工作 |
| 2.1 深度学习 |
| 2.2 循环神经网络 |
| 2.2.1 长短期记忆网络 |
| 2.2.2 门控循环单元 |
| 2.3 注意力机制 |
| 2.3.1 Transformer |
| 2.4 图神经网络 |
| 2.4.1 依存句法分析 |
| 2.4.2 图卷积网络 |
| 2.4.3 图注意力网络 |
| 2.4.4 基于依存句法树的图卷积网络 |
| 2.5 实验数据集及评价指标介绍 |
| 2.5.1 实验数据集介绍 |
| 2.5.2 评价指标介绍 |
| 2.6 本章小结 |
| 第三章 基于目标特征融合的图卷积网络模型 |
| 3.1 引言 |
| 3.2 模型设计 |
| 3.2.1 输入层 |
| 3.2.2 Bi-LSTM层 |
| 3.2.3 位置权重层 |
| 3.2.4 图卷积网络 |
| 3.2.5 注意力机制 |
| 3.2.6 池化与拼接 |
| 3.2.7 输出层 |
| 3.2.8 模型训练 |
| 3.3 实验结果分析 |
| 3.3.1 实验设置 |
| 3.3.2 对比模型 |
| 3.3.3 结果与分析 |
| 3.3.4 消融研究 |
| 3.3.5 GCN层数影响 |
| 3.3.6 注意力可视化 |
| 3.3.7 对多目标句子的影响 |
| 3.4 本章小结 |
| 第四章 基于多目标依存建模的图卷积网络模型 |
| 4.1 引言 |
| 4.2 模型设计 |
| 4.2.1 多目标依存图 |
| 4.2.2 基于多目标依存图的图卷积网络 |
| 4.2.3 输出层 |
| 4.2.4 模型训练 |
| 4.3 实验结果分析 |
| 4.3.1 实验设置 |
| 4.3.2 对比模型 |
| 4.3.3 结果与分析 |
| 4.3.4 不同权重的边对情感分类的影响 |
| 4.3.5 不同权重的边对多目标句子的影响 |
| 4.3.6 MDGCN层数影响 |
| 4.3.7 注意力可视化 |
| 4.4 本章小结 |
| 第五章 基于改进依存句法树与预训练语言模型的图卷积网络模型 |
| 5.1 引言 |
| 5.2 模型设计 |
| 5.2.1 预训练语言模型 |
| 5.2.2 改进依存句法树 |
| 5.2.3 基于改进依存句法树的图卷积网络 |
| 5.2.4 输出层 |
| 5.2.5 模型训练 |
| 5.3 结果与分析 |
| 5.3.1 实验设置 |
| 5.3.2 对比模型 |
| 5.3.3 结果与分析 |
| 5.3.4 消融研究 |
| 5.3.5 不同权重的边对情感分类的影响 |
| 5.3.6 IBGCN层数影响 |
| 5.3.7 注意力可视化 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 工作展望 |
| 致谢 |
| 参考文献 |
| 附录: 作者在攻读硕士学位期间发表的论文 |
（3）基于深度学习的智能问答模型研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.2 智能问答模型研究现状及发展趋势 |
| 1.2.1 国内外研究现状 |
| 1.2.2 发展趋势 |
| 1.3 主要研究内容与研究路线 |
| 1.3.1 主要研究内容 |
| 1.3.2 研究路线 |
| 1.4 论文组织结构 |
| 2 智能问答相关理论与模型设计 |
| 2.1 命名实体识别 |
| 2.2 文本分类 |
| 2.3 文本匹配 |
| 2.4 深度学习网络 |
| 2.4.1 循环神经网络 |
| 2.4.2 文本卷积神经网络 |
| 2.4.3 注意力机制网络 |
| 2.4.4 Transformer网络 |
| 2.5 基于深度学习的智能问答模型设计 |
| 2.6 本章小结 |
| 3 基于词汇增强的命名实体识别模型 |
| 3.1 问题分析 |
| 3.2 数据集分析与预处理 |
| 3.3 基于词汇增强的命名实体识别模型整体架构 |
| 3.4 基于深度学习的命名实体模型层次结构 |
| 3.4.1 字特征表示层 |
| 3.4.2 特征提取层 |
| 3.4.3 CRF层 |
| 3.5 基于WoBert模型的词汇增强算法的设计 |
| 3.5.1 词汇增强与WoBert模型 |
| 3.5.2 基于WoBert模型的外部词汇表示计算 |
| 3.5.3 基于WoBert模型的字词特征融合策略 |
| 3.6 实验与结果分析 |
| 3.6.1 实验设置 |
| 3.6.2 评判方法 |
| 3.6.3 实验结果分析 |
| 3.7 本章小结 |
| 4 基于自注意力机制多特征提取融合的文本分类模型 |
| 4.1 问题分析 |
| 4.2 数据集分析与预处理 |
| 4.3 基于自注意力机制多特征提取融合的文本分类模型架构 |
| 4.4 基于深度学习的文本分类模型层次结构 |
| 4.4.1 特征提取层 |
| 4.4.2 分类器层 |
| 4.5 实验与结果分析 |
| 4.5.1 实验设置 |
| 4.5.2 实验结果分析 |
| 4.6 本章小结 |
| 5 基于多层多特征提取融合的文本匹配模型 |
| 5.1 问题分析 |
| 5.2 数据集分析与预处理 |
| 5.3 基于孪生Bert模型多特征提取融合的文本匹配模型架构 |
| 5.4 基于深度学习的文本匹配模型层次结构 |
| 5.4.1 特征交互层 |
| 5.4.2 特征提取层 |
| 5.4.3 特征划分层 |
| 5.5 文本多特征融合的相似度算法 |
| 5.5.1 文本多特征的相似度计算 |
| 5.5.2 文本多特征融合评判方案 |
| 5.6 实验与分析 |
| 5.6.1 实验设置 |
| 5.6.2 实验结果分析 |
| 5.7 本章小结 |
| 6 智能问答模型应用 |
| 6.1 寻医问药智能问答系统需求分析 |
| 6.2 寻医问药智能问答系统设计 |
| 6.2.1 系统体系结构设计 |
| 6.2.2 系统功能模块设计 |
| 6.2.3 系统数据库设计 |
| 6.3 寻医问药智能问答系统实现 |
| 6.3.1 开发环境搭建 |
| 6.3.2 系统功能模块实现 |
| 6.3.3 寻医问药智能问答系统主界面 |
| 6.4 寻医问药智能问答系统测试 |
| 6.5 本章小结 |
| 7 总结和展望 |
| 7.1 总结 |
| 7.2 展望 |
| 致谢 |
| 参考文献 |
| 附录 |
（4）基于深度神经网络的成分句法分析（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 研究背景 |
| 1.2 提出问题 |
| 1.2.1 成分句法分析 |
| 1.2.2 基于深度神经网络的成分句法分析 |
| 1.3 研究现状 |
| 1.3.1 传统成分句法分析 |
| 1.3.2 基于深度神经网络的成分句法分析 |
| 1.4 面临的挑战与研究动机 |
| 1.4.1 自我注意力编码器结构的冗余 |
| 1.4.2 局部成分句法分析器的鲁棒性 |
| 1.5 研究内容及主要贡献 |
| 1.5.1 多位置上下文信息的自我注意力编码器 |
| 1.5.2 (p,q)-扰动策略 |
| 1.6 本文组织结构安排 |
| 第2章 具有多位置上下文信息的自我注意力编码器的成分句法分析 |
| 2.1 引言 |
| 2.2 相关工作 |
| 2.2.1 基于自我注意力编码器的成分句法分析 |
| 2.2.2 具有位置时序信息的自我注意力 |
| 2.3 具有多位置上下文信息的自我注意力编码器的成分句法分析 |
| 2.3.1 输入和跨度表示 |
| 2.3.2 上下文自我注意力编码器 |
| 2.3.3 树得分和图表解码器 |
| 2.4 实验分析 |
| 2.4.1 数据集 |
| 2.4.2 实验设置 |
| 2.4.3 评价指标 |
| 2.4.4 基线模型 |
| 2.4.5 英文WSJ数据集实验结果 |
| 2.4.6 多语言SPMRL数据集实验结果 |
| 2.4.7 实验结果提升不足分析 |
| 2.5 本章小结 |
| 第3章 基于对抗训练的鲁棒的局部成分句法分析 |
| 3.1 引言 |
| 3.2 相关工作 |
| 3.2.1 曝光偏差问题 |
| 3.2.2 对抗样本和对抗训练 |
| 3.3 基于对抗训练的鲁棒的局部成分句法分析 |
| 3.3.1 输入词向量表示 |
| 3.3.2 多头自我注意力编码器 |
| 3.3.3 带探索的自顶向下的解码器(p-扰动) |
| 3.3.4 对抗边界训练(q-扰动) |
| 3.4 实验分析 |
| 3.4.1 数据集 |
| 3.4.2 实验设置 |
| 3.4.3 评价指标 |
| 3.4.4 基线模型 |
| 3.4.5 实验结果及分析 |
| 3.4.6 鲁棒性实例分析 |
| 3.4.7 实验结果提升不足分析 |
| 3.5 本章小结 |
| 第4章 总结与展望 |
| 4.1 主要工作与成果 |
| 4.2 工作展望 |
| 参考文献 |
| 致谢 |
| 在读期间发表的学术论文与取得的研究成果 |
（5）基于门控卷积网络的细粒度情感分析研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 课题研究背景及意义 |
| 1.2 课题国内外研究现状 |
| 1.2.1 细粒度元素提取任务研究现状 |
| 1.2.2 细粒度元素情感分析任务研究现状 |
| 1.3 论文主要研究内容 |
| 1.4 论文组织结构安排 |
| 第二章 相关理论与技术研究 |
| 2.1 词嵌入方法模型 |
| 2.1.1 词袋模型 |
| 2.1.2 Word2Vec模型 |
| 2.1.3 Glove模型 |
| 2.1.4 BERT预训练模型 |
| 2.2 神经网络模型 |
| 2.2.1 门控卷积网络 |
| 2.2.2 注意力机制 |
| 2.3 本章小结 |
| 第三章 基于双向门控卷积网络的细粒度元素提取 |
| 3.1 引言 |
| 3.1.1 面临问题 |
| 3.1.2 当前方法不足分析与本文方法提出 |
| 3.2 任务定义 |
| 3.3 基于双向门控卷积网络的细粒度元素提取模型BiGCN |
| 3.3.1 文本序列表示层 |
| 3.3.2 特征提取层 |
| 3.3.3 Span区间抽取层 |
| 3.3.4 输出层 |
| 3.4 实验设置 |
| 3.4.1 实验环境 |
| 3.4.2 实验数据集 |
| 3.4.3 实验评价指标 |
| 3.4.4 实验预处理与参数设置 |
| 3.4.5 实验基准模型 |
| 3.5 实验结果和分析 |
| 3.6 本章总结 |
| 第四章 多通道文本特征向量表示 |
| 4.1 引言 |
| 4.1.1 面临问题 |
| 4.1.2 先前方法不足分析与本文方法提出 |
| 4.2 多通道文本特征向量表示 |
| 4.2.1 位置特征向量层 |
| 4.2.2 情感特征向量层 |
| 4.2.3 句法结构特征向量层 |
| 4.3 本章小结 |
| 第五章 基于门控交互膨胀卷积网络的细粒度情感分析 |
| 5.1 引言 |
| 5.1.1 面临问题 |
| 5.1.2 当前方法不足分析与本文方法提出 |
| 5.2 任务定义 |
| 5.3 基于门控交互膨胀卷积网络的细粒度情感分析模型GIDCNN |
| 5.3.1 文本表示层 |
| 5.3.2 特征抽取层 |
| 5.3.3 连结层和输出层 |
| 5.4 实验分析 |
| 5.4.1 实验数据集和评测指标 |
| 5.4.2 实验预处理与参数设置 |
| 5.4.3 对比实验的基准模型 |
| 5.4.4 实验结果与分析 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文目录 |
（6）面向短文本的情感分析关键技术研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外相关研究进展 |
| 1.2.1 句级别文本情感分析 |
| 1.2.2 面向目标的情感分析 |
| 1.3 研究内容与创新点 |
| 1.3.1 主要研究内容 |
| 1.3.2 主要创新点 |
| 1.4 论文的组织结构 |
| 第二章 相关理论基础 |
| 2.1 词的向量表示 |
| 2.1.1 向量空间模型 |
| 2.1.2 语言模型 |
| 2.1.3 词嵌入 |
| 2.2 卷积神经网络 |
| 2.3 循环神经网络 |
| 2.4 注意力机制 |
| 2.5 分类评价指标 |
| 2.6 本章小结 |
| 第三章 基于混合词嵌入的交互注意力网络研究 |
| 3.1 引言 |
| 3.2 关键技术 |
| 3.3 网络模型设计 |
| 3.3.1 BERT基础模型 |
| 3.3.2 HWE-IAN网络模型 |
| 3.3.3 模型训练 |
| 3.4 实验设计与分析 |
| 3.4.1 实验数据 |
| 3.4.2 实验设置 |
| 3.4.3 词向量性能对比 |
| 3.4.4 模型性能对比 |
| 3.4.5 模型结构性能分析 |
| 3.5 本章小结 |
| 第四章 基于多头注意力的情感分析记忆网络研究 |
| 4.1 引言 |
| 4.2 关键技术 |
| 4.2.1 多头注意力机制 |
| 4.2.2 记忆力网络 |
| 4.3 网络模型设计 |
| 4.3.1 词嵌入层 |
| 4.3.2 特征提取层 |
| 4.3.3 注意力编码层 |
| 4.3.4 多跳记忆结构 |
| 4.3.5 预测输出层 |
| 4.3.6 模型训练 |
| 4.4 实验设计与分析 |
| 4.4.1 实验数据 |
| 4.4.2 实验设置 |
| 4.4.3 模型性能对比 |
| 4.4.4 多头注意力结构性能分析 |
| 4.4.5 多跳结构性能分析 |
| 4.4.6 实际场景应用分析 |
| 4.5 本章小结 |
| 第五章 用于领域情感分析的迁移胶囊网络研究 |
| 5.1 引言 |
| 5.2 关键技术 |
| 5.2.1 迁移学习 |
| 5.2.2 胶囊网络 |
| 5.3 网络模型设计 |
| 5.3.1 多跳注意力卷积网络 |
| 5.3.2 迁移学习胶囊网络 |
| 5.4 实验设计及分析 |
| 5.4.1 实验数据 |
| 5.4.2 实验设置 |
| 5.4.3 模型性能对比 |
| 5.4.4 多跳与窗口选择 |
| 5.4.5 迁移学习性能测试 |
| 5.4.6 迁移学习扩展实验 |
| 5.5 本章小结 |
| 第六章 用于细粒度情感分析的混合胶囊网络研究 |
| 6.1 引言 |
| 6.2 任务定义 |
| 6.3 网络模型设计 |
| 6.3.1 词嵌入层 |
| 6.3.2 特征提取层 |
| 6.3.3 注意力编码层 |
| 6.3.4 初级胶囊层 |
| 6.3.5 分类胶囊层 |
| 6.3.6 模型训练 |
| 6.4 实验设计及分析 |
| 6.4.1 实验数据 |
| 6.4.2 实验设置 |
| 6.4.3 模型性能对比 |
| 6.4.4 模型结构性能分析 |
| 6.4.5 局部上下文窗口设置分析 |
| 6.5 本章小结 |
| 第七章 总结与展望 |
| 7.1 本文工作总结 |
| 7.2 后续工作展望 |
| 致谢 |
| 参考文献 |
| 攻读博士学位期间取得的成果 |
（7）面向社交媒体的文本情感分析方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1. 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 文本情感分析研究现状 |
| 1.2.2 方面情感分析研究现状 |
| 1.3 论文主要内容及创新 |
| 1.4 论文结构安排 |
| 1.5 本章小结 |
| 2. 文本情感分析相关技术 |
| 2.1 文本预处理 |
| 2.2 文本向量化表示 |
| 2.2.1 基于静态词向量的表示模型 |
| 2.2.2 基于动态词向量的表示模型 |
| 2.3 神经网络模型 |
| 2.3.1 循环神经网络 |
| 2.3.2 长短时记忆网络 |
| 2.3.3 卷积神经网络 |
| 2.3.4 胶囊网络 |
| 2.4 注意力机制 |
| 2.5 图神经网络 |
| 2.6 本章小结 |
| 3. 基于胶囊网络和高斯注意力的句子情感分析方法 |
| 3.1 引言 |
| 3.2 胶囊网络 |
| 3.3 LSTM和Bi-LSTM |
| 3.4 高斯自注意力机制 |
| 3.5 实验验证与分析 |
| 3.5.1 实验数据 |
| 3.5.2 参数设置 |
| 3.5.3 评价标准 |
| 3.5.4 实验结果与分析 |
| 3.6 本章小结 |
| 4. 基于BERT及图胶班网络的方面级情感分析方法 |
| 4.1 引言 |
| 4.2 模型介绍 |
| 4.3 文本图构建 |
| 4.4 预训练语言模型 |
| 4.5 图胶囊网络 |
| 4.5.1 主胶囊 |
| 4.5.2 图胶囊 |
| 4.5.3 分类胶囊 |
| 4.6 循环高斯注意力 |
| 4.7 实验验证与分析 |
| 4.7.1 数据集和评价指标 |
| 4.7.2 实验参数设置 |
| 4.7.3 实验结果 |
| 4.7.4 消融分析 |
| 4.8 本章小节 |
| 5. 用户评论情感分析系统的设计与实现 |
| 5.1 用户评论情感分析系统需求分析 |
| 5.1.1 系统概述 |
| 5.1.2 功能性需求分析 |
| 5.1.3 非功能性需求分析 |
| 5.2 系统详细设计 |
| 5.2.1 系统整体架构设计 |
| 5.2.2 系统业务流程设计 |
| 5.2.3 系统数据库设计 |
| 5.2.4 系统模块设计 |
| 5.3 系统实现 |
| 5.4 系统测试 |
| 5.5 本章小节 |
| 结论 |
| 参考文献 |
| 攻读学位期间发表的学术论文 |
| 致谢 |
| 附件 |
（8）图神经网络在自然语言处理中的应用（论文提纲范文）
| 0 引言 |
| 1 图神经网络的基本概念 |
| 1.1 图神经网络(Graph Neural Network, GNN)的基本思路 |
| 1.2 图循环神经网络(Graph Recurrent Neural Network, GRN) |
| 1.2.1 无向图的消息计算 |
| 1.2.2 有向图的消息计算 |
| 1.2.3 消息传递中隐含状态的计算 |
| 1.3 图卷积神经网络(Graph Convolutional Neural Network, GCN) |
| 1.3.1 区分不同边标签 |
| 1.3.2 添加控制门 |
| 1.3.3 与GRN的比较 |
| 1.4 图注意力神经网络(Graph Attention Neural Network, GAT) |
| 1.5 图神经网络与序列、树神经网络之间的关系 |
| 2 图神经网络的应用 |
| 2.1 阅读理解(Reading Comprehension) |
| 2.2 信息抽取(Information Extraction) |
| 2.3 机器翻译(Machine Translation) |
| 2.4 其他领域应用 |
| 2.4.1 词嵌入表示 |
| 2.4.2 文本表示 |
| 2.4.3 情感分析 |
| 2.4.4 社交文本分类 |
| 2.4.5 句法分析 |
| 2.4.6 语义角色标注 |
| 2.4.7 文本生成 |
| 3 总结 |
（9）基于短语结构的汉语层次句法边界研究（论文提纲范文）
| 摘要 |
| Abstract |
| 符号说明 |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 句法分析的研究现状 |
| 1.2.2 词块分析研究现状 |
| 1.2.3 核心词提取研究现状 |
| 1.3 主要工作及创新点 |
| 1.3.1 主要研究内容 |
| 1.3.2 主要创新点 |
| 1.4 本文主要结构 |
| 1.5 本章小结 |
| 第二章 汉语层次句法边界分析技术研究 |
| 2.1 汉语结构特征 |
| 2.2 句法分析分类 |
| 2.3 层次句法边界分析方法 |
| 2.4 词块识别技术 |
| 2.5 词块核心词提取技术 |
| 2.6 本章小结 |
| 第三章 词块核心词提取 |
| 3.1 传统TextRank提取方法 |
| 3.2 TextRank方法的改进 |
| 3.2.1 迭代式 |
| 3.2.2 特征点 |
| 3.3 模型算法描述 |
| 3.4 实验分析 |
| 3.4.1 数据集 |
| 3.4.2 实验设计 |
| 3.4.3 评价指标 |
| 3.4.4 实验结果及分析 |
| 3.5 本章小结 |
| 第四章 句法边界识别研究 |
| 4.1 词块识别研究 |
| 4.1.1 CRF词块识别模型 |
| 4.1.2 BiLSTM词块识别模型 |
| 4.1.3 BiLSTM+CRF词块识别模型 |
| 4.2 层次句法边界识别流程 |
| 4.3 实验分析 |
| 4.3.1 数据集 |
| 4.3.2 实验设置 |
| 4.3.3 评价指标 |
| 4.3.4 实验结果及分析 |
| 4.3.5 性能对比 |
| 4.4 本章小结 |
| 第五章 总结与展望 |
| 5.1 本文总结 |
| 5.2 展望 |
| 致谢 |
| 参考文献 |
| 附录A(攻读学位其间发表论文目录) |
（10）威胁情报知识图谱构建与应用关键技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 威胁情报发展现状 |
| 1.2.2 知识图谱发展现状 |
| 1.2.3 威胁语义建模研究现状 |
| 1.3 研究内容 |
| 1.3.1 面向威胁情报的知识图谱研究框架 |
| 1.3.2 本文研究内容 |
| 1.4 论文组织结构 |
| 第二章 基于多特征融合的威胁情报实体抽取方法 |
| 2.1 引言 |
| 2.2 相关工作 |
| 2.3 方法描述 |
| 2.3.1 模型架构 |
| 2.3.2 输入特征表示层 |
| 2.3.3 Bi LSTM特征编码层 |
| 2.3.4 自注意力机制 |
| 2.3.5 实体边界特征获取 |
| 2.3.6 实体上下文特征获取 |
| 2.3.7 LSTM解码层 |
| 2.4 实验结果与分析 |
| 2.4.1 实验设置 |
| 2.4.2 结果对比与分析 |
| 2.5 小结 |
| 第三章 基于语义特征增强的威胁情报实体关系抽取方法 |
| 3.1 引言 |
| 3.2 相关工作 |
| 3.3 方法描述 |
| 3.3.1 模型整体架构 |
| 3.3.2 输入特征表示层 |
| 3.3.3 BiGRU全局语义特征抽取 |
| 3.3.4 DGRU局部语义特征抽取 |
| 3.3.5 基于语义特征融合的依存注意力 |
| 3.3.6 基于对抗学习的语义特征增强 |
| 3.4 实验结果与分析 |
| 3.4.1 实验设置 |
| 3.4.2 结果对比分析 |
| 3.5 小结 |
| 第四章 融合对抗主动学习的威胁情报知识三元组抽取方法 |
| 4.1 引言 |
| 4.2 相关工作 |
| 4.3 方法描述 |
| 4.3.1 模型架构 |
| 4.3.2 标注策略及匹配规则 |
| 4.3.3 表示层和Bi LSTM特征编码层 |
| 4.3.4 动态注意力机制 |
| 4.3.5 LSTM解码层 |
| 4.3.6 对抗主动学习 |
| 4.4 实验结果与分析 |
| 4.4.1 实验设置 |
| 4.4.2 序列标注模型性能对比实验 |
| 4.4.3 三元组抽取方法对比 |
| 4.4.4 三元组抽取实例分析 |
| 4.4.5 对抗主动学习算法性能评估 |
| 4.5 小结 |
| 第五章 基于混合强化学习和图卷积网络的威胁知识推理方法 |
| 5.1 引言 |
| 5.2 相关工作 |
| 5.3 方法描述 |
| 5.3.1 模型架构 |
| 5.3.2 强化学习推理 |
| 5.3.3 图卷积网络推理 |
| 5.3.4 对抗学习过程 |
| 5.4 实验结果与分析 |
| 5.4.1 实验设置 |
| 5.4.2 结果对比分析 |
| 5.5 小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 致谢 |
| 参考文献 |
| 作者简历 |
四、BMP神经网络在句法分析中的运用（论文参考文献）
- [1]汉语句法分析中数据增强方法研究[D]. 陈鸿彬. 北京交通大学, 2021(02)
- [2]基于深度学习的特定目标情感分类模型研究[D]. 张立. 江南大学, 2021(01)
- [3]基于深度学习的智能问答模型研究[D]. 王宣皓. 西安科技大学, 2021(02)
- [4]基于深度神经网络的成分句法分析[D]. 戴碧云. 中国科学技术大学, 2021(08)
- [5]基于门控卷积网络的细粒度情感分析研究[D]. 娄智雄. 北京邮电大学, 2021(01)
- [6]面向短文本的情感分析关键技术研究[D]. 邓钰. 电子科技大学, 2021(01)
- [7]面向社交媒体的文本情感分析方法研究[D]. 赵雪峰. 东北林业大学, 2021(08)
- [8]图神经网络在自然语言处理中的应用[J]. 陈雨龙,付乾坤,张岳. 中文信息学报, 2021(03)
- [9]基于短语结构的汉语层次句法边界研究[D]. 杨陈菊. 昆明理工大学, 2021(01)
- [10]威胁情报知识图谱构建与应用关键技术研究[D]. 李涛. 战略支援部队信息工程大学, 2020(03)