关键词： 入侵检测   机器学习   支持向量机   数据压缩   特征相关矩阵  

摘要： 入侵检测是一种用于检测计算机网络中入侵行为的信息安全技术,是网络信息安全主动防护技术的基石。针对目前越来越频繁出现的分布式、多目标、多阶段的组合式网络攻击事件,以及下一代互联网可能会出现的未知安全问题,要求提高入侵检测系统的检出效率和智能化的呼声也越来越高。机器学习方法是用于分类和预测的一类方法。近来也在入侵检测领域得到不同程度的应用,但这些方法对于诸如样本相关性大、重复训练样本多、训练时间长以及入侵样本标记困难等问题并没有得到很好的解决。 针对入侵检测特征数据中的重复或相似样本以及各特征参量之间可能存在的相关性,本文提出了一种集成主元分析和免疫聚类算法的特征数据压缩算法——PCA-IC。PCA-IC算法在不损失数据隐含的特征知识的前提下,进行数据压缩,以减少机器学习的样本数。PCA-IC算法先用基于主元分析方法,去除各特征参量之间的相关性,再用免疫聚类方法去除相似样本。在KDDCUP99入侵检测数据集上进行仿真实验,样本的压缩率达到89%。 误用入侵检测是对已知网络系统和应用软件的弱点进行入侵建模,从而对观测到的用户行为和资源使用情况进行模式匹配而达到检测的目的,属于多模式分类识别问题。针对普通多类支持向量机需要使用所有的两类分类器进行计算,重复训练样本多、速度慢、实时性差的问题,提出了一种快速的、带入侵优先级的二叉树结构支持向量机误用检测分类算法——BTPM-SVM。BTPM-SVM方法引入优先级的概念,将多个支持向量机按优先级构成不对称分级二叉树结构,每一级的SVM训练样本数目,随级数的增加而迅速减少,极大地减少了重复训练样本,提高训练速度。在KDDCUP99的误用入侵检测数据集上进行仿真试验,样本的识别率为96%,在相同数据量下节约57%的计算时间。 异常入侵检测是根据网络流量特征和主机审计记录等观测数据来区分系统的正常行为和异常行为。针对异常入侵检测中训练样本是未标定的不均衡数据集的情况,将其视为一个孤立点发现问题。提出了适用于孤立点检测的超球面One-class SVM的异常检测算法。在新墨西哥大学提供的“MIT lpr”系统调用数据集样本上进行仿真试验,在1001个异常样本中被正确识别1000个。 用户异常检测是对系统中一些合法用户的行为进行监察,以防止这些合法用户进行非授权操作,或者防止其他用户冒用这些合法用户的账号进行非法或恶意操作。采用相关出现矩阵的二维建模方法来模拟用户行为,同时针对样本维数庞大的特点,采用主元分析法进行样本的降维处理,再对处理的样本采用多分类支持向量机方法进行识别。通过SEA数据集进行性能测试,样本的识别率为80.4%。 为了实现IPv4网络向IPv6网络的顺利过渡,以保障下一代互联网安全有序的运转。基于上述算法,设计并实现一个基于机器学习技术的入侵检测原型系统——MLIDS。MLIDS原型系统在IPv4和IPv6环境下的仿真试验的检测率分别达到97%和98%,有较高的检测准确度,证明了所提出的BTPM-SVM和超球面One-class SVM算法的有效性和实用性。

关键词： 隐马尔可夫模型   隐马尔可夫支持向量机   剪接位点   识别   交叉验证  

摘要： 随着人类基因组计划的完成,完整地了解基因组功能,成为了后基因组时代的主要目标。为了实现这一目标,需要从一些局部的关键问题入手,真核基因剪接位点识别就是其中重要和关键的问题。真核基因剪接位点的识别是基因识别中的重要环节,要从大量的符合GT-AG规则的序列中识别出真实的剪接位点,从本质上看,这是一个分类的问题。由于在真核基因剪接位点的识别中引入了机器学习方法,剪接位点的识别率有了大幅度的提高。 真核基因剪接位点是真核细胞生物基因序列中外显子和内含子的相邻区域。如果能识别出真核基因序列中的剪接位点,则可以将基因中的表达区域和非表达区域区分开。为了对剪接位点取得更加精确的预测结果,本文采用HMM方法设计并构建剪接位点识别系统。该系统利用HM-SVM工作集最优化算法训练并优化HMM模型,依据剪接位点附近存在的序列保守性,高效地提取位点附近保守序列在边缘分布与条件分布上的统计特征。实验结果表明,该识别系统在用于剪接位点的识别中,较常用的机器学习方法,获得了更高识别率。

关键词： 机器学习   AFS模糊逻辑   层流冷却   案例推理   模糊规则提取  

摘要： 热轧带钢层流冷却过程是通过层流冷却装置将带钢按照工艺要求从终轧温度冷却到相变后的卷取温度，最终获得性能良好的热轧带钢产品。由于热轧带钢层流冷却过程具有强非线性、参数时变、工况变化频繁、以及冷却带钢的温度不能连续检测等综合复杂特性，给其过程建模与控制带来了很大的难度。在实际生产中，层流冷却过程控制对于提高产品质量和热轧冷却设备的安全可靠运行都具有重要的意义。 本文以国家重点基础研究发展计划973课题“复杂工业生产过程实时智能控制理论与算法研究”(2002CB312201)的子课题“基于数据的模糊规则提取方法及其应用研究”(2002CB312201-06)为背景，在AFS(Axiomatic Fuzzy Set)模糊逻辑系统框架内，借鉴经典机器学习算法，针对热轧带钢层流冷却过程中优化部分与建模部分的补偿控制器设计中存在的问题之一—PI参数的整定进行了深入的研究。 本文的具体内容如下： (1)第一章第一节介绍了所研究问题的实际工业背景，简述了热轧带钢层流冷却的含义和作用及热轧带钢层流冷却技术的研究现状和发展趋势;并详细介绍了本文中所研究的前馈和反馈补偿控制器的结构及其作用;第一章第二节介绍了机器学习及案例推理技术的发展现状及其应用研究状况。第二章介绍了AFS理论的基本思想和相关定义。 (2)第三章把AFS模糊逻辑和案例推理技术结合起来，提出了一种模糊案例推理算法，并把该算法运用到热轧带钢层流冷却过程优化部分的前馈和反馈补偿控制器的PI参数整定问题中，并利用实际工业过程中测得的优化部分输入输出数据对算法进行了实现。 (3)第四章中对第三章的模糊案例推理算法进行了改进，利用模糊聚类分析、属性格贴近度、逆向提取模糊规则、模糊规则简化等方法，提出了一种新的基于输入输出数据的模糊规则提取算法，并将该算法运用到热轧带钢层流冷却过程建模部分的反馈补偿控制器的P参数整定中，并利用实测的工业控制过程中的两组输入输出数据对该算法进行了实现。第五章介绍了东北大学自动化中心的层流冷却过程优化设定控制仿真实验平台，在加入反馈补偿控制器后的仿真实验结果：降低了带钢热轧时的卷曲温差，提高了控制效果。

关键词： 机器学习   电磁逆散射   BP神经网络   支持向量机   埋地目标  

关键词： SNMP   MIB   数据挖掘   分类  

摘要： 网络管理的目标是最大限度地增加网络的可用时间,提高网络设备的利用率、网络性能、服务质量和安全性,提供网络的长期规划。随着网络规模的不断扩大、用户的快速增长,以及日益复杂的攻击和病毒的影响,网络的管理和维护变得越来越重要,越来越困难。 传统网管软件使网络管理者能动态的观察网络中的设备状态及网络位置,但是无法得到各个设备间的故障关联,无法得到各个协议间的性能影响,同样无法发现隐藏的“软性”故障。这些“软”故障往往由网络攻击造成,并且慢性蔓延,往往在造成了实质性的网络瘫痪之前,已经潜伏了很长时间。如何能够在“软性”故障产生初期就能够发现,从而预测到之后实质性网络故障的发生,这对管理网络有重要的现实意义。 网管系统、入侵检测系统、防火墙等网络管理软件每天产生大量网络性能数据和告警。这些数据中有大量潜在的关于网络运行过程中,各个设备的性能数据,这些数据是网络性能的真实反映,隐含着网络各元素间关系的真实情况。基于这些数据而获得的知识对网络的性能分析和维护有重要意义。因此我们必须找出新的方法研究网络性能,而数据挖掘的方法对网络性能知识发现有非常重要的意义。如何将“事后”处理策略变为“事先”,如何能够预测到问题的出现,则是本课题研究的目的。 针对课题,论文主要侧重于通过对网络数据的收集和分析,选定适用的数据挖掘算法,并将分类算法具体应用为决策树算法,重点是解决挖掘方法的选择与多数据源的数据仓库的生成。通过对网络数据的分析,发现要达到预测网络故障的目的,仅仅采集传统网管数据是不够的,需要结合IDS和防火墙的其他针对网络攻击的告警数据。结合后的数据源,满足了系统的需求。在此基础上,研究了网络管理系统的体系结构和诊断方法,确定了模式分类所用到的各种运行数据信息。并且引入了一个改进的决策树算法C5,用这个算法作为数据挖掘的方法对故障信息进行分类。 文中第1章提出了现金网络管理中存在的问题以及基于数据挖掘技术的网络管理系统;第2章通过分析数据挖掘与网络管理技术的理论,提出不同发现模式对网络故障诊断预测的适应性问题,并给出答案,此为文中一个重点;通过前面的分析,第3章将发现方法定为分类方法的决策树算法,并且根据网络数据的特点,给出了关于网络风暴实例的决策树生成过程;文中的另一个重点是数据源的选择与数据仓库生成的问题,这在第4与第5.3节做了详细阐述;第5章主要是对系统实现框架的提出,和各个主要问题的说明;第6章搭建了实验环境并获得了预期的实验结果。

关键词： 支持向量学习机   机器学习方法   分子描述符   变量筛选   训练集设计   二氢叶酸还原酶抑制剂  

摘要： 本论文研究了机器学习方法在化合物的药物活性上,进行分类预测的应用。全文包括两个章节,第一章,叙述了支持向量学习机分类方法以及其它几种机器学习方法,用于分类建模的理论基础;第二章,主要是对方法的实际应用型研究,即机器学习分类方法在二氢叶酸还原酶抑制剂药物的活性分类预测中的运用。 在第一章中,首先对计算机辅助药物分子设计的发展背景及研究概况进行了介绍,并详细阐述了支持向量学习机、人工神经网络,调节性逻辑回归,和K-最临近等机器学习方法的理论基础;对在建模初期,分子几何结构的优化及相关软件进行了说明;概述了用来描述分子物理及化学性质的描述符的定义、名称以及分类;对用于训练集设计的Random Selection算法、Kohonen self-organising maps算法和Kennard-Stone算法,以及用于变量筛选的Metropolis Monte Carlo模拟退火方法和遗传算法进行了阐述;最后就模型好坏的评价标准进行了说明。 第二章主要是用机器学习方法对二氢叶酸还原酶抑制剂,进行了药物活性的分类预测。首先对已知活性的761个二氢叶酸还原酶抑制剂分子结构进行几何构型优化,在此结构基础上,计算了463个组成描述符和拓扑描述符,以此来表征化合物分子的物理及化学特征。在训练集设计时,使用了Kennard-Stone方法和Random方法,对其基础上建立模型的分类结果进行了比较,说明Kennard-Stone方法更适宜于构建模型。因此,在比较建模的机器学习方法时,就只使用了Kennard-Stone方法进行训练集的设计,构造好训练集以及测试集用于建模,并使用预测正确率来评估模型的预测能力。对于支持向量学习机、人工神经网络,调节性逻辑回归,和K-最临近等机器学习方法所建模型的预测结果进行对比,评定支持向量学习机建立的模型最优,有较好的预测结果,其总体预测正确率为89.01%。在此基础上,经过标准化和进行Metropolis Monte Carlo模拟退火算法的变量筛选,对描述符进一步处理,最终筛选出158个对预测结果影响较大的描述符。最终建立的模型的预测结果进一步得到改善,其总体预测正确率提高到了91.62%。说明了通过合适的训练集设计及变量选择,支持向量学习机方法可很好地用于二氢叶酸还原酶抑制剂的活性分类预测。 在二氢叶酸还原酶抑制剂的活性分类预测上,有较好结果的支持向量学习机方法,可通过训练集的设计和变量选择来改善模型。通过使用Kennard-Stone方法进行训练集的设计以及Metropolis Monte Carlo模拟退火方法进行变量筛选,可以有效的减少噪音变量,简化模型,使得模型得到优化,预测结果得到较为明显的提高。

关键词： 模式识别   生物信息   序列数据   分类预测   特征提取   相似度   线性降维   数字信号处理   互信息   决策树   膜蛋白   信号肽  

摘要： 序列数据是数据挖掘问题中一类特殊数据,广泛存在于社会生活各个领域,如何从这些复杂海量序列数据库中挖掘蕴含其中的有用信息是数据挖掘的新研究课题,具有重要理论意义和实际价值。本论文以蛋白质序列数据为例进行序列数据分类研究,亦为生物信息学中课题。 论文围绕蛋白质序列数据的分类预测这一主题,在综合众多序列数据分析算法的基础上,将序列特征分析归纳为两类主要方法,基于特征提取的方法和基于相似性模型的方法,由此将研究路线分为两条。一方面基于特征提取方法,分别针对膜蛋白及信号肽序列,根据序列各自特性提取相应特征进行分类。另一方面,基于相似性模型,提出基于全序列比对的相似度以预测信号肽,进而嵌入核空间提高预测稳定性,达到提取序列明确属性向量的目的,至此实现两条技术路线的统一。论文还进一步通过线性降维实现冗余及不相关维数约简及可视化。总的来说,本论文集中于蛋白质序列的分类预测研究,着重于以下几个创新点: （1）针对不同序列有区别有目的地提取序列特征生成属性向量,从而训练分类器并提供对新样本的预测。其中对于序列长度相对较长的膜蛋白序列,首先进行数值化编码生成时间序列,将其作为各样本以不同时间间隔抽样的离散信号,从而基于数字信号处理理论进行序列分析,避免了以往算法忽略序列次序信息的缺点。分析发现借助信号低频的幅度及相位信息,可以有效提取序列特征并可减少噪声带来的影响。实验结果表明这种基于频域的特征提取方法可以有效提取膜蛋白序列特征,以利于分类预测。 （2）在对序列长度相对小的信号肽序列预测时,采用滑动窗截断的方式将不等长序列转换为固定长度的序列片断,经过互信息分析发现其内部各位点间存在复杂的耦合作用,针对已有算法盲目定义这种耦合作用的情况,提出基于多决策树方式提取规则,并借助其识别信号肽及其断裂点。经实验证明这种处理方式在信号肽预测问题中可有效提高序列片断及信号肽剪切点的预测率。 （3）以相似性作为分类预测的基石,定义基于全序列比对的相似度预测信号肽,避免了采用滑动窗所带来的不平衡样本等诸多问题。通过分析此相似度的数学特性,详细证明其为一种度量。另外将其应用于信号肽预测中,在预测率及稳健性方面获得了良好效果,结果表明此相似度确实可以表征样本之间的相似关系,并为预测分类提供了良好的信息表示方式。提出的算法已经通过internet在网上提供相应使用服务,为扩大算法的使用范围提供了快速有效的途径。 （4）探讨非正定核的处理方法,在分析基于全序列比对的相似度与欧氏距离偏差基础上,提出基于全序列比对的非正定核算法,并应用于信号肽分类预测中;另一方面,在保证预测率的前提下,实现提取序列样本特征向量的目的,将问题重新化归于基于特征的模式识别问题。实验结果表明算法确实可以有效提取蛋白质序列特征,方便信号肽预测工作。 （5）针对线性降维中的“小样本问题”,充分利用类内离散度矩阵的空空间的特性,提出新的降维方法,且有效处理了小特征值导致的不稳定问题。信号肽预测工作中,在已经得到高维属性向量前提下,约简大量冗余和不相关属性,提高处理效率并实现了可视化的要求,取得了理想的效果。

关键词： 脑—机接口   脑电   空间滤波   机器学习   支持向量机  

摘要： 脑—机接口(Brain-computer interfaces，BCI)是在人脑与电子设备，例如计算机之间建立新型的直接交流通道，通过这种通道，人就可以通过大脑产生的信号来表达想法以便转换成为控制命令。因此这为瘫痪的病人提供了一种新的交流与控制方式，并将极大地增强患者控制外部环境的能力和提高他们的生活质量。脑—机接口技术是一种涉及神经科学、信号检测、信号处理、模式识别、控制理论等多学科的交叉技术。本文对脑—机接口技术中涉及的一些神经电生理现象进行了分析，并对其中信息技术部分所采用的机器学习方法进行了较为详细地应用研究以改进脑—机接口系统的性能。在此我们主要研究了以下三个方面的内容： (1)本论文首先基于支持向量机(support vector machines，SVM)提出了一种判别框架用于进行左右手运动想象任务的单次在线分类。其中，脑电信号中的时频信息采用Morlet小波函数从两个频段(μ和β节律)提取，然后采用基于支持向量机框架的方法进行判别信息的累积以便于预测使用者的意动方向。该方法有效地改善了单次在线分类的准确率和稳定性。(2)其次，在对手指运动的神经电生理活动分析的基础上，本论文发展了一种判别空间模式(discriminative spatial patterns，DSP)方法用于运动相关电位的提取，同时与共空间模式(common spatial patterns，CSP)方法一起用于左右手指自发运动任务时脑电信号特征的提取。结果表明组合的空间滤波方法能够有效地改善该任务下的分类效果。(3)最后，发展了一种基于直推式支持向量机(transductive support vector machines，TSVM)算法的学习方法用于脑—机接口的小训练集情况下分类，以减少使用者的训练时间。其中直推式支持向量机的优点在于可将无标签的数据加入到分类器的设计和训练过程中。在思维想象任务中的分类结果表明，该方法可以在保持分类准确率变化不大的情况下有效地减少训练集。

关键词： 环氧化酶-2抑制剂   分子描述符   机器学习方法  

摘要： 与传统的非甾体类消炎药相比,选择性环氧化酶-2抑制剂具有无胃肠道粘膜损伤,溃疡和肾功能障碍等严重的副作用,设计选择性环氧化酶-2抑制剂具有重要意义。本文用支持矢量学习机和神经网络两种机器学习方法建立选择性环氧化酶-2抑制剂的活性预测模型,以期为选择性环氧化酶-2抑制剂药物的合成提供先导化合物。我们将467个环氧化酶-2抑制剂用Kennard-Stone方法分为训练集,验证集和独立测试集,对每一抑制剂分子我们计算了463个包含组成描述符和拓扑描述符的分子描述符来表征其分子结构,并通过F-Score方法选取最重要的分子描述符用于分类模型的建立。结果表明,SVM方法通过变量筛选后具有很好的预测能力,其预测正确率达到93.30%。

关键词： 机器学习   神经网络   知识发现   数据挖掘  

摘要： 学习是人工智能研究中非常活跃且范围甚广的一个领域。学习研究的动因很多,最主要的动因在于让机器完成某些任务,从而使其在某些方面服务于人类。本文介绍了机器学习的定义和基本结构,阐述了各种机器学习方法,包括机械学习、归纳学习、类比学习、解释学习、基于神经网络的学习以及知识发现等。