关键词： 支持向量机   核函数   微分近似   再生核函数   超椭球坐标变换核   泛化能力   Epanechnikov混合模型   多维隶属度函数   规则中心化模糊系统   鲁棒性   不确定的高斯混合模型   二型模糊系统   期望最大化  

摘要： 机器学习是现代智能技术中十分重要的一个方面,主要研究如何从观测数据出发得出目前尚不能通过原理分析得到的规律,利用这些规律去分析客观现象,对未来数据或无法观测的数据进行预测。简单地说就是用计算机来模拟人的学习能力,以达到自动获取知识的目的。有三类基本的机器学习问题,它们分别是模式识别、函数逼近以及概率密度估计。在过去十几年的时间里,基于支持向量机和模糊系统的机器学习方法及其应用得到了广泛研究和迅猛发展,并在信号处理、智能控制、模式识别、系统辨识、生物信息学、医疗和行为科学及商业等领域取得了丰硕的成果。 本文针对基于支持向量机和模糊系统的机器学习方法中的几个问题进行了研究,包括支持向量机的学习速度、支持向量机的泛化能力、一型和二型模糊系统的可解释性以及一型和二型模糊系统跟概率理论和微积分理论的结合。本文的创造性研究成果主要有: （1）利用微分逼近理论提出了一种改进核函数的方法:将原来的核函数乘以一个融入数据信息的正定函数。改进后的核函数增大了分类间隔,改善了支持向量机的性能。实验结果表明改进后的核函数不但提高了分类精度,而且具有很少的支持向量,从而加快了学习速度。 （2）利用再生核理论提出了一类新的核函数——再生核核函数。这类新核函数是再生核空间的再生核。由于再生核核函数兼具多项式核函数和高斯核函数的优点,所以它不仅具有良好的全局性质,而且还具有很强的内推能力。 （3）利用超椭球面坐标变换公式构造出了一类核函数——同维映射超椭球坐标变换核。由于是同维映射,而且增大了分类间隔,所以支持向量机的性能得到了很大改善。对人工数据集和标准数据集的实验结果表明,使用坐标变换核的支持向量机学习速度快,推广能力强。 （4） Epanechnikov混合模型和Mamdani-Larsen（abbr. ML）模糊系统之间的对应关系被建立:任何一个Epanechnikov混合模型都唯一对应着一个Mamdani-Larsen模糊系统,在一定条件下,Epanechnikov混合模型的条件均值和Mamdani-Larsen模糊模型的输出是等价的。因此可用概率的方法来设计Mamdani-Larsen模糊系统,如期望最大化算法等。将设计的模糊系统应用于时间序列预测,仿真结果表明:利用概率方法设计的Mamdani-Larsen模糊系统精度高,抗噪性强。 （5）基于广义Epanechnikov混合模型提出了一种新的模糊系统——具有多维隶属度函数的规则中心化模糊系统。Epanechnikov混合模型的条件期望输出恰好是规则中心化模糊系统的去模糊化输出。因此可以从概率的角度解释模糊系统,反之亦然,即在概率和模糊之间搭建起了一座桥梁。模糊系统的规则后件恰好是其输出在规则中心的一阶Taylor级数展开式,所以模糊系统具有高度解释性且将模糊理论和微分理论相结合;采用的多维隶属度函数考虑了数据间的相关性,因此模糊系统更符合实际。将该系统应用于时间序列和动态系统预测,不但精度高、速度快,而且有很好的鲁棒性。 （6）建立了不确定的高斯混合模型和具有可加性的二型Takagi-Sugeno-Kang （TSK）模糊系统之间的对应关系:任何一个不确定的高斯混合模型都唯一对应着一个二型模糊系统,不确定高斯混合模型的条件均值和二型模糊系统的去模糊化输出是等价的。因此可以从概率的角度解释、研究和训练二型模糊系统。这种新颖的训练方法提高了二型模糊系统的精度和抗噪性。不同类型数据的实验结果表明了该模型的优良性能。 （7）针对模糊系统缺乏优化结构的辨识方法的问题,提出了一种新颖的基于再生核空间理论的模糊系统。该模糊系统的结构辨识算法由再生核函数的的逼近性质给出,简单易处理;并且参数学习只涉及前件的学习,降低了系统的复杂度。仿真结果验证了这种模糊系统及其结构辨识算法的有效性。

关键词： 机器学习   目标跟踪   区域可信度   RoboCup   视觉决策  

摘要： 机器学习是当前涉及人工智能、机器人学、人工神经网络等学科的一个非常活跃的研究与应用课题,在工业、医疗、军事、体育等行业都具有很好的应用前景,将成为对社会发展产生深远影响的关键技术。 机器学习的方法有很多,常见的学习算法有强化学习算法、人工神经网络算法、贝叶斯学习算法、决策树学习算法等。高效和快速训练出适应性较强的结果,是机器学习的重点和难点。出于对反应快、效率高、适应性好的考虑,本文提出了一种基于价值的学习方法并将此方法应用到了RoboCup2D平台中取得的很好的效果,主要的工作如下: (1)提出并解释了一种新的学习方法——基于价值的机器学习方法LBA(Learning based on Axiology)。LBA是根据人类价值观的思维方式被设计出来的,首先将世界模型(worldmodel)分为若干因素(factor)的组合,将这些因素与某种决策行为组合通过价值观修正函数产生出价值。然后通过价值的大小来取舍行为。 (2)阐述了一种实用性很高的目标跟踪法——基于无关区域排除的目标跟踪EIA(Target Trace Algorithm based on Excluding Irrespective Area)。EIA是一种基于行为概率的目标跟踪。它定义了目标Agent的可信度(Agent Confidence)和区域可信度(Area Confidence)并通过比较两者的差异来更精确的对目标进行跟踪和定位。 (3)把价值学习和无关区域目标跟踪结合应用到RoboCup2D中,设计并实现了出一个基于视觉的决策模型。经过大量的实验,从对场上动态物体的定位精度、传球成功率、决策行为匹配度和比赛成绩四个方面证明了该视觉决策模型的有效性。

关键词： 有监督   词义消歧   机器学习方法   多分类器融合   bootstrapping  

摘要： 词义消歧在自然语言处理的许多应用领域中具有重要的理论和实践意义,是一个影响着自然语言处理领域中许多其他应用问题的“中间问题”,在机器翻译、信息检索、主题内容分析和文本处理,以及句法分析等领域起着很重要的作用。当前主要有两种方法进行词义消歧,第一种是基于词典的方法,第二种是基于语料库的方法。第一种方法需要语言学知识,第二种方法使用统计学和机器学习方法,从大量的样本中推导出语言使用模型。大量样本组成的语料库根据情况又分为已人工标注过的和未人工标注过的,根据使用的语料不同,第二种方法又分为有监督和无监督方法。在四次词义消歧的国际比赛中,有监督的词义消歧方法往往能获得最好的词义消歧结果。 本文采用有监督方法进行词义消歧,使用多种机器学习方法从上下文中提取不同的信息来构建分类器。对这些分类器进行性能分析,综合这些单分类器的输出结果,通过不同的组合算法构建多分类器系统。实验结果表明多分类器融合能有效地提高分类性能。 有监督的词义消歧的优点是分类的准确率比较高,但与此对应的是需要人工标注的语料库,传统的有监督词义消歧往往只能限定在某些词语上,未能推广。本文采用了一种bootstrapping方法,自动的从网上获得包含歧义词的句子。通过对这些句子进行语义标注,构建出有标注的语料库。通过这种自动获得语料的方法,可以将有监督的方法推广开来。

关键词： 机器学习   蛋白质   相互作用位点   支持向量机  

摘要： 蛋白质的功能常体现在生物大分子的相互作用中,识别蛋白质相互作用位点对于研究蛋白质功能发挥着重要作用。研究蛋白质的功能还需要深入了解它的结构,因为结构决定功能,有什么样的结构必定有什么样的功能。生命的功能和结构,二者是统一的。通过实验方法确定蛋白质相互作用位点和蛋白质的结构类型,费时、费力、费财,且实验中可能还会遇到一些目前无法解决的困难,因此利用理论及计算方法来研究蛋白质相互作用位点、蛋白质结构类型具有重要意义。有鉴于此,本文基于支持向量机(SVM)、BP神经网络两种机器学习方法,研究了与蛋白质功能息息相关的两个方面——蛋白质相互作用位点预测和蛋白质二级结构预测。主要工作如下:　　1.基于支持向量机的蛋白质相互作用位点预测从蛋白质一级序列出发,给出一种以序列上相邻残基的序列谱和信息熵的组合为输入特征向量、以支持向量机为分类器,来预测蛋白质相互作用位点的方法。本文提取出2种特征向量——序列上相邻的序谱、序列上相邻的序列谱及信息熵的组合,分别形成3种不同大小的滑动窗口(Win3、Win7、Win11),构成输入特征向量,采用“留一法”形成训练数据集和测试数据集,使用支持向量机分类器预测测试集中的表面残基是否是蛋白质相互作用位点,得到了较好的结果,说明了实验方法的有效性。最后,采用可视化软件对蛋白质相互作用位点进行了定位。实验结果表明:　　(1)在两种输入特征向量下的各种评价指标中,对于不同大小的信息窗,采用序列上相邻的序列谱与信息熵的组合作输入特征向量得到的结果,基本高于仅用序列上相邻的序列谱作输入特征向量的结果。这说明,在残基序列谱和信息熵这两个特征中所包含的信息可以互补,且这种互补性对蛋白质相互作用位点的预测是有益的。同时对于相同大小的信息窗,采用以上两种输入特征向量所耗费的运行时间相差无几。　　(2)在两种输入特征向量下的分类正确率(Accuracy),Win7、Win11的平均Accuracy较Win3都有不同程度的提高。对于仅用序列谱作输入特征向量而言,Win3、Win7、Win11的平均Accuracy随窗口的增大而提高。　　(3)对于用序列谱与信息熵的组合作为输入特征而言,Win7所得的各种评价指标的值均最高,这说明并不是目标残基的相邻残基越多,支持向量机对其分类精确度就越高,目标残基与其相邻残基之间还存在一定的融合问题。　　2.基于BP神经网络的蛋白质二级结构预测提取46个蛋白质复合物的非同源单链作为数据集,分别采用5位编码和Profile编码作为输入特征向量,通过不同大小的滑动窗口(Win3、Win5、Win9),对蛋白质二级结构进行预测。实验结果显示,富含“生物进化信息”的Profile编码有着明显的优势,各种精确度均得到了较好的结果,尤其是精确度QE明显高于5位编码的QE。这说明虽然Profile编码较为复杂,但由于它富含“生物进化信息”,因而相对5位编码方式更适合于一致性较低的蛋白质二级结构的预测。

关键词： 网络流量分类   特征选择   机器学习   特征距离   遗传算法  

摘要： 随着互联网络的日益发展和普及,网络流量数据正以惊人的速度增长,它在给人们带来方便的同时,也面临着如何有效地对这些海量数据进行分析,以提高互联网络服务质量以及促进互联网更快、更好的发展。这篇论文主要研究基于机器学习方法的网络流量分类以及相关技术。包括网络流量数据采集、特征产生、样本标识、特征选择,以及应用机器学习方法对网络流进行分类等技术。 在基于机器学习方法的网络流量分类研究中,网络流量样本,包括训练样本、测试样本的获取是非常重要的一步。首先我们通过Sniffer的方法捕获网络报文,然后将采集到的报文按五元组进行分类为流,再结合Packet-Level和Flowevel两个层面上的信息,在报文属性(大小、个数、时间、标志位)、流的属性(时间)上做了认真的分析和研究,产生了37个网络流量统计特征,形成了表示网络流的特征向量。在网络流量样本的标识上我们结合了基于端口、基于有效载荷,协议分解等多种方法,实现了样本的自动标识系统,标识的正确率高。 在特征选择方面,运用特征距离以及遗传算法进行综合选择,这种方法可以有效地找到较好的遗传算法的初始群体。从而能在较少的迭代次数当中找到较优的特征子集,实验结果表明提出的方法可以减少特征的数量,减少学习和分类的时间,同时还因去掉不相关或冗余特征,提高了分类的准确性。 在基于机器学习的分类研究中,运用了六种不同的机器学习方法,对常见的网络流量应用类型进行了分类研究,并给出了实验结果,实验结果表明基于机器学习方法的网络流量分类可以避免传统网络流量分类方法的缺陷,能够很好地分类那些采用动态端口或者协议加密的网络应用流量类型。 在上述研究的基础上,设计并实现了基于机器学习方法的网络流量分类系统(Traffic Classification System Based on Machine Learning , TCSBML),系统包含网络流量数据采集、网络流量数据分析以及分类等几大功能模块,具有一定的实用价值。

关键词： 机器学习   衡量学习   比较  

摘要： 本文总结了机器学习的几种常见方法,并介绍了衡量各种学习方法的标准,然后对各种学习方法进行了比较和分析,以便对机器学习各种方法形成整体概观.

关键词： 模式识别   高维生物数据   线性降维方法   非线性降维方法   流形学习   蛋白质序列   分类预测   特征提取   亚细胞位置   四级结构   膜蛋白  

摘要： 近几年,随着生物科学技术的飞速发展,产生出大量的生物数据。例如基因芯片技术大大加速了生物实验的进行,并随之产生了涉及数千维特征的基因表达数据,如何有效的处理和分析所产生的高维数据越来越引起研究者们的广泛关注。对于蛋白质数据,同样也面临这样的问题,为了更好地描述一个庞大的蛋白质信息数据,需要大量的高维数据和信息。但是最初研究人员提出的用来描述蛋白质序列信息的方法比较简单,得到的特征所包含的序列信息量很少,所以特征的维数不是很高,例如氨基酸的组成的特征描述方法。随着研究的不断深入,为了更好的描述蛋白质序列,表达方法中考虑了氨基酸的各种物理化学性质,即产生了伪氨基酸组成等方法。现今,随着蛋白质信息的增加以及各种蛋白质数据库的建立与完善,利用蛋白质数据库信息以及进化信息来描述蛋白质序列的特征表达方法被提出,典型的方法包括二肽组成、位置特异性分数矩阵（PSSM）、功能域组成、基因本体（GO）等。它们虽然比较全面的表达了蛋白质序列的各种结构和功能信息,但表达后相应特征的维数也随之增大,涉及到的特征维数已从几十维增加到几百维、甚至几千维。随着维度（特征数）的增加,数据之间的冗余性和不相关性都随之增大,这样会带来很多问题,例如对于某些数据分析算法,算法的计算复杂性会迅速增加。因此研究者们开始考虑有效的降低数据的冗余性及计算复杂度的理论和方法,维数约简算法即对高维数据降维的方法,是解决该问题的一种有效途径。通过降维约简了大量的冗余信息,但原数据中的重要信息被保留了下来。许多实验结果都证明采用降维方法不但使得预测系统得到简化,同时还提高了分类性能。 本论文基于线性子空间降维方法来预测蛋白质数据的类别,其有效性通过模型评估方法得以验证。但是线性假设的内在不足使得线性降维方法无法揭示出数据集合中所含有的非线性结构性,而现实中所获得的真实数据集合更多的是呈现出非线性的结构,如本文研究的生物数据就是一种复杂的非线性结构数据。故为了弥补线性降维方法的不足,有效的探求数据集的内在非线性结构,线性子空间预测方法被推广到高维特征空间,开发出基于核方法的蛋白质数据分类预测算法。但是核函数不利于人的感知和直接理解,流形学习降维算法的提出弥补了它的不足。最近,产生了一种新的降维方法-最大方差映射方法。它结合了流形学习和线性降维方法的优点,采用该方法预测蛋白质的类别取得了较高的预测准确率。最后针对经典等距离映射（Isomap）降维算法的不足之处,提出了相应的改进算法MDM-Isomap,即基于最小最大距离度量准则（MDM）的降维算法。通过人脸识别实验进一步证明了该改进算法的有效性。 本文的主要贡献在于: 1.本文提出采用线性子空间降维方法来预测蛋白质亚细胞位置和四级结构。首先提取蛋白质数据的序列特征生成属性向量。属性向量的维数一般都很高,它能全面的描述蛋白质序列信息的同时,也带来了“维数灾难”问题,使得蛋白质亚细胞预测系统的复杂度很高。为了解决这一问题,我们采用了线性子空间的降维方法从中提取出重要的低维的特征向量,然后在降维后的低维特征向量上再进行分类预测,最后预测结果表明采用该方法不但使得生物预测系统得到简化,还提高了预测性能。 2.考虑到线性降维方法对数据的假设过于苛刻,需要满足线性结构,而生物数据大多呈现出非线性的结构特点,所以这里将所提出的线性子空间方法推广到高维特征空间,形成基于核方法（非线性降维方法）的蛋白质亚细胞位置预测算法。经实验证明了这种方法的有效性,预测准确率高于基于线性子空间降维算法的预测方法。 3.充分挖掘流形学习算法与线性降维算法的优点,以将两种方法的相结合为切入点,本文采用线性与非线性方法相结合的算法—最大方差映射方法（MVP）来预测膜蛋白的类别。它继承了线性判别分析算法（LDA）的最大化类间距离和最小化类内距离的思想,并在此基础上考虑了样本的局部几何特征,将其延伸为最大化类间的几何特征和最小化类内的几何特征。MVP方法的优点在于与传统的线性判别分析算法相比,它考虑了样本的空间几何结构信息,与基本的流形学习算法相比,它又具备判别能力,对解决分类问题的特征降维,尤其是膜蛋白的分类预测问题非常有效。 4.对比了各种降维算法在蛋白质数据分类预测中的结果,总结出了各种降维算法的优点和缺点。针对等距离映射算法（Isomap）的邻域大小难以有效选取的问题提出了相应的改进算法,即基于最小最大距离度量准则（MDM）的降维算法MDM-Isomap。采用这种新的度量算法替代原始的欧式距离度量算法使得选择的近邻更加准确更能反应流形的本质特点。通过人脸识别实验也证明了这种方法的有效性,预测准确率高于经典的Isomap降维方法。 5.为了进一步加速研究成果的转化及应用,建立了蛋白质亚细胞位置预测的在

关键词： 生物信息学   生物序列   特征提取   模式分类   最小最大模块化网络   支持向量机   问题分解   蛋白质亚细胞定位   非编码RNA  

摘要： 在过去的几十年间,机器学习方法在生物信息领域获得了强劲的发展动力,成为解决许多生物学问题的重要方法。在生物信息学中,无论是基因识别,还是DNA序列上的功能位点和特征信号的识别,或者是蛋白质序列特征分析,都需要用到机器学习和模式识别技术。本文的工作围绕模式识别的两个关键问题,特征提取和模式分类,对生物序列（包括蛋白质序列和核酸序列）进行深入的分析和分类,以解决蛋白质的亚细胞定位,同源蛋白查找,细菌Ⅲ型分泌系统的分泌蛋白预测以及新的非编码RNA预测等问题。 本文的主要贡献在以下几个方面。 1)借鉴中文自然语言处理中的分词技术,提出了一种新的蛋白质序列特征提取方法。我们从蛋白质的氨基酸序列中挑选具有统计意义的子序列构成词典,并将氨基酸序列切分为互不重叠的词,通过统计各个词的出现频率获取蛋白质的特征。相比于传统的氨基酸多联体频率法,所提方法所生成的特征向量具有维数低、准确性高的优点。我们将其应用到蛋白质亚细胞定位和同源蛋白查找中,取得了良好的效果。 2)针对细菌Ⅲ型分泌系统分泌的效应蛋白序列相似度低和空间结构不稳定的特性,我们首次利用二级结构和溶剂可接触性信息以及氨基酸组份信息预测未知的效应蛋白,在假单胞菌基因组上进行交叉验证,取得了较高准确率,并对根瘤菌的四个不同菌株的基因组进行了预测,得到一批新的效应蛋白。 3)针对蛋白质定位问题的样本不平衡和多点定位问题,采用最小最大模块化支持向量机解决这一多标号不平衡问题。该方法相比于传统的支持向量机,在总体准确率和类平均准确率指标上均有提高;同时,该方法也大大缩短了训练时间,可用于大规模的数据集。 4)为最小最大模块化支持向量机提出一种新的基于生物领域知识（物种分类和基因本体注释信息）的任务分解方法,该方法与随机划分和其他划分方法相比具有性能稳定,准确率高的优点。 5)基于比较基因组学方法,抽取多种植物全基因组序列的基因间隔区,并通过序列比对得到在多个植物基因间隔区中保守的序列片段,对这些片段进行预测,并经过一系列的筛选步骤,得到共计21个新的非编码RNA,分为16个家族。这些新家族均通过生物实验验证其表达性。

关键词： COLLISION-INDUCED DISSOCIATION   PREDICTION   SPECTRA   ACTIVATION   PROTEINS  

摘要： Background: Accurate peptide identification is important to high-throughput proteomics analyses that use mass spectrometry. Search programs compare fragmentation spectra (MS/MS) of peptides from complex digests with theoretically derived spectra from a database of protein sequences. Improved discrimination is achieved with theoretical spectra that are based on simulating gas phase chemistry of the peptides, but the limited understanding of those processes affects the accuracy of predictions from theoretical spectra. Results: We employed a robust data mining strategy using new feature annotation functions of MAE software, which revealed under-prediction of the frequency of occurrence in fragmentation of the second peptide bond. We applied methods of exploratory data analysis to pre-process the information in the MS/MS spectra, including data normalization and attribute selection, to reduce the attributes to a smaller, less correlated set for machine learning studies. We then compared our rule building machine learning program, DataSqueezer, with commonly used association rules and decision tree algorithms. All used machine learning algorithms produced similar results that were consistent with expected properties for a second gas phase mechanism at the second peptide bond. Conclusion: The results provide compelling evidence that we have identified underlying chemical properties in the data that suggest the existence of an additional gas phase mechanism for the second peptide bond. Thus, the methods described in this study provide a valuable approach for analyses of this kind in the future.

关键词： 地下水位   高斯过程   机器学习  

摘要： 高斯过程是近年来发展起来的一种新的机器学习方法,它有着严格的统计学习理论基础,对处理高维数非线性小样本复杂问题具有良好的适应性。针对地下水位的动态变化是一个复杂的非线性过程,地下水位与其影响因素之间存在着复杂的非线性关系,将高斯过程机器学习方法应用于地下水位预测,并提出相应的模型。工程实例研究表明,地下水位预测的高斯过程机器学习模型是科学可行的,预测精度高,简单实用,对地下水位预测的问题具有较好的适用性。