关键词： CANCER CLASSIFICATION   BAYESIAN NETWORKS   SELECTION   PROFILES  

摘要： Background: Several classification and feature selection methods have been studied for the identification of differentially expressed genes in microarray data. Classification methods such as SVM, RBF Neural Nets, MLP Neural Nets, Bayesian, Decision Tree and Random Forrest methods have been used in recent studies. The accuracy of these methods has been calculated with validation methods such as v-fold validation. However there is lack of comparison between these methods to find a better framework for classification, clustering and analysis of microarray gene expression results. Results: In this study, we compared the efficiency of the classification methods including; SVM, RBF Neural Nets, MLP Neural Nets, Bayesian, Decision Tree and Random Forrest methods. The v-fold cross validation was used to calculate the accuracy of the classifiers. Some of the common clustering methods including K-means, DBC, and EM clustering were applied to the datasets and the efficiency of these methods have been analysed. Further the efficiency of the feature selection methods including support vector machine recursive feature elimination (SVM-RFE), Chi Squared, and CSF were compared. In each case these methods were applied to eight different binary (two class) microarray datasets. We evaluated the class prediction efficiency of each gene list in training and test cross-validation using supervised classifiers. Conclusions: We presented a study in which we compared some of the common used classification, clustering, and feature selection methods. We applied these methods to eight publicly available datasets, and compared how these methods performed in class prediction of test datasets. We reported that the choice of feature selection methods, the number of genes in the gene list, the number of cases (samples) substantially influence classification success. Based on features chosen by these methods, error rates and accuracy of several classification algorithms were obtained. Results reveale

关键词： 储备池方法   非线性系统   混沌系统   支持向量机   核方法  

摘要： 混沌理论是现代科学技术中的一朵奇葩,它揭示了复杂系统的内在运行规律。复杂系统常呈现出高度的非线性和初始状态敏感性,初始条件的细微差异也会导致截然不同的系统运行状态。然而这些纷纭杂沓的自然现象都遵循着某种潜在的运行规律,它就是混沌理论所揭示的有序性和确定性。二十余年间,国内外学者着力于混沌时间序列的预测问题研究,其成果颇丰。然而,现存方法大多停留于理论,而忽略实际观测过程中的不确定性,与此同时,预测模型的提取缺乏有效的非线性处理机制,泛化性能及鲁棒性能也存在诸多问题。作为一种针对动态系统的机器学习方法,储备池在混沌时间序列的预测问题中性能卓越;近年来,国内外学者对储备池的预测机制展开研究,但某些性质仍无法较好地解释。基于此,本文以混沌时间序列的储备池预测方法为题进行研究,以期探索储备池的非线性处理机制,另觅新的机器学习方法,主要研究内容包括: 1、分析和建立混沌时间序列的储备池预测模型。对于一些确定性混沌序列,基于储备池的迭代预测方法性能卓越,但其结构设置缺乏合理解释,而且到目前为止,这种方法较好地应用于含噪声的混沌时间序列。针对这些问题,本文首先证明此类模型对非线性系统状态轨迹的逼近特性,并探讨初始状态设置的任意性。其次,本文将储备池模型分为三类:常规状态反馈结构、输出反馈结构和前馈（静态）结构,而著名的迭代预测方法则可由输出反馈结构加以分析。通过进一步对比这三类结构,本文提出了基于储备池的混沌序列直接预测方法,该方法利用预测原点和预测时域之间的关系直接构建预测器。相对于已有的迭代方法,本文所建直接预测器的稳定性可预先加以保障,遂避免由于网络附加回路闭合而产生的稳定性和误差积累问题。 2、提出储备池正则化学习方法。在现有的储备池学习方法中,存在较为严重的不适定性,表现为奇异值分布较连续、条件数较大,得到的输出权值幅值较大,从而为储备池的应用埋下了隐患。针对这个问题,本文提出储备池的正则化学习方法。该方法可通过奇异值截断或惩罚方法实现,其中,截断方法直接处理病态的系数矩阵,通过矩阵的奇异值截断,舍弃较小的奇异值以解决不适定问题;惩罚方法则采用岭回归形式,改善待因子化矩阵的性质,使其对称正定,因而可通过高效的Cholesky或高斯消元法进行求解。此外,本文还探讨了正则化方法应用于含噪声混沌序列预测的理论问题。假设时间序列所含的噪声有界,从变量含误差（Errors-in-variables）模型的角度,可得到由噪声所引起的最坏预测误差。通过最小化该误差,便得到含噪混沌序列的鲁棒最优预测模型,该模型具有惩罚正则化的形式。 3、基于储备池方法,提出无核非线性支持向量机模型。传统的核方法实现了一种静态映射,但较难实现递归结构,因此无法直接处理动态模式。储备池具有“递归核”的功能,并可较好地应用于动态系统辨识。基于此,本文结合储备池的特点和传统支持向量机的处理方法,提出一种不依赖核的非线性支持向量机—支持向量回声状态机（Support Vector Echo-State Machines,SVESMs）。SVESMs的主要特点是不依赖核方法构建隐式的特征空间,它采用随机生成的储备池来处理非线性系统建模问题,在高维的储备池状态空间中进行计算。这种方法便于实现结构风险最小化（StructuralRisk Minimization）,并可根据问题的不同引入不同的代价函数,当采用鲁棒损失函数时,SVESMs可处理包含异常点的预测问题。SVESMs可工作在递归模式和前馈模式。相对于传统递归神经网络,工作在递归模式的SVESMs易于训练,不存在局部最小点问题,且预测器精度高、泛化能力强;此外,工作在前馈模式的SVESMs可应用于静态模式识别问题,它具有与传统支持向量机类似的超参数和容量控制方法,但形式上与传统的前馈网络相同,从而建立起神经网络和支持向量机之间的内在联系。

关键词： 人脸识别   机器学习   特征提取   遗传算法   进化特征提取   Adaboost   非负矩阵分解  

摘要： 人脸识别是人工智能领域中重要的研究课题,在过去的几十年中,它得到了研究者们广泛的关注。由于机器学习这个领域不断受到专注,基于机器学习方法的人脸识别技术是目前最流行的方法。本文主要研究人脸识别的特征提取算法以及人脸识别系统。 本文首先给出了特征提取的定义并回顾一下主成分分析（PCA）和线性判别分析（LDA）以及Eigenfaces和Fisherfaces的基本原理;研究了遗传算法的一般框架和研究现状;提出一种与Bagging方法相结合的进化特征提取算法（BEFE）,并将它应用于人脸识别。与其它基于遗传算法的特征提取算法相比,该算法有着很低的空间维数和较高的搜索效率。这个算法的另一个优点是它提供了一种简单但有效的方法来研究同一初始数据空间的不同子空间的差异。除此之外,由于使用白化的主成份分析（WPCA）和带权值的适应度函数,并且和Bagging方法相结合,Bagging进化特征算法（BEFE）能适用于“训练集合很小”以及“类很多”的情况,并且具有很好的、稳定的分类性能。 接下来本文对人脸识别系统给出了一般解释;详细介绍了Adaboost算法以及改进方法,非负矩阵分解（NMF）的定义、算法以及各种改进方法;对人脸识别性能指标进行了介绍;并且研究了一个基于Adaboost方法和非负矩阵分解方法的人脸识别系统,并将该系统的人脸识别部分—非负矩阵分解在标准人脸库上进行了测试与分析,验证了有着局部化以及稀疏的特点的非负矩阵分解方法非常适合用于人脸识别上。

关键词： 类不平衡   模式识别   机器学习   分层学习   代偏重的最小化最大概率机   自适应提升算法  

摘要： 产品质量自动检测是一种类不平衡的模式识别分类。传统的机器学习方法考虑整体精度而偏重多数据类,但分布少的缺陷类才是重要类。本文提出对类不平衡的机器学习采用分层进行,首先对样本进行两分类学习,目标是通过简单分类器在许可的错误率下分离出易于分离的绝大多数合格类样本,然后对不平衡性得到缓解的剩余样本进行两分类或多分类学习。在学习后的检测分类中,第1层的简单分类器和第2层的复杂分类器并行工作,前面的分类器分类为合格的可提前结束后面分类器的工作,提高总体分类速度。对比实验表明本方案有效改进了学习性能和检测分类速度。

关键词： 划分聚类   一般模糊极小极大神经网络   机器学习   案例推理   固体火箭发动机总体设计  

摘要： 将基于划分的模糊聚类算法和一般模糊极小极大神经网络分类算法相结合,提出了一种新的机器学习方法,实现了基于类比的案例推理学习模型。具体实现思想是,首先利用基于确定性退火技术的划分聚类算法对已知案例进行聚类标识,由所得结果建立一般模糊极小极大神经网络分类模型,然后用该模型实现新目标问题的案例相似性检索,最后针对目标问题结果案例完成案例学习。通过实例表明,该算法具有较好性能,并在基于案例推理的固体火箭发动机总体设计中成功应用,得到了论域覆盖面大的设计结果集。

关键词： 指代   共指   指代消解   共指消解   机器学习方法  

摘要： 指代消解处理是自然语言处理的关键环节,也是众多语言工程项目的核心任务。本文针对指代消解的一些基本问题进行阐述,按照时间线索,对国内外各类指代消解技术方法的研究情况进行分析,阐明了指代消解技术目前的主流方法和技术线路,最后对未来汉语指代消解技术的研究前景加以展望。

关键词： 数据流   预测与分析   性能分析  

摘要： 数据流的预测和分类技术在网络入侵发现、系统性能分析等应用中具有重要的应用。作者对近年来有关数据流预测和分类的进展做了总结,并提出了一个数据流的预测和分类的通用模型,可用于系统性能的实时预测与异常检测。

关键词： 二氢叶酸还原酶抑制剂   支持向量学习机   分子描述符  

摘要： 分别采用支持向量学习机、人工神经网络、调节性逻辑回归和K-最临近等机器学习方法对761个二氢叶酸还原酶抑制剂建立了其活性分类预测模型.采用组成描述符和拓扑描述符表征抑制剂的分子结构及物理化学性质,使用Kennard-Stone方法进行训练集的设计,并用Metropolis Monte Carlo模拟退火方法作变量选择.结果表明,支持向量学习机优于其它机器学习方法,所得到的最优模型具有较好的预测结果,其预测正确率为91.62%.说明通过合适的训练集设计及变量选择,支持向量学习机方法可以很好地用于二氢叶酸还原酶抑制剂的活性分类预测.

关键词： 智能故障诊断   专家系统   基于模型的诊断   人工神经网络   机器学习方法   集成诊断方法  

摘要： 在综合大量智能故障诊断技术和方法文献的基础上,对目前国内、外智能故障诊断技术的发展和应用进行了总结,并指出了不同的智能故障诊断方法的特点,最后对智能故障诊断技术的发展方向进行了展望。

关键词： 机器学习   串联质谱   预处理  

摘要： 串联质谱技术被广泛应用于高通量的蛋白质鉴定。质谱中噪音峰和同位素峰的存在会降低蛋白质鉴定的准确性,同时增加计算负担。pPre_ITMS系统是针对离子阱数据,利用机器学习中的最大期望方法和决策树方法分别识别出质谱中的噪音基线和同位素峰的预处理系统。此外,pPre_ITMS系统采用三层独立模型增强系统鲁棒性,并提供了手动调节功能。利用pPre_ITMS系统可以简单、快速且可视化地对离子阱数据进行预处理。