关键词： 统计学习理论   机器学习   支持向量机   准支持向量   核感知机   小波核机器   模糊小波支持向量核机器   核机器模型  

摘要： 论文主要对机器学习问题、核机器方法、小波核机器、模糊小波核机器等内容进行探讨和分析,构建了几种核机器模型,理论分析和实验结果验证了它们的可行性和有效性。主要研究内容如下: 处理大规模样本时,支持向量机难以满足实时性要求,针对这一问题,提出了一种支持向量预提取方法:先用核感知机模块提取准支持向量,然后将所得结果输入到支持向量机中进行二次处理。核感知机采用的是简单的迭代结构,即使在样本规模较大时,花费的时间也很少;此外,准支持向量的数目可以通过设定阈值进行控制。在一定精度要求下,能从很大程度上提高数据的处理效率。由于核函数和误分界的引入,在综合使用支持向量机的基础上,能处理线性可分、非线性可分、非线性不可分带噪声数据以及回归等问题,理论分析和实验结果较好地验证了这一结论。 对非平稳信号进行处理时,信号细微特征的提取非常关键。论文尝试将小波技术、主分量分析及核方法相结合,用于处理这类信号。对采用小波基构建核函数的可行性进行了探讨,证明了它满足Mercy条件及其在Hilbert空间具有再生性的命题,以此为基础,结合主分量分析,探讨了小波核机器的构建方法,构造出一种核机器模型,并作了实例仿真。实验结果表明,复Gaussian小波核和复Morlet小波核的性能大致相当,它们都优于常规的高斯核和多项式核,初步展示出该方法的可行性和优越性。 对模糊逻辑和小波技术的相关理论进行探讨和分析,构建了一种模糊小波容许核函数,并与支持向量机结合,构造出一种核机器模型,对该模型的一致逼近性作了证明。在此基础上,提出了一种模糊小波支持向量核机器方法FW-SVKM,对参数的选择与预测结果的内在关系作了较为详细的分析,与三层神经网络ANN进行短期峰值负荷预测的对比实验,结果表明FW-SVKM优于ANN,具有较大的实用价值和较好的应用前景。 针对学习机器在参数较多时,优化时间过长、效率过低,不利于工程应用的问题,提出了一种多参数同步优化策略。实验结果表明,该方法在实际应用中是行之有效的,能大幅减少多参数模型的优化时间,增强核机器方法的实用性和有效性。

关键词： 点云   曲面表示   图像修补   表面重建   核机器学习方法   小波   支持向量机  

摘要： 在反求工程中，基于点的点云处理技术是随着数据测量技术的进步而迅速发展起来的一门新兴技术。该项技术以点作为曲面绘制和造型的基本元素，在提高模型绘制与重建的速度、加强处理超大规模点云的能力和简化计算量等方面体现出独特的优势，目前已成为反求工程的一个研究热点。论文主要研究点云优化子采样曲面表示、图像修补、点云建模、核机器学习方法等内容，提出了几种基于核机器的点云处理方法，为该领域的研究工作提供了参考。 在已有研究成果的基础上进一步完善了基于点云的优化子采样曲面表示方法。对输入稠密点云采样形成稀疏圆或椭圆油彩，采样数据具有空间信息。用贪婪法选择曲面，用整体优化法消除漏洞，持续逼近输入数据重建曲面。在一定公差下可用较少的曲面实现无漏洞曲面逼近，产生的表面流畅、无漏洞、采样密度适中，并且可有效控制误差在规定的公差范围之内。理论分析与实验结果表明该方法具有良好的性能。 与统计学习理论相结合，提出了一种基于支持向量机的优化子采样曲面表示方法。讨论了基于点云数据的曲面表示问题，采用ε-支持向量回归机和ν-支持向量回归机实现点云数据的轮廓构建与曲面拟合，最后使用贪婪算法求解得到优化子采样，即一个曲面表示，它具有光顺性好，速度快等优点，展示出所提方法的优越性。 对图像修补的特点进行了仔细分析，在此基础上，提出了一种基于核机器方法的图像修补算法。对待修补区域的每一个像素点，首先取其八邻域色彩数据，形成一组不完整的曲线，然后用核机器对它们进行回归处理完成修补。实验对比了几种方法和几种核函数的性能，结果表明，论文中所提方法可以达到令人满意的效果，具有实用性。 分析了景物图像修补的特点，在此基础上构建了一类景物图像的样本数据集。将基于模式识别的核分类机引入该领域，首先采用支持向量机对待修补图像进行分类，然后利用匹配的模板对空洞进行边缘修补和色彩填充，最后根据空洞外部图像的细微特征对纹理和色彩进行二次修补。实验结果表明该方法的精度优于传统方法。

关键词： 贝叶斯网络   市场直销   消费者响应模型   演化程序   决策分类树  

摘要： 上一个十年中，市场直销在世界范围内有了显著增长。直销市场的扩大对定量研究提出了新的挑战。以目录直销为例。市场直销中的数据分析人员通过建立模型来识别最可能带来利润的客户，并向他们邮寄促销材料，使诉求获得最大回报。如果经费有限，那么只能向数据库中的一部分客户邮寄材料。因此，市场直销模型中最首要的目标就是判断哪些客户是最可能响应(购买产品)的。这就引入了响应预测问题。 到目前为止，对该模型的研究主要来自传统的统计方法，比如逻辑回归和判别式分析。此外，机器学习方法也开始用来解决诸如破产预测和消费者选择模型等一些分类问题，较为常用的如神经网络(ANN)和决策分类树(CART)。虽然这些方法在建立预测模型上比较有效，但在市场研究的应用中尚有不足。 在这篇论文中，我们提出了一种新的机器学习方法——用演化程序学习的贝叶斯网络方法，来给市场直销数据库建立消费者响应模型。贝叶斯网络在处理预测模型上有几个显著优点：在条件独立的假设基础上，贝叶斯网络模型把研究问题看成随机变量的联合概率分布，它可以处理混合数据类型和复杂的模型结构，并能够用概率推理来发掘变量之间的相互联系。 应用大型市场直销数据库，本文首先把贝叶斯网络作为一种算子将数据表示成网络模型(DAG)，然后应用演化程序作为随机搜索算法来寻找最优的模型。为了评估模型的适应度，平衡模型的复杂度和精确度之间的关系，本文选用最小描述长度矩阵(MDL)作为适应度函数。 一旦最佳模型找到，用来描述变量之间关系的条件概率就能计算出来。被学习的贝叶斯网络给变量的每个分类均生成一个概率分数，用于交叉验证和预测。因变量的概率分数，用于预测建模。根据这列概率分数，我们通常会用一个分割点(e．g．，0.5)来给因变量分类，再检查最上层100％的正确率，与实际数据进行

关键词： PMU   暂态稳定预测   神经网络   模拟退火   类内类间离散度  

摘要： 为了保证电力系统的安全稳定运行,需要对事故发生后的系统进行稳定性预测,从而判断事故发生后系统的稳定性是否会遭到破坏,并根据预测的结果采取相应的控制措施。基于人工神经网络的暂态稳定预测以其很高的预测速度成为一种重要的暂态稳定预测方法。基于GPS技术的相量测量单元(PMU)为基于神经网络的暂态稳定预测提供了新的输入特征,而输入特征选择是基于神经网络暂态稳定预测的首要问题,稳定分类的准确性主要取决于所选特征构成的输入空间的可分性。本文讨论了PMU所提供的新的原始特征,研究了暂态稳定分类输入空间可分性的分析方法,并利用基于类内类间离散度的分类判据,采用模拟退火算法对基于PMU的原始特征进行筛选,并针对算法的弱点做了一些改进,显著降低了输入空间的维数,取得了良好的分类效果。

关键词： RNA二级结构   级联式BP神经网络模型   级联式SVM模型   SCFG模型   遗传算法  

关键词： 命名实体识别   统计和规则   机器学习   决策树算法  

摘要： 命名实体识别是目前自然语言处理研究的热点问题。MUC(Message Understanding Conferences)对命名实体的定义是:人们感兴趣的专有名词和特定的数量词,它一般可分为:人名、地名、组织机构名、日期等类型。命名实体识别是信息抽取的一个子任务,被广泛地运用到其他计算语言学任务中,比如机器翻译等。 与大多数自然语言处理技术一样,命名实体识别的方法主要分为两大类:基于规则(rule-based)的方法和基于统计(statistic-based)的方法。鉴于单独采用基于统计方法或基于规则方法的缺陷,在这篇论文中,采用了统计与规则相结合的方法来识别命名实体。为了使系统具有学习能力,我们把机器学习方法应用于中文命名实体的识别,这里我们着重研究了机器学习中的决策树方法在中文命名实体识别中的应用;设计了一种基于决策树的识别模式,该模式首先利用概率统计方法,在文本中尽量完备地识别出潜在的命名实体,然后利用潜在命名实体相关的上下文词法、语法和语义特征作为属性构建决策树,否定不正确的实体,进一步提高了命名实体识别的准确率。 应用以上方法,本文主要对中文命名实体中的人名和地名识别进行了较为深入的研究。实验结果表明,与单纯基于统计和单纯基于规则的命名实体识别方法相比,本文所采用的统计和规则相结合的方法具有更加理想的识别精度;在同样的实验条件下,即同样的训练语料和测试语料的条件下,结合机器学习方法的命名实体识别系统构造简单,并且具有良好的适应性和一定的自我学习的能力。 本文具体主要分为以下几个模块:1.文本预处理。2.统计和规则相结合的中文姓名和地名识别。3.结合机器学习中决策树方法的中文姓名和地名识别。4.中文姓名和地名的消歧研究。

关键词： COX-2   分子描述符   ANN   SVM   变量选择  

摘要： 本文研究了人工神经网络(ANN)和支持向量学习机(SVM)技术对药物活性进行分类预测的应用，论文共分为三章： 第一章作为引言，介绍了当前计算机辅助药物设计概况，优化药物设计的理论发展趋势及其我们所作工作的一些概要。 第二章阐述了本文所用机器学习方法ANN和SVM的基本原理，表征药物分子结构和物理化学性质的分子描述符，及描述符变量的预处理和筛选方法，并就建模预测能力的评价方式进行了说明。 第三章为本文研究的重点，我们将SVM和ANN这两种机器学习方法用于对选择性环氧化酶-2抑制剂活性建立活性预测模型进行研究。针对476个药物化合物分子的数据库，我们用Kennard-Stone方法将其分为训练集、测试集、验证集。计算了包含结构类和拓扑类的459个分子描述符，以表征化合物的结构和物理化学性质。为了去掉低信息量的描述符数量，首先对描述符作预处理：如果一个分子描述符的相对方差小于0.05或者训练集中含有相同描述符数值的分子的比例达到90％，或者与其他的分子描述符的相关系数达到0.90的，均要被删除。然后用F-Score方法对其重要性大小排序，通过优化模型最大推广能力筛选出最重要的136分子描述符，分别应用于SVM和ANN方法对选择性环氧化酶-2抑制剂活性模型的建立，并对两种方法所得到的结果进行了比较。 对选择性环氧化酶-2抑制剂的预测能力建模，我们的研究结果表明，ANN和SVM方法所建模型，其预测能力均优于前人所作的工作。在未进行筛选和参数优化的情况下，ANN方法建模预测能力稍好;通过描述符的合理构建与优化，训练集的合理选用，SVM方法所建立的COX-2选择性抑制剂的预测模型，其预测能力是最好的，其中正样本的正确预测率SE由91.42％提高到94.28％;负样本正确预测率SP由84.00％提高到92.00％。

关键词： 分布式机器学习   异构数据分析   高斯混合模型   元数据分析  

摘要： 随着计算机技术和电子通信技术的飞速发展越来越多的分布式计算环境出现在我们的工作和生活中如Internet intranets传感器网络等分布式环境中存在大量的数据存储和计算结点如何充分利用这些分散着的计算资源来处理分布式环境中的数据已经成为机器学习和数据挖掘研究中的一个热点问题 根据分布式计算环境中的数据是否来源于同一样本空间分布式机器学习的研究工作可分为分布式同构学习和分布式异构学习后者相比之下更具有挑战性和应用价值也是本论文所关注的焦点 多元数据的主成分分析是诸多统计机器学习算法的基础本文提出了一种基于协方差分解的分布式异构数据主成分分析方法理论分析和实验结果表明本文给出的算法和以往的同类算法相比具有更高的效率和精度在该算法的推导过程中我们给出了异构数据充分统计量的分布式估计方法使得其它一些基于多元统计模型的分布式学习算法也可以比较容易地移植到分布式异构数据集上 和上述非监督学习方法相比在部分或全部监督信息可取得的情况下基于这些监督信息进行特征选择有助于进一步提高学习机器的精度本文提出了可用于分布式异构数据的半监督特征选择算法以及一种基于Markov Blanket辨识的监督特征子集选择算法这两种方法可以将分布式异构数据的样本空间降维到最大互信息意义下的优化子空间 研究样本在特征空间中的分布是进行学习机器设计和数据挖掘的重要内容高斯混合模型GMM兼备参数模型和非参数模型的优点在基于数据驱动的机器学习算法中被广泛使用因此本文先在EM框架下推导了分布式异构数据集上的混合模型参数估计算法然后针对一类特殊的异构数据即元数据推导了基于Monte Carlo采用的参数更新方法

关键词： FUNCTIONAL MAGNETIC-RESONANCE   DECEPTION   FMRI   CLASSIFICATION   RESPONSES   CORTEX  

摘要： Patterns of brain activity during deception have recently been characterized with fMRI on the multi-subject average group level. The clinical value of fMRI in lie detection will be determined by the ability to detect deception in individual subjects, rather than group averages. High-dimensional non-linear pattern classification methods applied to functional magnetic resonance (fMRI) images were used to discriminate between the spatial patterns of brain activity associated with lie and truth. In 22 participants performing a forced-choice deception task, 99% of the true and false responses were discriminated correctly. Predictive accuracy, assessed by cross-validation in participants not included in training, was 88%. The results demonstrate the potential of non-linear machine learning techniques in lie detection and other possible clinical applications of fMRI in individual subjects, and indicate that accurate clinical tests could be based on measurements of brain function with fMRI. (c) 2005 Elsevier Inc. All rights reserved.

关键词： 入侵检测技术   入侵检测系统   线性自回归模型   支持向量机模型   支持向量机分类  

摘要： 本文提供了两种网络流量入侵检测的方法和它们的结果对比。这两种方法分别为线性的自回归预测以及非线性的 支持向量机预测。本文将给出使用这两种方法在预测网络攻击的夺效性的详细分析。实验证明用支持向量机模型确实改进了对 于攻击的识别性能，并且其误警率比 AR 模型低了很多。此外，与 SVM 相比较，AR 预测模型的计算复杂度要低。