关键词： 分形   机器学习   分形维  

摘要： 首先提出了一种新的机器学习方法,即分形学习,该方法旨在更好地从高维、海量数据中获取知识.分形论的研究对象为自相似系统,分形学习就是利用系统的自相似性来作为推理和学习的基本依据,其中分形维是定量描述系统自相似性的参数,也是应用于分形学习的重要参数;然后给出了分形学习的定义,阐述了其中的基本理论和学习过程中的关键技术;最后将该方法应用于案例库约简等方面的研究,取得了较好的效果.

关键词： 机器学习方法   主动学习   半监督学习   边缘样本采样   标记方法  

摘要： 机器学习方法研究计算机系统如何通过自动化学习的过程来提升系统性能的算法。对于很多机器学习问题，例如高光谱遥感图像分类、搜索引擎的排序学习、语音识别等，学习模型的泛化性能依赖于有标记样本。但是对于这些问题来说，可获取的有标记样本的数量相对问题的规模来说往往不足，又或者获取样本的代价较高。如何依据有限的有标记样本集来训练足够好的学习模型是机器学习领域一个热点的研究问题。\n 主动学习(Active Learning)和半监督学习(Semi-supervised Learning)方法是解决这一问题的两种思路。主动学习研究训练样本的选择方法，以尽可能少的标记样本，得到尽可能好的泛化能力。半监督学习研究结合有标记样本和无标记样本的训练和学习模型，建立有标记样本和无标记样本的联系，来得到更好的泛化能力。在实际问题中，研究者发现半监督学习可以作为主动学习的一种补充技术，并试图把这两种方法结合起来使用。我们把融合半监督学习的主动学习方法的分为两类。第一类算法中，半监督学习主要用作为主动学习方法的一种采样技术。本文把这一类方法称为Active Learning withSemi-Supervised Heuristic，ALSSH。第二类方法中，半监督学习方法被当作一种伪标记技术，配合主动学习一起来对未标记样本进行标记。本文把这一类方法称为Collaborative Active and Semi-Supervised Labeling, CASSL。\n 在CASSL类型的算法中，学习模型并不能保证产生完全正确的标记。在迭代采样的初始阶段，算法可以学习到的模型的准确性是有限的，需要针对特定问题设定伪标记样本的选择规则，以弥补这一不足。如果加入错误的伪标记样本，可能会影响随后的模型学习和训练过程，造成性能的下降，及时的清除错误的伪标记样本非常必要。我们提出基于协同验证的融合半监督学习的主动学习标记方法。我们把这一方法称为Ensured Collaborative Active andSemi-Supervised Labeling，ECASSL。ECASSL以SVM作为基本的学习模型，边缘样本采样(Margin Sampling)作为基本的采样方法。每轮迭代，我们利用新的学习模型验证伪标记样本，根据验证结果，修正或者清除这些伪标记样本。实验结果表明，ECASSL算法有效提高了学习和标注性能。

关键词： 最优养殖布局   机器学习方法   支持向量机   海洋生物  

摘要： 海洋生物种类繁多，为人们提供了大量的化学能源、矿物能源、食用药用能源以及空间资源，因此，研究海洋经济是人们可持续发展的必要之路。海洋生物在海域中的养殖密度及分布布局都会对海水的潮汐潮流造成一定的影响，因此，因地制宜地进行增养殖是获得良好经济效益的前提，研究最优养殖布局对人们有着非常重要的作用。\n 作为统计学习理论基础上一种新的机器学习方法，支持向量机较好地解决了小样本、非线性、过学习、高维数等实际问题，在预测、分类及回归方面都有很好地应用。而由于海洋中的观测数据量相对少，影响因素较多，物理过程复杂等特点，很多数据都难以提取及准确的使用。基于此，本文使用将支持向量机和水动力相结合的方法解决海洋养殖布局问题。\n 针对桑沟湾特定养殖海区，在目前只有较少的观测数据的情况下，本文研究如何充分利用观测资料给出的数据，并结合水动力数值模式，使用统计学习方法，从有限数据中深入挖掘出有用的信息。在水动力模型中加入养殖筏架对整个流场产生的阻力，研究其对流场产生的影响，然后优化改进的模式，进而使用支持向量机求解整个湾内流速的变化。\n 此外，在求解过程中，根据海湾的固有特点，目标值的不固定性、多样性，本文又提出了将多输出支持向量机与水动力模式相结合的方法求解湾内流速的变化情况，经过实验的多次验证，使用多输出支持向量机不但节省了运算时间，并且得到的结果也比较准确，为海洋学的研究提供了大量的数据资料，对科学反映桑沟湾高密度养殖区的真实环境提供可能，为优化养殖布局、改善养殖环境提供科学的依据。

关键词： 癌症诊断   高通量生物技术   基因表达数据   马尔科夫链模型   机器学习方法  

摘要： 现今，癌症问题日益突出。癌症分类与诊断方法的滞后一直以来都是制约癌症治疗的一个很大的瓶颈。在过去的几十年中，人们一直在寻找一种行之有效的基于基因表达水平的癌症诊断方法。高通量生物技术的产生大大方便了人们从基因层次理解和认识癌症病理。机器学习方法和统计学方法在癌症诊断中的不断的应用，使该领域又有了另一番景象。基因表达数据天生具有高噪声、高变异和高维小样本特性。如何结合先验生物知识建模基因表达数据是当前生物信息学研究的焦点问题之一。本文提出应用马尔科夫链模型理论建模基因通路，在有效表征基因通路活性的基础上发展癌症分类与诊断方法。主要工作可概括如下:\n 1)提出了有约束的基因表达数据离散化方法。为了能够使数据得到更好的离散性能，依据三态基因调控假设对基因离散状态数进行约束，然后通过最大化类别分布差异性来实现基因表达数据的有效离散。在三个标准基因表达数据集（白血病数据集、前列腺癌数据集和肝癌数据集）上对该离散方法进行了实验验证。和现有方法的比较实验证实，该离散方法简单、直观，具有较低的时间复杂度，获得了较好的癌症分类性能。\n 2)提出了两种基于马尔科夫链模型的基因通路建模方法。所建立的模型使用基因间的状态转移概率矩阵来刻画基因通路中的遗传信息或转导信号的传输特性，并标定基因通路的活性。基因通路图被分解为多个基因链。在一个基因链中，遗传信息由第一个基因有序的流向最后一个基因。该基因链被视为一个基因马尔科夫链。链中的每个基因视作马尔科夫链的一个时间点，可具有三种离散状态。用G={g1，g2,…，gn}代表一条长度为n的基因链，其马尔科夫链可以表示为{X(g)，g∈G}，其中，X(g)表示第g个基因所处的调控状态。通过假设不同的状态转移方式，两种基因通路模型被建立，即齐次马尔科夫链模型和非齐次马尔科夫链模型。\n 3)提出了一种基于基因通路网络的癌症分类与诊断方法。为了探索基因通路信息与癌症分类之间的内在联系，应用马尔科夫链理论为每种类别的样例建立一个属于它们自身的马尔科夫链模型。然后，利用所构建的模型来预测未知样例的发生概率，对未知样例的类别做出预测。这种癌症诊断方法是一种有监督的方法。相对于犹如黑盒子一样的传统的癌症诊断模型，该分类模型能够将统计学方法和生物先验知识进行很好的融合，获得更高精度的同时，也能够帮助揭示癌症发病的内在机理。特别的，算法简单，直观，易于实现。结合三个来自KEGG数据库的癌症相关的基因通路，在白血病数据集和肝癌数据集这两个标准数据集上对该方法进行了实验验证。

关键词： 机器学习方法   H1N1型流感病毒   神经酰胺酶抑制剂   支持向量机  

摘要： 流感是一种主要的呼吸道传染病,在普通人群中有着较高的发病率,而对于一些年老和高危病人还有较高的死亡率.研究显示抑制神经氨酸苷酶(NA)可以阻断病毒RNA复制,因此NA是有效治疗H1N1型流感病毒的重要药物靶标.通过计算机方法进行虚拟筛选和预测NA抑制剂已经变得越来越重要.针对酶活性位点进行基于结构的合理药物设计,开发H1N1病毒神经氨酸苷酶抑制剂,已成为药物研究的热点之一.本文通过多种机器学习方法(支持向量机(SVM)、k-最近相邻法(k-NN)和C4.5决策树(C4.5DT))对已知的神经氨酸苷酶抑制剂(NAIs)与非神经氨酸苷酶抑制剂(non-NAIs)建立分类预测模型.其中227个结构多样性化合物(72个NAIs与155个non-NAIs)被用于测试分类预测系统,并用递归变量消除法选择与神经氨酸苷酶抑制剂分类相关的性质描述符以提高预测精度.本研究对独立验证集的总预测精度为75.9%-92.6%,NA抑制剂的预测精度为64.3%-78.6%,非H1N1抑制剂的预测精度为77.5%-97.5%.SVM法给出最好的总预测精度(92.6%).本研究表明支持向量机等机器学习方法可以有效预测未知数据集中潜在的NA抑制剂,并有助于发现与其相关的分子描述符.

关键词： 贝叶斯神经网络   支持向量回归机   机器学习算法   蒸散发数据插补  

摘要： 蒸散发是陆面生态过程的重要参数，也是流域水循环研究和水资源管理中最重要的因素之一。涡度相关技术的发展，为直接获取生态系统尺度的蒸散发数据提供了手段。但由于设备故障、天气恶劣以及数据质量控制等原因，基于涡度相关观测技术获取的蒸散发数据存在不同程度的缺失。如何利用科学合理的方法插补这些缺失的观测数据，在通量研究中具有重要的作用。\n 传统的蒸散发数据插补方法包括模型方法、查找表方法，为获取时间连续，质量保障，具有生态学机制的蒸散发数据提供了支撑。由于生态系统蒸散发和环境变量之间存在复杂的非线性关系，常规的统计方法难以实现缺失蒸散数据的插补。机器学习方法为揭示环境变量和生态系统蒸散发的非线性关系提供了可能。本研究试图从数据挖掘的角度开展蒸散发数据插补方法研究，以中国生态系统研究网络千烟洲森林生态系统观测站为例，结合计算机科学和生态学知识，采用贝叶斯神经网络、支持向量回归机、Factorization Machies和TimeFM等机器学习的方法来对蒸散发数据数值进行插补，从而探索一种新的数据插补方法实现生态系统蒸散发数据的高效插补。以下是论文的主要贡献:\n 1.将贝叶斯神经网络、支持向量回归机和Factorization Machies算法应用于没有包含时间属性的蒸散发数据的插补上面，并提出一种算法融合方法将三种算法进行融合，实现多种算法融合预测来提高预测准确度。\n 2.基于环境因子之间是相互影响且影响效果具有时序性的假设前提，本文提出并设计一个动态预测模型TimeFM。对比其它算法模型的预测结果，TimeFM能够很好地对环境因子数据进行建模并能准确地预测包含时间属性的蒸散发数据，平均均方误差相比对比算法下降15％～33％。

关键词： 归纳学习   解释学习   遗传算法   知识引导系数   知识发现  

摘要： 机器学习是解决故障诊断,数据挖掘,模式识别等众多领域中分类器建模的一项核心技术。在实际问题当中,普遍存在的一种问题是：所研究对象的先验领域知识不完备或者缺少能够完全覆盖各种模式的各类训练样本。在这种情况下基于传统的归纳学习策略或者解释学习策略所构建的分类器,其泛化能力较低,表现为在处理不同批次样本时,误判率较高,使其不能满足解决实际问题的需求。因此,在以解决此类问题为目标所构建的机器学习模型当中,须引入知识发现和知识修正机制,通过不断地发现新知识和修正错误知识,提高分类器的泛化能力。 针对上述问题,本文研究了一种基于解释-归纳策略的机器学习方法。利用所研究对象的先验知识,基于解释策略,对先验知识库进行建模,并利用遗传算法,通过先验知识引导下的种群初始化,变异函数的构造,基于特征评价准则的适应度函数的构造,建立知识发现体系模型,解决知识发现问题。最后,基于归纳策略,构建决策树分类器,并修改知识引导系数和知识属性参数,对错误知识进行修正,从而解决知识修正问题。 本文以CH5M1A型汽车变速箱为实验对象,利用现场所采集数据,采用本文的方法对变速箱各个档位的原始知识库进行进行知识发现和知识修正,并重新构建各个档位的决策树分类器,最后利用不同批次的测试样本进行测试,通过实验结果来看利用该方法可以有效解决分类器得知识发现和知识修正问题。

关键词： Applied statistics   Logistic regression   New product development  

摘要： Critical success factors in new product development (NPD) in the Brazilian small and medium enterprises (SMEs) are identified and analyzed. Critical success factors are best practices that can be used to improve NPD management and performance in a company. However, the traditional method for identifying these factors is survey methods. Subsequently, the collected data are reduced through traditional multivariate analysis. The objective of this work is to develop a logistic regression model for predicting the success or failure of the new product development. This model allows for an evaluation and prioritization of resource commitments. The results will be helpful for guiding management actions, as one way to improve NPD performance in those industries. © Universidad Alberto Hurtado, Facultad de Economía y Negocios.

关键词： 核机器学习方法   机器视觉   缺陷检测   核主成分分析   核对齐  

摘要： 高精度印刷品生产过程中，易产生墨色堆积、混色、拉道子、甩色、缺印等问题，导致不合格品出现。采用视觉技术检测产品质量，并自动剔除不合格品，是提高生产力的最有效途径之一。在光源、相机等硬件条件确定的前提下，视觉检测技术的性能取决于图像处理能力。基于核机器学习的图像处理方法，集统计学习理论、核方法于一体，是处理非线性数据的有效手段之一。本文在高精度印刷品质量检测智能算法研发课题的支撑下，在深入分析研究核机器学习方法的基础上，结合高精度印刷品视觉检测的应用背景，以提高检测性能为目标，重点对图像处理系统中图像复原算法的改进、训练集的选择、核函数及参数的优化学习进行研究。 论文完成的主要内容包括： 1)在对核主成分分析深入研究的基础上，针对印刷品质量检测中存在的复原图像模糊问题，提出一种新的基于核主成分分析的图像复原算法。该算法假设同种印刷品的图像样本分布满足局部线性性质，利用图像样本在特征空间中的线性分布特征来计算最近邻居。然后依据最近邻居构成的线性几何结构，把残差最小化作为图像复原的优化目标，并用固定点迭代法对优化问题进行求解。最后给出所采用迭代格式的收敛性分析。通过数值实验，验证了算法的合理性与理论分析的正确性。实验结果显示，该算法的复原误差较现有算法降低了一半，同时解决了复原图像的模糊重影问题。 2)为提高图像处理的计算速度，提出了基于图像样本空间分布的选样算法。该选样算法不仅考虑了数据库中样本的分布密度，同时把边界图像样本选入训练集。基于核方法的图像处理系统中，包含N个图像样本的训练集，对训练集特征进行提取的算法时间复杂度是O(N3)，单个样本的检测时间复杂度是O(N2)。实验结果显示，在图像复原信噪比近似相等的前提下，当参与计算的500个样本减少到100个时，训练时间缩短了99.2%，检测时间缩短了96%。 3)为提高图像处理的计算精度，提出了基于核对齐的选样算法。基于核对齐选择显著图像样本算法，将图像样本对核矩阵的贡献作为选样标准，把对核矩阵有最大贡献的显著图像样本逐个从大数据集中选择出来，构成训练集。此选样算法便于新图像样本的选择与添加，选样与训练集更新可在线完成。当基于核对齐的选样算法应用于图像处理系统时，采用随机选择的100个样本与利用核对齐选择的100个样本，分别进行训练与图像复原测试，结果显示平均复原误差从1312.7个灰度值降到了462.9个灰度值。 4)设计了把标准化内积矩阵作为目标，学习核函数及其参数的算法。此算法可用于多元回归与非监督问题。并利用核对齐能有效度量核函数与目标函数相似度的性质，提出利用核对齐学习核函数的方法。经理论分析与研究发现，包含组合系数与高斯带宽两个变量的核对齐函数至多存在两个驻点，并依此提出计算该驻点的迭代算法。通过两组数值实验，对采用核对齐学习核函数的方法进行了验证，实验结果显示，采用学习的核函数及参数得到的计算结果接近统计最优值。 5)在对核机器学习方法中学习向量值核函数、学习半正定矩阵值核函数与多核学习三个扩展方向深入研究的基础上，提出了学习矩阵值核函数的方法。实验结果显示，学习的向量值函数和多元核函数有效的解决了多类问题、多元数据降噪与多元回归问题。

关键词： 设计参数   缺陷   辨识   支持向量机   神经网络  

摘要： 机械产品设计参数的选择是决定产品质量的关键因素，因产品参数设计不合理引起的设计缺陷是造成产品开发周期延长、影响产品市场竞争力的的主要原因之一。为了在设计阶段初期实现机械产品设计参数缺陷的辨识，本文提出了基于支持向量机(SVM)以及人工神经网络(ANN)的参数设计缺陷辨识模型，对模型构建、参数选择及结果分析等内容进行了较为深入系统的研究。 针对高速机车车轴设计中因参数设计不合理造成的设计缺陷，提出了一种基于改进型支持向量机分类算法的设计缺陷辨识模型。考虑到设计样本间的差异和不同特征参数对设计结果的影响，采用了样本加权和特征加权相结合的方法改善模型。针对支持向量机参数选择难的问题，提出了基于支持向量回归(SVR)算法确定该模型的参数，可快速找到理想的模型参数以提高支持向量机的分类精度和泛化能力。考虑机车车轴轮座区参数设计不合理造成的几类设计缺陷，采用支持向量机分类算法对设计样本进行学习训练，建立了SVM模型，实现了对新车轴设计参数的缺陷辨识。 产品的设计缺陷不仅仅因为几何设计参数的设置不合理，还与包含产品材料选择、加工工艺参数设置、结构参数等广义设计参数有关。本文提出了基于BP神经网络的参数设计缺陷的辨识方法，以汽车保险杠的设计为研究对象，从保险杠的众多设计参数中选择对其质量影响重大的若干参数，通过对神经网络的训练实现了保险杠表面缺陷及整体缺陷两种类型设计缺陷的识别。 考虑产品同其他零部件发生诸如装配、加工等约束关系时，受外界约束参数影响而造成设计缺陷的现象，采用一类神经网络改进算法构建基于设计参数约束关系的缺陷辨识模型，研究约束参数变化对设计结果造成的影响。针对机械产品设计参数的随机性，引入设计参数灵敏度的概念，在神经网络模型的基础上计算各个随机设计参数的灵敏度，获得了设计参数随机变化对设计结果的影响，达到了指导设计参数、加工参数及装配精度参数选择的目的。 本论文研究的基于机器学习算法的设计缺陷辨识方法为机电产品参数设计缺陷辨识问题提供了一套行之有效的理论、方法和技术。