关键词： 数据挖掘   急诊胸痛   分类预测   医疗大数据  

摘要： 目的：在心血管病专科医院急诊科室中,存在大量的胸痛患者,而且胸痛待诊患者涉及病因种类多,且危重程度悬殊。如何快速、准确的辨别出胸痛患者所患疾病,对门急诊青年医师来说是一件十分有挑战性的事情。故本课题试图通过大数据、数据挖掘等新型方法来构建一个分类预测模型,该模型能够根据患者疾病信息来判定患者所患疾病种类,从而辅助医生快速、准确的得出诊断结果,减少漏诊、误诊现象。方法：应用数据挖掘中的多种分类算法来构建预测模型,首先用CART (Classification And Regression Tree, CART)决策树计算出胸痛患者患每种疾病的概率,然后对可能得的每种疾病分别应用最近邻法、C5.0决策树、支持向量机、人工神经网络、朴素贝叶斯和随机森林六种分类算法来最终判定该患者是否得该疾病。结果：在诊断是否冠心病模型中,人工神经网络判别性能最佳,准确率是93.75%,AUC (Area Under Curve, AUC)值0.849;在冠心病细分为心梗和心绞痛模型中,支持向量机分类性能最好,准确率是82.35%,AUC值0.826;在主动脉夹层和其他疾病诊断模型中,人工神经网络的表现也是最好,准确率分别是96.30%和89.36%,AUC值分别是0.924和0.867。在预测急性心梗患者出院后是否会发生严重不良事件中,随机森林在30天、半年和一年的预测最为可靠,准确率分别是94.36%、92.63%和92.72%,AUC值均高于0.9。结论：各个模型中最适宜的算法分类预测准确率均82%以上,而急性心梗患者出院后严重不良事件预测更是高达92%以上,结果证明通过数据挖掘手段建立的分类预测模型可以对心血管病专科医院急诊科室的胸痛患者进行准确分类,能够为医务人员提供提供一定的辅助,减少漏诊、误诊现象。

关键词： 不平衡数据   欠抽样   集成学习   代价敏感   决策树  

摘要： 现实世界中广泛存在不平衡数据,其分类问题是数据挖掘领域的一个研究热点。传统的分类算法以整体预测精度为训练目标,导致多数类预测精度高,少数类预测精度差。而在手机换机预测这一实际应用中,少数类样本即换机用户的分类正确率更为重要,因此如何改善类间样本的不平衡,增加少数类的识别率,同时兼顾多数类的准确度,是亟需解决的一个问题。目前在不平衡数据分类问题上有两种常用的处理方法。一种是算法层面,通过设计新算法或改进原有分类算法使其对不平衡数据有效。另一种是数据层面,通过改变训练集的样本分布来消除或减弱数据的不平衡程度。本文针对不平衡数据分类问题,以手机换机预测为应用背景,在算法层面和数据层面做了如下工作:1.在算法层面,提出一种分级式代价敏感决策树算法。首先利用粗糙集对原始数据进行属性约简并计算各属性重要度,然后根据属性重要度和专家经验知识对属性分块建立分级结构,最后以基尼系数和误分代价为分裂标准构建代价敏感决策树,作为每一级的基分类器,形成分级式代价敏感决策树模型。实验结果表明,该算法既可以直接对原始数据集进行处理,保证了信息的完整性,又能有效处理欠抽样后平衡的数据集,有效缩小了问题的求解规模,且此算法在一定的不平衡度内具有较好的稳定性。2.在数据层面,提出一种基于样本权重的欠抽样方法,该方法引入了样本权重来反映样本所处的区域,首先根据各类样本的数量初始化各样本权重,并通过多次聚类对各个样本的权重进行修改,权重小的多数类样本即处于多数类的中心区域;然后按权重大小对多数类样本进行欠抽样,使位于中心区域的样本较容易被抽中,并与所有少数类样本组成Bagging成员分类器的训练数据,得到若干个决策树子分类器;最后根据各子分类器的正确率进行加权投票生成预测模型。实验结果表明,该方法充分利用了少数类和多数类的分布信息,抽样所得样本较好地保持了多数类信息,同时有效缩小了数据集规模,提高了分类器的分类性能。

关键词： 机器学习   分类   疾病诊断   支持向量机   特征选择  

摘要： 分类是机器学习的主要任务之一。生活中的一些决策问题便可以看作分类问题,比如与人们健康紧密相关的疾病诊断。分类算法将会从训练样本中训练合适的模型从而给出更加智能的结果,辅助医生进行诊断。然而针对某种疾病,直接使用某种分类算法做出决策,可能并不能达到理想的效果,因为各种分类算法在不同数据集上的分类效果存在差异,即不存在一种分类算法在任何数据集上的表现,均优于其他分类算法。鉴于疾病诊断对于准确率有非常高的要求,如何构造具有强泛化能力的分类诊断模型,成为机器学习在这一领域的研究重点。本文主要针对某些疾病,研究构造具有更高分类准确率的分类诊断模型,从而为疾病诊断提供更加准确的结果。通过比较K-近邻(KNN),Logistic回归和支持向量机(SVM)等监督分类算法在乳腺癌和糖尿病数据集上的分类准确率,找出更适合乳腺癌和糖尿病诊断的分类诊断模型。在此基础上,针对冗余特征对分类准确率的影响,提出一种集成混合特征选择和线性SVM的乳腺癌诊断模型,进一步提高了乳腺癌诊断的准确率;针对网格搜索对高斯核SVM参数优化效果不佳的问题,提出一种集成改进的加速粒子群优化算法和高斯核SVM的糖尿病诊断模型,提高了糖尿病诊断的准确率。本文主要贡献和研究成果如下:(1)通过比较K-近邻(KNN),Logistic回归和支持向量机(SVM)等分类算法对于乳腺癌和糖尿病的诊断准确率,发现线性SVM对于乳腺癌的诊断获得了最高的准确率,而高斯核SVM对于糖尿病的诊断准确率更高,这些内容是进行后续研究的基础。(2)针对冗余特征对训练时间和分类准确率的影响,提出一种结合相关性与序列选择的混合特征选择方法,结合线性SVM,构建出集成混合特征选择和线性SVM的乳腺癌诊断模型,进一步提高了线性SVM对于乳腺癌诊断的准确率。(3)针对参数对高斯核SVM性能的影响,对加速粒子群优化算法进行了改进,提出一种集成改进的加速粒子群优化算法和高斯核SVM的糖尿病诊断模型,进一步提高了高斯核SVM对于糖尿病诊断的准确率。

关键词： Hadoop   决策树   不确定概率   嘈杂数据   林业数据  

摘要： 互联网的快速发展,使数据规模呈指数级增长,海量的数据中蕴含着非常多的信息,需要我们挖掘与分析其中价值,在使用传统驻留内存的数据挖掘算法处理海量数据时受到了单机性能问题的限制,而Hadoop的海量数据存储系统和并行化编程框架技术为处理海量数据的需求提供了一种有效的解决方案。我国的森林资源较为丰富,在多年的监测和整理后,森林资源的基础数据资料已经初具规模,其具有高维、噪声、量大等特点,而传统的林业数据分析手段在处理上也越来越乏力,已经无法满足林业的需求,急需引入一种科学的、高效的技术手段。基于以上,本文提出一种基于Hadoop平台的不确定概率C4.5 (Imprecise Probability C4.5, IP-C4.5)算法,可以对数据集的不可靠性带来的误差进行优化,并具有处理海量数据的能力。同时将改进的IP-C4.5算法引入林业应用,对森林成熟度、森林覆盖类型进行分类预测,从而对今后林业数据的分析开辟了一种新的模式。本文的具体研究内容如下：(1)选择了在实际应用中使用较多的C4.5决策树算法进行研究和改进,利用开源软件Weka提供的J48代码进行研究学习;改进的C4.5算法在选取分裂属性时,用基于不确定概率的信息增益率代替原有的信息增益率,这样会更加适合处理嘈杂的数据集。(2)研究了云计算技术,重点学习研究了Hadoop平台的文件系统HDFS以及并行编程框架MapReduce,结合传统决策树算法的算法模型,在计算属性选择度量时将数据集进行纵向划分,以一种基于文件分裂的方式对改进的算法进行并行化设计。在保证没有牺牲掉分类准确率为代价的前提下,使并行化的算法在处理海量数据时具有高效性及可扩展性。(3)林业数据具有高维性、噪音多、海量等特点,而改进的C4.5算法正适合处理嘈杂的数据,基于Hadoop平台的并行化程序又适合处理海量数据,所以,最后将设计好的程序应用于处理林业数据。实验从封闭和开放两个方面对一组林分小班数据集进行森林成熟度的预测,之后对来自UCI国际机器学习数据库的较大量的森林覆盖类型数据集Covertype建立决策树模型,预测森林覆盖的类型。实验结果表明,改进的算法在处理嘈杂数据时具有更高的准确率,同时并行化后的改进算法在分类精度上也没有损失,并且在处理海量数据时具有绝对优势,有着较为理想的加速比和效率;在林业数据分类预测方面,本文的算法有着更高的准确率和较好的时间优越性。

关键词： 数据挖掘   热带气旋路径   热带气旋频数   有限混合模型算法   CART算法   C4.5算法  

摘要： 热带气旋(TC)的路径很大程度上决定了TC的影响区域及TC的影响范围。TC频数的高低直接影响到国家沿海经济带的经济建设、社会的发展以及人民群众的生命财产安全。而TC的活动是一种非常复杂的自然现象,因此对于TC活动规律的研究一直都是气象学界的热点问题之一。基于TC路径数据集及气候信号数据集的挖掘,不仅能发现TC频数与人们已知气候信号之间的关系,更重要的是为人类的生活生产,国家社会的建设提供更为有利的保障和支持。本文将利用数据挖掘技术对历史上登陆中国的TC路径进行分类,并基于诸多人们已知的气候信号利用分类与预测算法中的两种决策树算法对每一类路径的TC频数进行了分类与预测并产生了科学、简单、直观的分类规则集,更好地揭示各类路径的TC频数与人们已知气候信号之间的关系,也为预测TC频数提供了新思路。具体而言,本文从以下三个方面进行了探索和研究：1.本文深入地了解了目前热带气旋研究领域的热点和难点,从数据挖掘的角度出发,设计了登陆中国TC路径分类模型以及各类路径TC频数的分类与预测模型。通过对数据挖掘中聚类算法以及分类与预测算法知识的深入学习,选取了适合TC路径分类问题的算法即FMM算法进行模型的建立;以及适合TC频数分类与预测的两种决策树算法：CART算法和C4.5算法,利用这两种算法分别对各类路径的TC频数进行模型的构建以及验证。发挥了气象学,数据挖掘,计算机科学交叉学科的优势。2.本文利用聚类算法对登陆中国的TC路径进行了相对客观的划分。通过对K-means算法以及FMM算法两类常被学者们用来划分TC路径的聚类算法原理的学习研究和对比,本文认为FMM算法对于TC路径的分类更加的科学,。基于经验观察法,将历史上登陆中国的TC路径分为三类,并对每一类路径夏秋季和夏季的频数和生命史等特征进行了分析,发现了每一类登陆中国的TC生命史分布都各有特点。但是各类TC频数年际变化复杂,难以直观发现规律。3.为了解决上述问题,本文尝试利用CART算法和C4.5算法通过多种夏季的气候信号数据对夏季各类路径TC频数是否偏多分别进行了分类与预测,取得了较好的分类与预测效果,并且生成了简单易懂,科学有效的规则集,方便人们直观获取TC频数与气候信号之间的规律。以上工作不仅丰富了热带气旋领域的研究,也为数据挖掘和气象领域的科研问题结合提供了新思路。

关键词： 统计建模方法   随机森林   mboost   神经网络   交叉验证   标准均方误差  

摘要： 本文旨在用近年较经典流行的三种机器学习算法:随机森林,神经网络,mboost与统计建模方法对多元时间序列数据(气温数据)、纵向数据(帕金森病数据)、多重共线性数据(糖尿病数据)做预测对比.针对世界16个城市的最低温度和最高温度为变量的多元时间序列数据,运用VARX模型预测和四种主要的针对横截面数据的机器学习算法做预测比较,并作出对比分析,结果表明无论是在长期预测还是短期预测,VARX模型的预测效果大都不如这些机器学习算法中的一些模型.对于对各个变量中选择出来的不同因变量,预测结果最优的模型也不同.被预测的时间区间越短(相应的训练集越大),则VARX模型预测的效果越好,这说明专门为时间序列设计的方法在该数据上的预测不如为横截面数据设计的机器学习算法,因而在做多元时间序列预测的时候,必须根据数据和变量的各种实际情况来选择最优的预测模型.对一个帕金森病的纵向数据和一个糖尿病的横截面数据做了机器学习方法及统计建模方法对预测的比较.关于第一个数据,对于训练集不同的样本量,分别用线性随机效应混合模型和随机森林、mboost、神经网络做了预测,并对比标准化均方误差.发现无论是长期预测还是短期预测,线性随机效应混合模型在该数据上的预测效果都显著不如神经网络.对于第二个数据:具有多重共线性,分别用岭回归,lasso回归,适应性lasso回归,偏最小二乘回归(PLS),逐步回归,线性回归及机器学习算法做十折交叉验证预测对比.结果显示,神经网络在处理此多重共线性数据时远远好于其他的传统统计建模方法,而不那么传统的PLS方法也全面优于其它几种传统方法,但远不如神经网络方法.本文为比较研究的案例库贡献新的、有重要参考价值的比较案例,同时对实际工作者提供有益的参考.本文的所有计算基于R软件.

关键词： 重组热点冷点   DNaseⅠ高敏位点   深度稀疏自编码   交叉验证   主成分分析  

摘要： 随着生物技术的不断发展,尤其是人类基因组计划实施以来,通过高通量基因的测序手段得到了大量生物信息数据,如何解读和挖掘这些序列信息显得日益迫切,探索出基于机器学习方法对DNA序列的性质、属性以及功能进行分析的模型是至关重要的。本文主要研究人类基因重组位点及DNase I高敏位点(DHSs)的预测问题,工作包括以下几个方面:1)介绍了几种常用的特征提取方法,概述了近年来机器学习方法在DNA功能位点预测的研究进展,归纳了几种常用的机器学习方法,如支持向量机、随机森林、深度稀疏自编码器、隐马尔科夫模型分类法、贝叶斯分类算法等,并对分类算法的评价指标进行了系统分析。2)对人类基因序列的减数重组冷热点进行了分析和预测。基因重组对于生命过程有着重要意义,它能够交换遗传信息,促进生命的进化。本文利用三核苷酸密码子编译氨基酸来表达DNA序列全局性的顺序信息,并基于氨基酸的物理化学属性,结合二联核苷酸成分和伪氨基酸成分将DNA序列转化为DNA离散化模型,再采用SVM建立预测器,用jackknife交叉验证方法证明建立的预测器的效果比现存预测器都有较大提高。为了提高其实际应用价值,也为了方便绝大多数实验学者,我们创建了在线预测网站。3)对DNase I高敏位点进行了分析和预测。DHSs是DNA调控元件的显著标记,大多碱基修饰和调控活动都离不开DHSs富集的调控元件参与。因此分析和定位全基因组DHSs,对于分析基因的转录调控功能有着重要的意义。本文首先通过核苷酸频率分析探讨DHSs与碱基的联系。接着,分别用基于自协方差函数与互协方差函数、主成分分析法(PCA)及基于三联核苷酸的物理化学属性三种不同方法提取DNA序列特征构建分类模型,通过交叉验证测试方法证明了方法的有效性。4)最后,对本文的研究工作进行总结,并对今后的研究工作进行了展望,包括特征提取方法和分类算法的完善与改进、DNA的结构信息的提取、DNA其他功能问题的进一步分析与探讨等。

关键词： 随机决策树   结点   算法   奇点   随机树   特征集   个数  

摘要： 随机决策树[1](Random Decision Trees),是由Wei Fan等人提出的一种决策树构建方法,它的一大特点就是不需要任何特征选择。因其生成过程具有随机性,对集成学习准确性与差异性的研究提供了新的思路[2][3]。1随机决策树算法描述在整个构建过程中,任何一个结点的生成都是从特征集中随机选取的。对于离散特征来说,每个子树的生成都对应一个离散特征值,且不可以被重复选取。对于连续特征而言,可将其离散

关键词： 在线品牌忠诚度   度量   机器学习   模型构建   模型优化  

摘要： “十三五”规划明确提出坚持扩大内需战略,充分挖掘我国内需的巨大潜力,拓展新型消费业态。尤其是在以互联网经济为代表的“新经济”背景下,在线消费作为新型消费业态的代表正逐渐改变着人们的消费观念和方式,在线品牌忠诚在在线消费领域具有极其重要的地位,对于刺激消费和实现企业精准营销、风险管控、决策支持、效率提升和产品设计等商业模式、商业形态甚至商业思维方面的变革,提升企业在在线领域的竞争力具有极其重要的意义。应用科学有效的机器学习方法对在线品牌忠诚进行系统分析和研究具有迫切性和必要性。在大数据环境下,面对在线消费提供的海量数据信息,传统的技术方法已逐渐无法满足企业创造和维持品牌忠诚的竞争需求。突出表现在传统随机采样方法很难定位具有高品牌忠诚度的消费群体;同时,传统的数据处理技术也无法处理具有海量、混杂和非结构化数据特性的在线消费行为。在面对庞大量级的在线数据,以及如何实时利用在线数据锁定品牌消费群体的需求时,传统的方法具有局限性。本研究的目的就是构建一个在线消费大数据时代下的人工智能模型——机器学习模型,通过机器学习方法,对在线消费者的品牌商品购买行为进行聚类,构建在线品牌忠诚度度量模型,实现具有相似忠诚度的用户的聚类,同时实现在线品牌忠诚度的度量。其中,重点研究机器学习路径、机器学习算法、模型构建方法,以及模型的检验与优化方法。本研究围绕理论研究——模型设计——模型优化的思路,主要完成以下研究工作:(1)在对品牌忠诚度理论进行国内外研究现状综述的基础上,对在线品牌忠诚度大数据特性和在线品牌忠诚度度量的机器学习方法进行论述。(2)构建在线品牌忠诚度度量模型是本研究的主体,研究过程遵循在线品牌忠诚度度量的机器学习路径展开。主要包括:1)品牌忠诚度度量的在线数据采集,即通过设计在线数据采集模型和爬虫算法对品牌忠诚度度量相关的在线数据进行采集。2)品牌忠诚度度量的在线数据清洗,即通过设计在线数据检测算法对品牌忠诚度度量的在线数据进行检测;通过设计在线数据清洗算法对品牌忠诚度度量的在线数据进行清洗。3)品牌忠诚度度量的机器学习方法建模,即根据特征选择依据和特征指标定义,通过设计算法完成模型所需的特征构建;在对品牌忠诚度度量模型和模型聚类进行数学定义的基础上,通过设计聚类算法实现模型构建。4)品牌忠诚度度量模型检验,即根据内部有效性指标和外部有效性指标定义,通过设计内部有效性检验算法实现模型内部有效性检验;通过设计外部有效性检验算法实现模型外部有效性检验。(3)对在线品牌忠诚度度量模型进行优化是本研究的重点。主要研究工作包括通过数据处理优化、特征工程优化和算法调整优化得到最优模型,并从实现在线品牌忠诚度相似用户聚类和实现在线品牌忠诚程度界定两个方面对最优模型进行评价。本研究的创新点主要包括:(1)针对以大数据处理、大数据价值挖掘和以互联网经济为代表的“新经济”下的在线品牌忠诚度大数据的特性;以及由此带来的在线品牌忠诚度数据分析方式、分析思维、分析技术产生颠覆性变革;在线品牌忠诚度数据生成的多种因素影响;在线品牌忠诚度数据分析的模型和算法高复杂性等方面,首次进行了系统深入的挖掘和剖析,为以互联网经济为代表的“新经济”下的在线品牌消费行为及忠诚度的进一步研究奠定了基础。(2)提出机器学习方法用于在线品牌忠诚度度量的思路,并实现应用机器学习方法对在线品牌忠诚度模型进行构建,其模型定义在借鉴数据挖掘领域的多维数据立方体概念的基础上进行了改进,进一步拓展了机器学习方法的经济应用领域。(3)通过全数据分析模式,即样本等于总体的大数据分析模式,实现在线品牌忠诚度相似用户聚类以及在线品牌忠诚程度界定,突破了传统随机采样方法在定位具有高品牌忠诚度消费群体以及传统的数据处理技术处理具有海量、混杂和非结构化数据特性的在线消费行为的局限性。(4)品牌忠诚度度量模型优化是本研究的重点。其中,特征工程优化是模型优化的核心。而对于聚类方法,存在特征工程适用性问题,本研究在借鉴相关方法思路基础上对具体的特征选择方法进行调整和改进,使其更好的适用于模型优化,具有创新性。

关键词： 机器学习方法   入侵检测技术   贝叶斯分类神经网络   遗传算法   支持向量机  

摘要： 随着信息技术的不断发展,人们生活发生了翻天覆地的变化,它给人们带来了很多便利,但与此同时,安全问题也日益突出。目前,传统的入侵检测系统已经不足以完成对越来越复杂的网络攻击的检测任务。入侵监测系统技术之中引入机器学习,可以有效地提高系统性能。文章主要介绍了几种机器学习方法在入侵检测中的应用。