关键词： 个人信用风险评估   互联网大数据   LightGBM算法  

摘要： 我国的消费信贷市场,在经过了十多年的爆发式增长之后,逐步过渡到了稳健发展的新阶段。在双循环大背景下,消费金融重要性不减。同时,信贷风险的成因也变得更为复杂,对整体经济的影响面也越来越大。传统的信贷评估方法存在着难以处理大规模数据、评估精度不够高等问题,因此,信用风险评估从定性的方向逐步转向统计学、机器学习等方法研究。如何构建一种高效、准确的个人信用评估方法成为了当前的热门研究领域。现有的机器学习方法,比如支持向量机、决策树、神经网络等,在信用风险评估问题上表现出比统计模型更好的性能。大数据为消费金融个人信用风险评估提供了新思路。将用户在互联网的多维行为数据应用于模型训练,构建出更加丰富的用户画像,充分挖掘社交大数据价值,并使用先进的机器学习方法进行个人信用风险的评估研究具有重要的理论及现实意义。本文基于真实的互联网消费金融消费信贷数据,纳入新型互联网多维度数据,初步建立基于逻辑回归、GBDT、LightGBM三种方法构建信用评估模型,利用精确率、召回率、AUC等模型评价指标对比分析。实验表明,基于LightGBM的机器学习方法的风险评估模型,在实际应用场景具有一定的可行性和研究价值,在保证精确率和一定的召回率前提下,能够有效识别消费信贷中个人信用风险,并召回风险用户。

关键词： PC   ML   肿瘤转移   SEER数据库   列线图  

摘要： 背景:胰腺癌(Pancreatic cancer,PC)是一个高发病率、高死亡率的胃肠道肿瘤,其早期诊断困难,大部分患者被发现时已经是晚期或伴有远处转移,此时其治疗手段已经受限。因此,明确影响PC转移的因素至关重要。机器学习(Machine Learning,ML)目前在医疗研究中的作用日益提升,可借助ML对影响PC转移的因素进行进一步的探索。目的:探索PC远处转移的相关危险因素以及影响转移患者预后的因素,同时建立ML模型,并绘制列线图指导临床决策。方法:获取SEER数据库1990-2019年符合纳入和排除标准的PC患者的临床数据,使用随机森林及支持向量机两种ML方法对远处转移数据进行风险因素筛选,之后取两者交集,以进一步筛选影响肿瘤远处转移的特征。后行多因素Logistic回归探索影响PC远处转移的风险因素并建立预测模型,使用校准曲线及受试者工作特征曲线(Receiver operating characteristic curve,ROC)验证模型性能,最后绘制列线图。接着,使用陕西省人民医院队列的数据对所得模型进行验证,并绘制验证集的校准曲线及ROC曲线。之后,使用最小绝对值收敛和选择算子(Least absolute shrinkage and selection operator,LASSO)回归初步筛选影响远处转移患者预后的因素。使用单因素及多因素比例风险(Cox regression model,Cox)回归分析来进一步确定影响患者预后的因素。结果:影响PC远处转移的独立因素有5个:年龄、T、N、化疗和放疗。其中年龄<65岁及放疗是促进远处转移的危险因素,而年龄≥65岁、T3-T4、N1-N2则更多的起到了保护性作用。训练集及验证集上的曲线下面积(Area under the Curve,AUC)分别为0.717及0.847。LASSO回归筛选出了12个可能影响远处转移患者预后的因素。单因素及多因素Cox回归显示,年龄、病理分级、骨转移、脑转移、肺转移、放疗及化疗是远处转移患者预后的独立影响因素。其中年龄≥65岁、病理分级、骨、脑、肺转移是转移患者预后的危险因素,而放疗及化疗是预后的保护性因素。最后,本研究依据得到的模型建立了列线图供临床参考。结论:1、影响PC远处转移的独立因素为年龄、T、N、化疗和放疗;2、影响转移患者预后的独立因素为年龄、病理分级、骨转移、脑转移、肺转移、放疗及化疗。

关键词： 稀疏投资组合   K-means   分层聚类   机器学习  

摘要： 稀疏投资组合对比传统的投资组合具有低交易成本、低监管成本等诸多优势,而过去构造稀疏投资组合的方法都是基于最小方差投资组合并对权重向量进行范数约束,当股票数量较大时,需要对高维协方差矩阵进行估计,而高维协方差矩阵的估计难度大、误差大,虽然过去学者提出了多种高维协方差矩阵的估计方法,但其中大部分需要对协方差矩阵的结构进行稀疏性等假定,并依赖于股票收益率的正态性以及协方差矩阵在一定时间内的稳定性,且对于众多估计方法,没有统一的评价标准,无法确定最适的高维协方差矩阵估计方法。基于此,我们提出了一种构造稀疏投资组合的创新方法,通过分行业选股将高维问题转化为低维问题。具体做法是将现有股票集按产业进行划分,包括按照现实存在的产业分类标准划分,以及采用K-means和分层聚类机器学习方法将股票重新分为新的“产业”。在基于并证实同产业股票相关性高,不同产业股票相关性低的假设下,依照不同的标准,从每个产业中筛选出至多一支股票构成我们的投资组合。为了对股票进行正确分组,充分分散行业风险暴露,我们创新性地将分组数目内生化,并提出了检验分组效果的方法,即计算出分组后的组内时变相关系数与组间时变相关系数,作出密度图比较差异,差异越大,分组效果越好。另外,区别于传统的机器学习方法,我们用1减去时变相关系数来衡量两支股票间的距离。在实证部分,受制于高维协方差矩阵估计误差,我们首先选取沪深300成分股为样本,将我们提出的12种稀疏投资组合,与4种基准投资组合进行回测,比较样本外表现,最终我们的投资组合战胜了基准投资组合,可以获得20.14%的年化收益和1.044的夏普比率。我们进一步选取主板所有股票为样本进行回测,年化收益和夏普比率可以提升至23.05%和1.154,而按照过去方法构造的稀疏投资组合失灵。通过考虑交易成本的稳健性检验,我们的优势被进一步证实。

关键词： 强化学习   注意力机制   不平衡数据   集成学习  

摘要： 类别不平衡问题一直是机器学习领域研究的难点和热点。在真实世界中,图像数据的非平衡问题广泛存在,例如在医疗领域的疾病诊断中,罕见病的医学影像是少数类,而健康的医学影像是多数类;在安防领域的目标检测中,危险品数量往往是少数类,其余物品数量是多数类。在这种情况下,传统的分类模型容易出现偏差,即将样本数较多的类别判断为正确结果的概率更高。然而,在这些问题中,正确识别少数类样本具有更重要的应用价值。近年来,强化学习已成为机器学习领域中备受关注的新兴研究方向,它为处理不平衡图像的分类问题提供了一个新的方法论。本文基于深度强化学习DQN方法构建不平衡分类模型,并依据相关研究理论进行了如下工作:首先,对深度强化学习不平衡分类算法进行改进,提出了融合自注意力机制的深度强化学习算法(DQN+attention),研究了通道域注意力机制Se Net、ECANet、空间域注意力机制SANet以及混合域注意力机制CBAM与深度强化学习模型(DQN)结合对模型分类性能的影响。其次,为提升融合自注意力强化学习模型的泛化能力,提出了融合集成学习思想的特征增强深度强化学习算法(Dm QNimb+SENET+SANET),并改进了算法的奖励函数。本文使用召回率(Recall)、F1值(F1＿score),几何平均值(G-Mean)、平衡准确率(Balanced-Accuracy)作为评价指标,在公开数据集cifar-10、animal-10、cifar-100上与DQN不平衡分类模型、Resnet-50、Resnet-50＿RUS、Resnet-50＿ROS、Resnet-50＿FL进行了多种不平衡率图像分类的对比实验,研究结果表明,加入不同类型的注意力机制均能有效提升模型对于少数类别的识别能力。同时,Dm QN+SENET+SANET算法在处理类别不平衡分类任务上相较对比模型具有一定的优势。

关键词： 饮食质量评分   心血管疾病   美国国家营养与健康调查(NHANES)   机器学习方法  

摘要： 目的：目前营养学领域已建立了多种饮食评分体系用于衡量整体饮食质量，并用于心血管疾病等非传染性慢性疾病的预防和管理。基于现代机器学习技术构建的饮食评分可能包含独立的信息，若结合临床经验构建的饮食评分有望提供更好的膳食建议。方法：本文提出了一种新颖的基于机器学习方法的饮食质量评分(DQS)，并研究DQS与健康饮食指数-2015 (HEI2015)、地中海饮食评分(MED)、替代健康饮食指数-2010 (AHEI)结合后与心血管疾病风险的关联。研究数据来源于美国国家健康与营养调查(NHANES)的2011–2012年至2017–2018年周期。研究人群为年龄在20岁以上的成年人，通过参与者自我报告收集食物摄入情况以及相关协变量信息。我们采用弹性网络惩罚回归模型选择重要的食物特征，并使用广义线性回归模型在控制年龄、性别和其他相关协变量后估计相对风险OR和95%置信区间。结果：共计16756名参与者纳入分析。在调整其他常见饮食评分后，DQS与冠状动脉疾病(CAD)风险显著相关。DQS与HEI2015、MED、AHEI和得舒饮食(DASH)得分结合的OR都在0.900左右，p值小于0.05。在包括所有其他评分的全模型中，DQS的OR值为0.905 (95%CI,0.828–0.989,p=0.028<0.05)。结论：基于NHANES连续4个周期的数据，较高的DQS与较低的CAD风险相关。DQS捕获了独立于现有饮食评分的独特预测信息，因此可以作为补充评分系统，进一步改善CAD患者的饮食推荐。

关键词： 3D NAND flash   闪存可靠性预测   随机森林   XGBoost   贝叶斯优化调参  

摘要： 随着信息时代的发展,存储系统需要更大的存储容量,三维堆叠闪存(3D NAND flash)因具有读写速度快、成本低、高密度和低功耗等优点成为存储市场主流之一的非易失性存储器。然而与传统的二维平面闪存(2D NAND flash)不同,更高的存储密度也带来了更多的可靠性问题,如何对3D NAND flash可靠性进行预测,从而提高其使用寿命便成为了亟待解决的问题。本文设计3D NAND flash可靠性测试方案,并根据测试数据建立基于机器学习的多分类可靠性预测模型。本文首先搭建3D NAND flash可靠性测试环境,设计针对闪存循环编程擦除干扰和读取串扰的测试方法,研究了测试闪存块相关物理参数的实际变化规律,并根据规律选择合适的特征作为预测模型的输入参数,根据错误比特数设置多个标签分类作为输出,使用随机森林和XGBoost两种算法模型,学习得到了对应两种实验数据的四个模型,之后分别通过贝叶斯进行优化调参,最后采用混淆矩阵比较模型预测效果。实验结果表明,闪存页平均错误数、闪存页类型差异、闪存块最大页错误数、闪存页平均编程时间、闪存页平均读取时间能够较为充分地体现闪存的可靠性,适合作为闪存可靠性预测模型的输入参数。四个模型对闪存可靠性预测的准确率分别为0.5693、0.5994、0.6671和0.6713,经过对比分析,XGBoost算法模型的预测效果优于随机森林算法模型。基于贝叶斯原理进行优化调参可以提高模型预测效果,优化后的准确率分别为0.6388、0.6410、0.7024和0.7087,分别提升了12.21%、6.94%、5.29%、5.57%,循环编程擦除干扰测试数据的随机森林模型预测效果提升最多。本文提出的多分类模型建立方法可以得到比较准确的3D NAND flash可靠性等级预测模型,为闪存可靠性预测提供新的思路和解决方法。

关键词： 一致性预测   支持向量机   卷积神经网络   域预测   图像分类  

摘要： 支持向量机和卷积神经网络是机器学习领域中经典的学习算法,在图像识别、自然语言处理和语音识别等领域得到广泛应用。尽管这两种算法在许多方面都表现出优秀的分类性能,但仍然存在一些挑战,包括低分类准确率、长训练时间、过拟合和缺乏置信水平估计等问题。如何解决支持向量机和卷积神经网络的低准确率和置信水平测量问题已成为机器学习研究者需要攻克的一个课题。为填补这一空白,本文基于一致性预测提出了支持向量机多分类算法和卷积神经网络错误率可控分类算法。针对一致性预测支持向量机的多分类问题,本文提出了两种多分类算法,分别是基于一致性预测一对多支持向量机算法和基于一致性预测一对一支持向量机算法。首先,将多分类问题转化为二分类问题,利用决策函数定义非一致性函数。然后,对这两种算法进行数值模拟实验,并与OVO SVM、OVO LSSVM、OVO TWSVM、HSVM算法相比较。最后,将两种算法应用于六组真实数据集测试其分类预测效果。仿真实验和真实数据应用结果表明,提出的两种算法预测效果非常好,相比于三种其他的支持向量机算法有更高的预测准确率。针对卷积神经网络的预测结果风险不可控问题,本文引入能够同时解决置信水平估计和在线学习效率低下的归纳一致性预测,而针对一致性预测本身的易受非平衡因素影响的问题,引入蒙德里安一致性预测,将其应用到卷积神经网络中,提出基于蒙德里安归纳一致性预测的卷积神经网络分类算法,并以Goog Le Net、Res Net和Mobile Net三种卷积神经网络模型展开研究。分析结果表明,该算法的时间复杂度比初始卷积神经网络更低,模型训练效率更高,并根据非一致性度量函数衡量测试样本与各个类别之间的一致性程度,使得输出结果具有极高的可靠性。实验结果表明,提出的算法能够有效地控制神经网络的预测准确率实现风险可控,并且能够提供具有可靠置信水平的预测集合。图[22]表[8]参[56]

关键词： 保险索赔额   文本挖掘   机器学习   LDA主题模型   K均值聚类  

摘要： 随着各个行业数字化转型的发展，日常生活中要处理的数据结构越来越复杂，保险行业中传统的保险损失预测方法在解决大数据下的索赔时，尤其是包含大量非结构化信息数据时显得有些困难。如果保险公司对此有良好的损失预测能力和赔付风险管理系统，将会降低不必要的赔付支出，提升保险公司的营运水平。为此，在包含大量文本信息的基础上，本文利用机器学习理论建模预测个体保险索赔情况。　　首先，本文针对文本数据和非文本数据分别进行特征预处理。其中针对索赔描述的文本数据，一方面采用基于单词相似性的K均值聚类方法，将索赔个体划分为15个类别;另一方面，采用LDA主题模型提取8个主题降低原始文档-单词矩阵的维度，并计算出每条索赔描述语句属于每个主题的概率将其作为新的指标参与建模。同时，对文本数据外在形式特征如字符串长度、单词个数等进行刻画，作为其基本的度量指标。针对非文本数据，在数据清洗的基础上，对数据进行描述性统计分析，可视化展示并分析不同特征下因变量的分布情况，提取有效特征的同时删除重复信息。　　其次，考虑到保险领域中常用的损失预测模型的不足以及个体索赔额的连续性等分布特征，本文采用机器学习的方法进行改进。对于经过特征处理的职工意外伤害险数据集，本文建立了逻辑回归、随机森林、XGBoost和神经网络4种回归模型预测个体索赔额。采用均方根误差、平均百分比误差和判定系数作为评价指标，分别对模型进行了纵向（不同特征）和横向（不同模型）的比较，分析其性能和效果。通过对模型优化调参，最终发现包含文本特征的XGBoost模型预测效果最佳，在测试集上拟合优度为0.87。　　实证分析表明文本挖掘技术提取的文本特征指标应用到回归分析中时，可以提升模型的预测效果，该方法为保险公司在处理包含文本信息的索赔数据时提供一定的参考。

关键词： 母猪   断配间隔   机器学习   方差分析   分类模型   回归模型  

摘要： 母猪断配间隔(Weaning-to-estrus interval,WEI)是决定母猪非生产天数(Non-production days,NPD)的关键因素,非生产天数直接影响母猪年生产力(Pig Sow Productivity,PSY)。我国是养猪大国但PSY相对较低,需要进行相关研究来提高PSY。现阶段养猪业生产数据分析主要通过方差分析和一般线性回归模型,但随着生产数据的不断积累,这些方法难以处理庞大的数据量。目前机器学习模型在各个领域的广泛运用,为养猪生产大数据分析带来了新的选择,将养猪和机器学习相结合是未来智慧养猪前进的方向,但目前相关研究还有待进一步开展。本研究收集我国南方某规模化畜牧公司2021年共14328条母猪繁殖相关数据,分为A(楼房猪场)和B(传统平养猪场)两个群体数据集。首先利用特征筛选算法挑选建模特征,制定母猪正常断配分类标准后采用机器学习算法构建分类模型并比较,采用机器学习算法和传统线性回归方法构建以WEI为对象的回归模型并比较,再利用决策树视图分析从特征筛选结果中找出WEI关键影响因素。最后利用方差分析研究母猪WEI的关键影响因素、次要影响因素。本研究的主要结果如下:1.筛选结果:使用机器学习特征筛选算法Boruta来筛选用于构建分析模型的特征。特征:品系、品种、妊娠108日背膘厚、胎次、妊娠期长、分娩窝重、总产仔数、窝断奶总日龄、带仔数、哺乳期长度、断奶背膘、分娩月份、断奶月份、配种月份、母猪生产线和背膘损失。B群体数据集来源于平养猪场,缺少母猪生产线数据,其余与A数据集相同。2.母猪WEI最佳二分类模型筛选结果。利用逻辑回归(LOG)、随机森林(RF)、决策树(DT)和支持向量机(SVM)四种算法在A和B两个数据集的基础上分别构建了WEI的二分类模型。结果为:模型的分类准确性都在0.63以上,具有良好的预测效果。其中RF模型的预测准确性最高为0.84～0.86(P<0.05),作为最佳分类模型建模方法。3.母猪WEI最佳回归模型筛选结果。在A和B两个数据集的基础上,使用K近邻(KNN)、决策树(DT)、随机森林(RF)、支持向量机(SVM)和传统线性回归方法(LR)建立回归模型,再使用5折交叉验证法计算模型评价指标决定系数(R)和均方根误差(RMSE)来比较模型拟合效果。LR的R为0.09～0.10,显著低于其他机器学习算法建立的回归模型(P<0.05)。回归模型中DT建立的模型R显著优于其他建模方法(P<0.05)。4.影响WEI的关键因素结果。利用决策视图分析数据,影响A群体母猪WEI的关键因素为分娩月份、断奶月份、配种月份和哺乳期长度,影响B群体母猪WEI的关键因素还有窝断奶总日龄。结合特征筛选结果,确定分娩月份、断奶月份、配种月份、哺乳期长度和窝断奶总日龄为WEI的关键影响因素。***影响因素的方差分析结果。关键因素分析:分娩月份、配种月份、断奶月份、窝断奶总日龄和哺乳期长度对WEI的影响显著(P<0.05)。次要因素分析:A群体数据集中,背膘损失、带仔数、断奶背膘厚、妊娠期长度、品种和胎次对WEI的影响显著(P<0.05);B群体数据集中,带仔数、断奶背膘厚和胎次对WEI的影响显著(P<0.05)。***对下一胎总产仔数的影响。WEI对下一胎总产仔数影响显著(P<0.05),WEI为4时,总产仔数最高。综上所述得出结论:预测母猪正常断配的最佳分类建模方法为RF,预测母猪WEI的最佳回归建模方法为DT。结合决策树视图分析结果,筛选出WEI的关键因素:分娩月份、断奶月份、配种月份、哺乳期长度和窝断奶总日龄。通过方差分析研究关键因素和次要因素对母猪WEI的影响。机器学习回归效果显著优于一般线性模型。机器学习将成为智能化养猪的分析数据和构建模型的主要手段,结合方差分析结果可以为生产提供指导。