关键词： 钢筋混凝土构件   受剪性能   机器学习   可解释性  

摘要： 随着大数据时代的繁荣发展，钢筋混凝土(ReinforcedConcrete,RC)构件受剪性能的智能预测成为了可能.相较于传统建模方法,机器学习算法显著提升了预测精度和泛化能力.建筑安全事关重大，有效预测是避免重大损失的重要途径之一，这不仅要求模型具有较好的预测性能和计算效率，而且希望模型具有透明的决策行为和合理的决策依据.因此，预测模型的可解释性成为受剪性能预测工作中的焦点问题.本文以RC构件为研究对象，以其受剪承载力和破坏模式为预测目标，建立关于受剪性能预测的集成学习模型,建模后利用可解释机器学习方法分析预测模型的决策行为.主要工作如下:　　第一,针对RC构件受剪承载力的预测，本文提出了可解释性回归模型.一方面，收集了RC深梁受剪承载力数据集(457个试件)，依据深梁的受剪机理确定输入特征，对于四种不同的配筋类型分别构建了多个回归预测模型.通过单一模型和集成模型之间的对比，所建立的XGBoost模型在预测性能方面具有明显优势.另一方面，本文基于五种方法多角度地进行模型可解释性研究.首先，LIME方法关注样本个体，解释特征贡献.其次,SHAP方法关注局部和全局解释,包括特征重要性和特征依赖性.然后，本文提出结合Shapley值和受剪机理来度量深梁不同组分受剪贡献率的思想.最后，引用PDP,ICE和ALE方法通过数值模拟分析多个关键影响因素取值的变动对模型输出结果的影响效应.以上结果表明所提出模型的决策是符合深梁受剪机理的，即模型预测结果是可信的.　　第二，针对RC构件破坏模式的预测，本文提出了可解释分类模型.首先，收集了RC梁破坏模式数据集(295个试件)，依据受剪机理和多国规范构造了箍筋特征值的两种形式，从而确定了两种输入特征子集，分别构建了多个二分类预测模型.相较于单一模型，本文建立的集成学习模型表现最佳.之后，本文通过一系列方法多角度地揭示并可视化模型的决策行为.LIME方法解释单个样本的预测概率.SHAP方法能够解释单个样本或整体的预测概率，也能够进行多变量交互影响分析.基于PDP,ICE和ALE方法计算不同类别之间箍筋特征值的界限值，即识别阈值.相较于三个国家规范提出的限值，本文提出的最小箍筋特征值(λsv,f''c,min=0.059)在避免钢筋混凝土梁发生斜拉破坏问题上具有最高的安全性.

关键词： 液态金属电池   电池管理   电池分选   机器学习   深度学习  

摘要： 液态金属电池是一类新兴的电化学储能技术,具有成本低、寿命长、安全可靠性高等优势,在规模储能领域拥有广阔的应用前景。电池分选是提高电池成组性能,保障储能系统安全长效运行的重要手段。目前报道的分类重组方法普遍采用聚类法,该方法产生的聚类结果与电池真实类别存在差异。此外,现有的电池分选方法主要是针对锂离子电池,缺乏适用于大容量、大电流、低电阻的液态金属电池的分选研究。为了发展适用于液态金属电池的分选方法,提升液态金属电池的成组性能,本文围绕液态金属电池成组分选,从电池测试方案设计、分选指标预测方法设计、分类重组方法试验、分选框架构建等方面开展了一系列工作,具体研究内容和成果概括如下:1.设计了液态金属电池测试方案,构建了用于电池分选的数据集;为实现液态金属电池分选指标高精度预测,提出了基于集成学习的分选指标预测方法,利用特征选择与集成学习提升模型的预测精度与可靠性。结果表明,经过特征选择的集成学习模型的预测均方根误差仅为0.2278,在分类重组中实现了96.62%的准确率;2.提出了基于时序特征与深度学习模型的分选指标预测方法,该方法优化了特征提取与分析过程、能直接使用时序特征进行预测,同时采用了基于循环的预测方法有效提升了预测精度。结果表明,该方法与基于集成学习的分选方法性能相当;3.为实现能获取液态金属电池真实类别的分类重组方法,提出了基于新颖性检测与异常检测的液态金属电池分类重组方法,比较了两种方法优劣与异同,并测试了新颖性检测方法在不同样本数量下的性能;在运用于现实的电池二分类时,基于新颖性检测的分类重组方法具有优异的性能,并在极小的训练样本时仍有较好的表现;4.设计了基于序列学习与聚类算法的新型分选框架,该框架能将一般的分选指标转化为特定分选指标,并能通过无标签批次数据的积累提升对指标的转换精度;在序列学习过程中模型取得最佳性能时,初始误差和学习极限之间的差距被弥补了近71.8%。

关键词： 金融本文情感分析   字典方法   机器学习方法   迁移学习方法   累计超额收益率   情感因子  

摘要： 本文在金融情感分析和机器学习、迁移学习流行的背景下,利用中国深圳上市公司2011至2020年的年报数据,采用字典方法、机器学习方法和迁移学习的方法对年报文本反映出的情感信息进行捕捉,通过这三种方法构造出情感因子,并将情感因子用于年报披露后的月内累计超额收益率的预测中,取得了良好表现。 针对年报文本的情感,本文通过构建月内累计超额收益率指标来判断年报披露的情感倾向,并通过字典法、机器学习方法和迁移学习的方法对情感倾向做出判断。其中字典法主要通过构建正向词和负向词字典,并统计年报中正、负向词的占比,以此来作为情感判断的依据;机器学习方法主要涉及随机森林、支持向量回归和LightGBM,本文通过构造高词频有序字典的方法,对年报文本数据进行特征抽取,得到词频统计特征矩阵作为机器学习模型的输入,通过预测年报披露后的月内累计超额收益率来获取情感倾向指标,形成情感因子,在因子测试中取得良好表现;迁移学习的方法主要是运用了词粒度的中文BERT,针对年报的超长文本,本文首先构建了 8大目录特征,并在每个目录特征下运用CogLTX中的记忆回想(MemRecall)机制对长文本做进一步处理,最终获得了较好的结果。 对三种方法构建的情感因子分别进行了单因子和多因子测试,通过一元或多元线性回归测试因子对年报披露后的月内累计超额收益率的预测能力,以R2作为评估指标评判各个方法产生因子的优劣性,最终的结果显示,迁移学习产生的情感因子性能最高,机器学习产生的情感因子性能紧居其后,而面对超长文本,字典方法构造的情感因子效果较差。

关键词： 机器学习   财务危机预测   指标筛选   因子分析  

摘要： 在经济全球化的时代,上市公司面临着各种各样的风险,企业在生产经营过程中陷入财务危机不仅会阻碍公司的健康发展,而且会给利益相关方造成经济利益的损失。由于传统统计方法对数据本身有着较为严格的假设条件,因此研究范围受到了一定的限制,同时存在着预测准确性不高的问题。随着数据挖掘技术的兴起,将机器学习方法应用于公司财务危机预警已经成为一种趋势。但是现有的研究主要通过构建单一的机器学习模型对公司的财务状况进行预测,本文在单一模型的基础上构建了组合模型,从而提高预测模型的准确性。本文首先选取沪深两市A股上市的233家2017年至2022年间首次被ST或者*ST的公司和233家处于同行业、同一会计年度且资产规模相近的财务正常公司作为研究样本。从反映公司财务经营状况的盈利能力、营运能力、发展能力、偿债能力、现金流量指标、风险水平和股权结构七个方面进行模型财务指标和非财务指标的选取工作。然后对选取的指标运用假设检验的方法进行指标的初步筛选,所用的方法包括K-S检验、独立样本T检验和W-M U检验,删除未通过显著性检验的模型指标。接着运用VIF方法检验筛选后的指标之间的多重共线性,结果发现多重共线性的问题较为严重。通过因子分析的方法消除指标之间存在的多重共线性,同时对指标进行降维。因子分析共提取出11个公因子,以每个样本在11个公因子上的因子得分为基础构建Logistic模型、支持向量机模型、随机森林模型、XGBoost模型、Light GBM模型以及Stacking分层组合模型对公司的财务状况进行预测,运用模型评价指标体系对模型的预测效果进行评价,并对不同模型的预测性能进行了对比分析。结果发现以XGBoost模型和Light GBM模型为基学习器,Logistic模型为元学习器的Stacking综合模型在各项评价指标上都有着最好的评价结果。综上所述,本文通过假设检验的方法对模型指标进行筛选,然后运用因子分析的方法消除筛选后的指标之间的多重共线性,同时对指标进行降维。将因子分析提取的公因子的因子得分用于各种机器学习模型的构建,发现Stacking综合模型能够取得更为优良的预测效果,为公司的财务危机预警提供了参考,具有一定的实用价值。

关键词： 储层计算   耦合洛伦兹系统   旋转周期解   不变环面   时空结构  

摘要： 多年来,系统间的同步特别是关于复杂系统的同步性研究一直吸引着人们的注意力,且广泛应用于实际生活中.对带有时空结构的同步系统的动力学进行重构是一件十分困难的事情,而机器学习方法的发展使得对各种复杂动力学系统的重构成为可能.本文分别使用储层计算方法和下一代储层计算方法去研究动力学模型,该模型是由多个单向耦合的洛伦兹振子组成的环系统.我们利用该模型来研究不同吸引子的动力学行为,得到了两类机器学习方法都能很好地对原始系统进行短期预测以及保持原系统的时空结构的结果.本文的主要内容如下:第1章介绍了同步系统重构的机器学习方法的研究背景、研究意义、研究现状及本文的主要工作.第2章简述了多个单向耦合的洛伦兹振子的复杂系统的基础知识和相关理论.第3章使用储层计算方法,重构多个振子耦合的洛伦兹系统的动力学行为.虽然利用各种神经网络对各种复杂混沌吸引子的重构进行了很好的研究,然而对于某些特殊吸引子的时空结构能否在长期预测中得以保持,人们关注甚少.且储层计算对于无模型预测是有效的,因此我们想要研究储层计算是否可以恢复原始的环耦合洛伦兹系统的旋转对称性.我们发现,尽管训练有素的储层计算机的状态预测逐渐偏离原始系统的实际轨迹,但在重构过程中相关的时空结构依旧保持不变.具体来说,我们得到了周期旋转波、准周期环面和混沌旋转波的旋转对称结构能够很好的保持这一结论.第4章使用下一代储层计算方法,重构多个振子耦合的洛伦兹系统的动力学行为.先前人们基于下一代储层计算的方法证明了它能完成原始储层计算的基准任务,像是预测短期动力学,复制混沌系统的长期气候以及推断未知数据的动力学行为等等.然而这对于下一代储层计算方法的研究依旧处于比较常规的问题上,尤其是使用下一代储层计算方法研究复杂系统的时空结构这一方面很少得到人们的关注.因此我们想要研究训练有素的下一代储层计算方法是否可以恢复原始环耦合洛伦兹系统的旋转对称性.我们发现,尽管训练有素的下一代储层计算机的状态预测逐渐偏离原始系统的实际轨迹,但在重构过程中相关的时空结构依旧保持不变.具体来说,我们得到了周期旋转波、准周期环面和混沌旋转波的旋转对称结构能够很好的保持这一结论.第5章进行了文章的总结和对未来研究的展望.

关键词： 新冠肺炎   COVID-19   机器学习   医疗资源分配   预测模型  

摘要： 开发一种机器学习模型，用于预测个体是否处于受COVID-19 (COrona VIrus Disease 2019)影响的危险之中，并辅助医疗决策，包括就医或选择居家隔离。基于GradientBoost、XGBoost、随机森林3种集成学习算法以及决策树、逻辑回归、支持向量机、KNN算法4种非集成学习算法，构建COVID-19风险预测模型并验证模型效能，识别COVID-19风险因素。集成学习与非集成学习模型ROC曲线下面积大致都在0.94左右。同时识别出年龄、是否是住院患者、是否携带病毒、是否怀孕、是否患有肺炎、是否插氧等重要风险因素。结果表明，在大样本量下集成学习不一定会优于非集成学习方法。

关键词： 急性A型主动脉夹层   机器学习   脑部并发症   预测模型   SHAP  

摘要： 背景:急性Stanford A型主动脉夹层(ATAAD)属于极其危重的疾病之一,近年发病率不断上升。由于手术难度大、时间长、涉及体外循环等,术后易发生各种并发症,涉及器官范围广,其中尤以脑部并发症多见。目的:本研究旨在使用机器学习方法构建ATAAD术后脑部并发症的最佳预测模型,为早期识别高风险患者提供支持,并基于SHAP对模型提供解释,探究相关危险因素,为临床提供一定的参考依据。方法:本项研究回顾性纳入2017年1月--2021年9月就诊于兰州大学第一医院心血管外科的ATAAD患者,严格按照纳排标准筛选资料。首先清洗数据、编码及分组,对全部数据标准化处理,以7:3随机划分全部数据为训练集和测试集。在训练集内,对无序多分类变量引入虚拟变量(DV),通过最小绝对收缩和选择算子(LASSO)回归筛选最佳特征,引入过采样和欠采样方式相结合的SMOTEEN算法平衡数据集,基于Logistic回归(LR)、K最邻近(KNN)、随机森林(RF)、梯度提升机(GBM)、支持向量机(SVM)、全连接神经网络(MLP)构建预测模型,使用K折交叉验证或超参数网格搜索进一步调优参数,以准确度(Accuracy)为标准确定最佳参数并代入模型。完成后在测试集内验证各模型性能,绘制各模型受试者工作特征曲线(ROC),采用Brier评分(BS)、准确度(Accuracy)、灵敏度(Sensitivity)、特异度(Specificity)、F1分数(F1 score)以及曲线下面积(AUC)综合评价模型效能,以AUC最大者为最佳模型,进一步行Hosmer-lemeshow检验(HL),绘制决策曲线分析(DCA)明确模型的净收益。采用SHAP(Shapley additive explanations)算法解释模型并可视化。结果:(1)Lasso回归确定的最佳特征集为:术后ALT值、手术总时间、术中冷沉淀的输注量、术后LDH值、头臂干受累及情况、术后尿素值、年龄和高血压。(2)确定的最佳模型为RF模型,AUC值最大,为0.828[95%CI(0.585,0.902)],F1分数(F1 Score)为0.667[95%CI(0.375,0.959)],灵敏度为0.833[95%CI(0.535,0.932)],特异度为0.892[95%CI(0.792,0.992)],BS为0.139[95%CI(0.035,0.244)],综合性能良好。在HL检验中P=0.183,提示RF模型拟合较好。DCA提示在较大的阈值范围内通过RF模型可获得较高净收益。(3)基于SHAP算法解释模型,提示RF模型中对预测结果影响最大的特征为术后ALT水平,其次分别为手术总时间和术中输注冷沉淀。其中术后ALT水平、手术总时间对模型的预测结果起正向贡献,输注冷沉淀对模型起负向贡献。结论:(1)术后ALT值、手术总时间、术后LDH值、头臂干受累及、术后尿素值、年龄和高血压史为ATAAD术后脑部并发症的危险因素,对于排名靠前的相关因素需给予足够重视;(2)术中适量输注冷沉淀可以减少脑部并发症的发生,未来可通过更大样本数据进一步验证;(3)在本研究中,相比Logistic回归,RF算法模型具有更好的预测能力,综合性能更优,提示机器学习算法在数据挖掘与分析中具有独特优势;在本研究中RF模型可及时识别ATAAD术后脑部并发症高风险患者,为早期提供干预、改善患者预后提供支持。

关键词： 热连轧板   板凸度   集成学习   层次二叉树   故障分类  

摘要： 板形精度是热轧生产中衡量板带钢质量的重要指标之一，精准的带钢板形预测和板形故障分类可实现生产系统的及时调整，是保证热轧带钢产品质量和生产稳定性的基础。本文以国内某热连轧生产线为研究背景，针对传统机理模型复杂且难以适应复杂工况变化的不足，基于数据驱动思想，提出了融合机理模型以及生产数据的板凸度预测和异常工况板凸度故障分类模型。本文主要的研究内容如下：　　首先，针对流程工业数据信息的高维性和复杂性，通过分析实际热连轧生产现场的自动控制策略，结合轧制过程中的机理模型，确定了影响带钢板凸度的关键特征;结合热连轧仪表配置及采集数据的特点，提出了一种数据筛选归并方法，通过对同种规格尺寸数据的筛选合并，降低了海量数据的量级，处理后的数据既包含了整个数据集的信息，又可缩短模型运行时间，为后续板凸度预测建模奠定了基础。　　其次，针对传统板凸度机理模型预测性能较低的问题，基于集成学习思想，提出了一种鲸鱼优化算法(WhaleOptimizationAlgorithm，WOA)改进的XGBoost(ExtremeGradientBoosting)板凸度预测方法，该方法采用CART决策树作为基学习器，通过鲸鱼优化算法优化XGBoost超参数，解决了调参难的问题;针对热轧工艺标准不断变化影响模型精度的问题，采用kmeans聚类方法对数据进行划分后分别进行预测。通过对比建立的不同预测模型，结果表明WOA-XGBoost模型的具有较高的精度和预测性能，预测数据中91.30%处于5μm误差带内。　　最后，针对异常工况下带钢板凸度故障的非平衡多分类问题，提出了一种基于层次二叉树的HBTA(HierarchicalBinaryTreeArchitectureformulti-classclassification)板凸度故障分类方法，该方法通过ROS(RandomOverSampling)过采样对非平衡数据进行处理，并采用Adaboost(AdaptiveBoosting)作为模型的基分类器，通过不断调整分类错误样本的权重，解决了数据非平衡对分类精度造成的影响;同时通过HBTA方法将多分类问题划分为二分类问题，构建了高精度热连轧板凸度故障分类模型。通过与其他模型进行对比，验证了所提出的ROS-HBTA-Adaboost模型具有更好的分类性能和泛化能力，更适用于热轧带钢板凸度的故障分类。

关键词： 多模态机器学习   恒星   类星体   测光红移   卷积神经网络  

摘要： 面对海量的天文观测数据,自动高效地对天体分类可以帮助天文学家进一步地进行科学研究,对于分类后的天体,它们的重要参数预测又成为了新的研究任务。本文针对恒星、类星体的分类,以及类星体的重要参数之一红移的预测,结合机器学习的方法,提出了新的解决方案。先从单模态的数据入手,对天文数据进行分析和处理,实现恒星的自动分类,再引入多种模态的数据,提高了恒星和类星体这两类易混淆天体的分类准确率,最后利用多模态机器学习的方法提升了类星体测光红移预测的精度。具体分为以下三个部分。首先,面对高维度的恒星光谱数据,本文进行归一化等预处理,并构建了基于卷积神经网络的恒星光谱型和光度型分类模型CSSL＿CNN,同时从两个层面给出恒星的类别。实验结果表明,与现有的恒星分类模型相比,CSSL＿CNN不仅避免了对标准恒星库的依赖,而且提取出了数据中的深层特征,并且获得了较高的分类准确率。其次,面对难以区分的恒星和类星体图像,本文提出了一种基于多模态机器学习的天体分类方法。由于图像数据中蕴含的特征稀少,所以引入特征丰富的光谱数据,充分对齐和关联两个模态,实现了特征融合,最终共同完成恒星和类星体分类任务。与单独通过图像数据进行分类相比,引入光谱数据的多模态分类方法显著提高了分类准确率。最后,针对测光数据特征稀少,测光红移预测精度难以提升的问题,本文引入对应的光谱数据作为补充特征,构建了测光-光谱特征转换模型,并且基于转换后的数据,提出了一种基于多模态转移学习的类星体测光红移预测模型PhotoRedshift-MML,实验表明了PhotoRedshift-MML模型相较于使用单模态的类星体测光红移预测方法提升了预测精度,验证了多模态模型的有效性和普适性。