ECG abnormality detection algorithm and edge device design for on-device processing
-
摘要:
心电异常检测对于心脏病患者的早期诊断和治疗至关重要,尤其是在植入式心律转复除颤器等医疗设备中,低功耗和高准确性的检测算法显得尤为重要。已有的高准确率检测算法对资源要求高,很难部署在资源受限的嵌入式设备中。针对这一问题,本文提出了一种结合深度学习算法和机器学习算法的混合特征分类算法,并基于STM32F303K8T6单片机实现了该算法的部署,设计了一种心电异常检测设备原型。实验结果显示,该检测设备具有更高的精度和更强的泛化能力,并且在内存占用和延迟方面表现出色。此研究为解决心电异常检测问题提供了一种新的解决方案,对于医疗设备设计和算法优化具有重要意义。
-
关键词:
- STM32F303K8T6 /
- 混合特征 /
- 决策树 /
- 卷积神经网络 /
- 心电异常检测
Abstract:Electrocardiogram (ECG) anomaly detection plays a critical role in the early diagnosis and timely treatment of patients with heart disease. This is particularly important for medical devices such as implantable cardioverter defibrillators (ICD), where it is essential to have detection algorithms that are not only highly accurate but also consume minimal power. Traditional detection methods often face challenges in achieving optimal performance on embedded devices with limited resources, which necessitates the exploration of new and innovative solutions. In this paper, we present the design of an ECG anomaly detection device that leverages the capabilities of artificial intelligence algorithms. For this purpose, the STM32F303K8T6 development board has been selected as the platform for model design and deployment. Additionally, we have implemented an evaluation system that thoroughly tests and assesses the performance of the deployed algorithms. The study undertakes a comprehensive comparison between deep learning algorithms and traditional machine learning algorithms, culminating in the proposal of a novel classification algorithm that combines hybrid features. Experimental results highlight that this algorithm not only demonstrates superior memory efficiency and reduced latency on resource-constrained ICD devices but also exhibits higher precision and robust generalization capabilities. This research provides a novel and effective solution for ECG anomaly detection, offering significant implications for the design of medical devices and the optimization of detection algorithms.
-
Keywords:
- STM32F303K8T6 /
- hybrid features /
- decision tree /
- CNN /
- ECG anomaly detection
-
0. 引言
我国每年发生心脏性猝死(sudden cardiac death,SCD)总人数约为54.4万[1]。SCD导致的死亡人数占心血管疾病总死亡人数的1/2以上。其中室性心律失常(ventricular arrhythmia,VA)是导致SCD的主要原因。近年来,SCD发病率越来越高,及时采取有效措施对患者进行抢救,对于挽救患者生命具有重要意义[2-3]。
SCD是由心脏电系统失灵引起的,其发生时心脏的下腔突然会以不规则的方式跳动阻止心脏向肺部和身体泵血。除非通过电击使心脏恢复正常节律,否则病人很难存活。高风险SCD患者可以通过佩戴植入型心律转复除颤器(implantable cardioverter defibrillator,ICD)在发生危及生命的VA时提供适当和及时的除颤治疗。及时的诊断和治疗可以在发生危及生命的VA时增加生存机会。目前ICD使用的检测方法需要医生根据自身的经验,通过频繁的测试来调整参数[4]。实现自动检测的ICD可以进一步提高检测性能,并减轻医生的工作量[5]。
基于机器学习的检测方法已经展示了其在心电图分类任务上的优势和潜力。这些算法能够根据从数据中手动选择和设计特征进行分类,从而实现自动化的分类和诊断。传统的机器学习算法,如支持向量机、决策树、随机森林和朴素贝叶斯分类器等,已经被成功应用于多种分类任务中[6]。随着深度学习技术的迅速发展,深度学习算法在心电图分类领域也逐渐展现出了强大的潜力。深度学习模型,特别是卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)等架构,能够学习到数据中的复杂特征和模式,从而在心电图分类任务中取得更好的效果[7-9]。然而,在设备层面由于物理尺寸和电池寿命的限制,目前的ICD对VA的检测只能提供128~1 024 Kb的只读存储器和8~32 Kb的随机存取存储器来存储数据和执行程序[10-11]。而目前的深度学习算法只关注于分类性能指标,无法满足ICD设备的资源限制,而那些满足ICD设备的资源限制的机器学习算法在算法精度或泛化能力上存在不足[12]。
针对上述问题,本文设计了结合深度学习和机器学习算法的混合特征分类算法,能够在满足ICD设备资源限制的条件下,实现更高的精度和更强的泛化能力。进一步地,拟实现该算法在STM32F303K8T6单片机上的部署,搭建了一种ICD设备的原型。本研究为解决心电异常检测问题提供了一种新颖的解决方案,可为端侧智能医疗设备设计和算法优化提供重要参考。
1. 混合特征分类算法设计
本文提出了结合深度学习和机器学习算法的混合特征分类算法,提高分类的准确性和泛化能力,提升室性心律失常病症的诊断精度。
1.1 基于深度学习算法的分类实现
CNN是一种深度学习模型,通过卷积运算替代了深度神经网络中的常规乘法。在CNN中,卷积层通过卷积核的权重来提取特征,线性整流函数(rectified linear unit,ReLU)层作为激活函数实现非线性功能[13]。随机失活(Dropout)层可以防止过拟合,同时通过模型集成提高准确性[14]。池化层用于降低特征维度,加快训练过程[15]。
对于本文的CNN结构设计需要强调的是,由于设备内存有限且对推理延迟要求高,模型的参数量和计算量受到较大限制。本文CNN模型的设计如图 1所示,模型的第1层是一个卷积层,具有4个大小为10×1的卷积核,之后接一个ReLU函数作为激活函数。在卷积层之后,使用最大池化层对卷积层的输出进行子采样,然后应用Dropout层来防止过拟合。之后,接入第2个卷积层、最大池化层和Dropout层,除了卷积层使用8个大小为8×1的卷积核外,其他配置与前一层相同。最好平铺特征序列并输入进2层全连接层得到代表2个类的输出。2个输出中较大的那个所代表的类便是分类结果。为了优化分类模型,采用了交叉熵损失函数和学习率为0.001的自适应矩估计(adaptive moment estimation,Adam)优化算法[16]。此外,还使用了余弦退火方法来防止模型对训练数据的过拟合[17]。
1.2 基于机器学习算法的分类实现
相比深度学习算法,机器学习算法通常消耗的计算资源较少因此更容易实施和部署。但是机器学习算法通常需要手动选择和设计特征,在处理复杂数据时可能会变得困难和耗时。因此本文尝试使用决策树算法根据数据的时域特征进行分类。
决策树模型的学习通常是一个递归地选择最优特征并根据该特征对训练数据进行分割的过程[18]。树构建过程往往对应着特征空间的划分。具体构建过程如下:构建根节点,将所有数据都放入根节点,并计算整个数据集的信息熵;计算基于每个特征进行子集划分后子集的熵,求得信息增益。信息增益即在划分数据集前后的信息熵的差异,选择信息增益最大的特征作为划分空间的最终特征,对数据集进行划分;根据每次划分的数据集,递归地实现上述过程。直到所有子集被正确分类或者没有可用于分割的特征为止,从而建立决策树。这一过程可以将数据集划分为具有相似特征的数据块,使得每个子集内部的数据尽可能地属于同一类别,从而实现对数据的分类。
时域特征能清晰地反映信号的特征并且易于提取。本文主要从统计学和形态学角度提取这些特征。统计特征包括均值、最大值、最小值、范围、方差、偏度、峰度、平均心率、最大心率、最小心率、心率变化等。在形态特征方面,由于Q波、S波、P波和T波在某些心律失常发生时可能不存在,以及使用场景对推理时间的要求,本文主要提取R波特征如平均幅度,频次等。特征选择在于选取对训练数据具有更强分类能力的特征,通过适当的特征选择可以提高分类算法的效率和性能。
本文将上述特征输入决策树模型进行训练得到了3层的决策树模型如图 2所示。经过训练的模型依靠数据的偏度、最大值、方差和R波平均间隔4个特征以及训练得到的特征阈值进行分类。
1.3 基于混合特征分类算法设计
传统的分类方法通常会选择或设计一组特征来描述数据,并基于这些特征进行分类。然而,随着深度学习的发展,可以利用深度神经网络自动学习数据的高级表示,即深度特征。因此,将深度特征与手动选择和设计的特征相结合,可以充分发挥二者的优势,提高分类的准确性和泛化能力。
基于前文介绍的2类算法,本文在CNN算法的基础上,将其计算得到的深度特征与机器学习中手动选择和设计的特征组合成为混合特征再基于混合特征进行分类。所设计的基于混合特征的分类算法如图 3所示,将时域特征先送入全连接层进行处理,之后与CNN提取得到的深度特征连接成一个特征向量输入进最后一个全连接层进行分类。以长度为1 250的心电信号为例,经过CNN后会得到长度为24的深度特征向量。另一边将时域特征先送入全连接层进行处理后,会得到长度为8的时域特征向量。将2个特征向量组合成长度为32的混合特征向量并输入进最后的全连接层进行分类。
通过将深度学习和传统机器学习方法相结合,可以充分利用深度学习网络对数据的高级抽象能力,同时又能够利用传统机器学习方法对数据的详细特征进行建模。这种混合特征分类方法能够在一定程度上克服单一方法的局限性,在不明显增加算法规模的前提下提高分类模型的性能。
2. 算法部署
STM32Cube. AI是意法半导体为STM32开发者提供的神经网络和机器学习工具包,用于在微控制器中优化模型推理速度。STM32Cube. AI工具包含最常见的深度学习库,还包括许多机器学习优化的算法,如决策树分类器。STM32Cube. AI还可以通过X-CUBE-AI包进行扩展,可以实现将训练好的神经网络模型和经典机器学习模型进行自动转换。X-CUBE-AI支持所有使用ONNX格式的框架,包括PyTorch、Microsoft Cognitive Toolkit和MATLAB等,并支持许多常见的深度学习和机器学习框架,如TFlite、Keras、Caffe、scikit-learn等。此外,X-CUBE-AI还可以通过8位量化和将权重和激活参数保存在外部Flash和RAM存储器中等方法来进一步优化,以便部署规模更大的网络。
为了证明所提出的分类算法对于资源受限的ICD设备的可行性,本研究选择了低功耗的STM32F303K8T6开发板对模型进行部署。其搭载ARM Cortex M4核心,主频为72 MHz,64 KB闪存,16 KB的SRAM并且支持STM32Cube. AI。整个模型的训练过程,包括设计、训练和超参数优化,都在PyTorch环境中执行。完成训练后将模型转换位ONNX格式。ONNX格式将CNN的计算图存储为具有一组固定输入和输出的有向无环图。图 3的每个节点表示一个操作,可以有多个与之关联的传入和传出边。边描述了CNN执行期间的数据流。之后利用STM32Cube. AI将ONNX格式的模型部署到开发板上。
3. 实验
3.1 数据集
数据集是基于无双医疗提供的心内心电图(intracardiac electrogram,IEGM)记录构建的。数据是从90名受试者所佩戴的ICD中采集得来。数据采样率为250 Hz。每个数据首先按照专家提供的标签分成数个片段,每个片段只对应一个描述心脏异常的标签。接下来,将每个片段通过一个带有150个采样点的5 s滑动窗口进行细分。细分出的每个数据的固定长度为1 250个采样点,共30 213个。
数据的标签共8种,如图 4所示。其可以分为2类(VA和非VA)。对于VA类,相应的标签包括室性心动过速(ventricular tachycardia,VT)、心室颤动(ventricular fibrillation,VFb)和心室扑动(ventricular flutter,VFt)。对于非VA类,相应的标签包括心室早发性去极化(ventricular premature depolarization,VPD)、心房颤动(atrial fibrillation,AFb)、心房扑动(atrial flutter,AFt)、窦性心律(sinus rhythm,SR)和室上性心搏过速(supraventricular tachycardia,SVT)。
图 4 数据集样例(a)室性心动过速;(b)心室颤动;(c)心室扑动;(d)心室早发性去极化;(e)心房颤动;(f)心房扑动;(g)窦性心律;(h)室上性心搏过速Fig. 4 examples of the dataset(a) ventricular tachycardia; (b) ventricular fibrillation; (c) ventricular flutter; (d) ventricular premature depolarization; (e) atrial fibrillation; (f) atrial flutter; (g) sinus rhythm; (h) supraventricular tachycardia3.2 评价指标
3.2.1 准确性
为了评价准确性,使用准确率(accuracy,ACC)、阴性预测值(negative predictive value,NPV)、阳性预测值(positive predictive value,PPV)以及Fβ评分作为评价指标。ACC,所有实验中预测正确的样本数占所有样本数量的比例;NPV,在所有被预测为反的样本中实际为反样本的比例;PPV,在所有被预测为正的样本中实际为正样本的比例;Fβ评分,利用一个评价标准来以平衡的方式加权阳性预测值和召回率,二者都具有较高的值才能得到较高的Fβ分数。
具体来说,首先根据算法对测试数据集中IEGM片段返回的VA和非VA的分类结果计算混淆矩阵。然后从混淆矩阵中得出真阳性(true positives,TP),真阴性(true negatives,TN),假阳性(false positives,FP)和假阴性(false negatives,FN)。
召回率(R)的计算方法为
$$ R = \frac {T ^ {+}}{T ^ {+} + F ^ {-}}, $$ (1) PPV(P+)的计算方法为
$$ P ^ {+} = \frac {T ^ {+}}{T ^ {+} + F ^ {+}}, $$ (2) Fβ的计算方法为
$$ F _ {\beta} = \left(1 + \beta^ {2}\right) \times \frac {P ^ {+} \cdot R}{\left(\beta^ {2} \cdot P ^ {+}\right) + R}, $$ (3) 式中:T+为真阳性;F–为假阴性;F+为假阳性。
本文中β=2,因为对于危及生命的VA的检测准确性是ICD最关键的功能,因此该值赋予了召回率更高的权重。Fβ评分的设置是希望尽可能多的辨别出VA,以避免出现遗漏,同时也要兼顾非VA的检测准确性,以减少误判。Fβ评分介于0~1且越接近1说明性能越好。
NPV(P–)和ACC(A)的计算方式为
$$ P ^ {-} = \frac {T ^ {-}}{T ^ {-} + F ^ {-}}, $$ (4) $$ A = \frac {T ^ {+} + T ^ {-}}{T ^ {+} + F ^ {-} + F ^ {+} + T ^ {-}}, $$ (5) 式中T–为真阴性。
3.2.2 泛化能力
一个具有良好泛化能力的模型能够在不同受试者上都表现良好,这意味着模型不仅能够适应训练数据,还能够有效处理未见过的样本,从而在实际应用中展现出鲁棒性。对于跨受试者的检测任务而言,泛化能力的表现尤为重要,因为不同受试者的生理信号、噪声和个体特征可能有所不同,模型需要适应这些差异,才能在实际应用中展现出鲁棒性。为了评估模型在不同受试者上对VA检测的泛化能力,本文提出了泛化指标为
$$ G = \frac {N _ {\text { pass }}}{N _ {\text { total }}} \times 100 \%, $$ (6) 式中:Ntotal表示数据集中受试者的总数,Npass表示针对每位受试者算得的Fβ得分超过阈值的数量,即按受试者对测试数据集分组,将来自同一位受试者的数据评估模型算得其;Fβ评得分并与阈值比较,统计超过阈值的受试者数量,本文将阈值定为0.95。G得分越高说明模型对每一位受试者都有良好的表现。
3.2.3 延迟与内存占用
由于我们的模型最终要部署到资源受限的微控制单元(microcontroller unit,MCU)设备上本地运行,所以除了准确性外延迟与内存占用也是重要的评价指标。为了有效地进行评估,本文还将模型部署后对flash的占用情况M以及模型在MCU上运行时的平均推理时间L作为评价指标。
3.3 实验方法
为获取评价指标,本文使用python在主机端实现了一个基于串口通信的评估系统,使用开发板上的串口与主机相连实现双方数据的传输。在评估过程中主机将IEGM数据通过串口发送给开发板,收到数据后开发板开始推理,推理完成后将结果发送回主机端并准备接收下一个数据,主机端保存返回的结果并将下一个数据发送给开发板。测试数据发送完毕后,根据返回的结果对准确性进行评估。对于延迟,使用MCU上的SysTick定时器记录模型推理的开始和结束时间,计算得到时间差并发送给主机端。对于内存占用,模型对flash的占用情况是在编译和构建MCU程序时报告的需要存储在flash上的值的总和(即Code、RO-Data和RW-Data)。
3.4 实验结果
为评估本文的3种方法,在相同实验条件下,将算法部署到STM32F303K8T6开发板上并进行评估。关于准确性和泛化能力的实验结果见表 1。
表 1 不同算法对比Table 1 comparison of different algorithms算法 Fβ评分 泛化指标 准确率 阴性预测值 阳性预测值 内存占用/Kb 延迟/ms 卷积神经网络 0.965 6 81.25 93.13 91.42 93.32 15.99 5.62 决策树 0.972 2 75.00 92.75 90.58 91.99 12.95 0.25 混合特征 0.973 6 87.50 93.92 92.72 94.40 16.93 7.24 决策树算法在低延迟方面表现最好。由于其计算过程只设计对时域特征的提取以及条件判断,相较于另外2种需要进行大量的乘加运算的方法速度提升了95%以上,并且其在准确性指标上有着很好的表现。
CNN模型与决策树模型在准确率、NPV、PPV以及Fβ上各有优势且相差不大。CNN模型作为一种深度学习模型,能够从原始数据中学习到复杂的特征表示。相比之下,决策树模型具有良好的可解释性和可视化性,能够清晰地呈现特征之间的关系和分类过程。然而,决策树模型的表达能力相对较弱,可能无法很好地拟合复杂的数据模式。然而在这一前提下二者在泛化能力上却相差6.25,这表明决策树算法相比于CNN算法在面对一部分患者的数据时表现的很好,但在面对另一部分患者的数据时表现不佳。
混合特征模型在所有指标上都取得了最佳的性能,准确性指标和G值均优于其他2种模型。这表明混合特征模型结合多种特征进行分类使其具有较高的泛化能力和分类性能。但其在延迟与内存占用方面都是最差的,是由于其相比于CNN多处理了时域特征参数,导致模型参数量和计算量的提升。同时,其在ICD场景下可以接受的存储空间以及延时(即多消耗约1 Kb的存储空间以及多约1.6 ms的延时)换取了更高的准确性以及泛化能力。
4. 结束语
本研究设计并实现了一种可部署机器学习算法的端侧心电异常检测设备,对不同类型算法在准确度、泛化能力和资源消耗等多方面进行综合比较,提出了一种基于混合特征的分类算法。经实验验证,此算法在满足ICD设备资源限制的情况下,具有更高的精度和更强的泛化能力。不仅为实现可靠的心电异常检测系统提供了新的解决方案,也为医疗设备设计和算法优化提供了新思路。
© The editorial department of Journal of Capital Normal University (Natural Science Edition) 2024.This is an open access article under the CC BY-NC-ND 4.0 license (https://creativecommons.org/licenses/by-nc-nd/4.0/). -
图 4 数据集样例
(a)室性心动过速;(b)心室颤动;(c)心室扑动;(d)心室早发性去极化;(e)心房颤动;(f)心房扑动;(g)窦性心律;(h)室上性心搏过速
Fig. 4 examples of the dataset
(a) ventricular tachycardia; (b) ventricular fibrillation; (c) ventricular flutter; (d) ventricular premature depolarization; (e) atrial fibrillation; (f) atrial flutter; (g) sinus rhythm; (h) supraventricular tachycardia
表 1 不同算法对比
Table 1 comparison of different algorithms
算法 Fβ评分 泛化指标 准确率 阴性预测值 阳性预测值 内存占用/Kb 延迟/ms 卷积神经网络 0.965 6 81.25 93.13 91.42 93.32 15.99 5.62 决策树 0.972 2 75.00 92.75 90.58 91.99 12.95 0.25 混合特征 0.973 6 87.50 93.92 92.72 94.40 16.93 7.24 -
[1] Hua W, Zhang L F, Wu Y F, et al. Incidence of sudden cardiac death in China: analysis of 4 regional populations [J]. Journal of the American College of Cardiology, 2009, 54(12): 1110-1118. DOI: 10.1016/j.jacc.2009.06.016. [2] 陈若菡, 陈柯萍, 华伟, 等. 植入型心律转复除颤器恰当治疗的发放、危险因素及其对预后的影响[J]. 中华心律失常学杂志, 2019, 23(4): 283-287. DOI: 10.3760/cma.j.issn.1007-6638.2019.04.003. ChenRuohan, Chen Keping, Hua Wei, et al. The appropriate therapy of implantable cardioverter defibrillator: incidence, predictors and its impact on prognosis [J]. Chin J Cardiac Arrhyth, 2019, 23(4): 283-287. doi: 10.3760/cma.j.issn.1007-6638.2019.04.003 [3] 闫丽荣, 陈柯萍, 戴研, 等. 埋藏式心脏复律除颤器在肥厚型心肌病心脏性猝死高危患者一级预防中的临床疗效分析[J]. 中国循环杂志, 2019, 34(3): 256-260. DOI: 10.3969/j.issn.1000-3614.2019.03.00. YanLirong, Chen Keping, Dai Yan, et al. Clinical outcomes of primary prevention implantable cardioverter defibrillator therapy for patients with hypertrophic cardiomyopathy[J]. Chinese Circulation Journal, 2019, 34(3): 256-260. doi: 10.3969/j.issn.1000-3614.2019.03.00 [4] Zanker N, Schuster D, Gilkerson J, et al. Tachycardia detection in ICDs by Boston Scientific: Algorithms, pearls, and pitfalls [J]. Herzschrittmachertherapie Elektrophysiologie, 2016, 27 (3): 186-192. DOI: 10.1007/s00399-016-0454-2. [5] Acharya U R, Fujita H, Oh S L, et al. Automated identification of shockable and non-shockable life-threatening ventricular arrhythmias using convolutional neural network[J]. Future Generation Computer Systems, 2018, 79: 952-959. DOI: 10.1016/j.future.2017.08.039. [6] Alonso-Atienza F, Morgado E, Fernandez-Martinez L, et al. Combination of ECG parameters withsupport vector machines for the detection of life-threatening arrhythmias [C]//Murray A. Computing in Cardiology. Krakow, Poland: IEEE Computer Society, 2012, 39: 385-388. [7] 王文刀, 王润泽, 魏鑫磊, 等. 基于堆叠式双向LSTM的心电图自动识别算法[J]. 计算机科学, 2020, 47(7): 118-124. DOI: 10.11896/jsjkx.190600161. WangWendao, Wang Runze, Wei Xinlei, et al. Automatic Recognition of ECG Based on Stacked Bidirectional LSTM[J]. Computer Science, 2020, 47(7): 118-124. doi: 10.11896/jsjkx.190600161 [8] 王建荣, 尉向前, 辛彬彬, 等. 一种改进U-Net网络的心电图分类算法研究[J]. 重庆理工大学学报(自然科学), 2024, 38(1): 142-149. DOI: 10.3969/j.issn. WangJianyong, Yu Xiangqian, Xin Binbin, et al. Study on ECG classification algorithm based on improved U-Net network[J]. Journal of Chongqing University of Technology (Natural Science), 2024, 38(1): 142-149. doi: 10.3969/j.issn [9] 唐孝, 唐丽, 莫智文. 基于支持向量机算法的ECG分类策略[J]. 生物医学工程学杂志, 2008, 25(2): 246-249. DOI: 10.3321/j.issn:1001-5515.2008.02.004. Tang Xiao, Tang Li, Mo Zhiwen, et al. A strategy of ECG classification based on SVM [J]. Journal of Biomedical Engineering, 2008, 25(2): 246-249. doi: 10.3321/j.issn:1001-5515.2008.02.004 [10] Camara C, Lopez P P, Tapiador J E. Security and privacy issues in implantable medical devices: A comprehensive survey[J]. Journal of biomedical informatics. 2015, 55: 272-289. DOI: 10.1016/j.jbi.2015.04.007. [11] Strydis C, Seepers R M, Peris-Lopez P, et al. A system architecture, processor, and communication protocol for secure implants[J]. ACM Transactions on Architecture and Code Optimization (TACO), 2013, 10(4): 1-23. DOI: 10.1145/2541228.2555313. [12] Jia Z G, Wang Z P, Hong F, et al. Learning to learn personalized neural network for ventricular arrhythmias detection on intracardiac EGMs[EB/OL]. [2024-09-28]. https://doi.org/10.24963/ijcai.2021/359. [13] Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines [C]//Johannes F. Proceedings of the 27th International Conference on International Conference on Machine Learning. Haifa, Israe: Mnipress, 2010: 807-814. [14] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014, 15 (1): 1929-1958. DOI: 10.5555/2627435.2670313. [15] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229-1251. DOI: 10.11897/SP.J.1016.2017.01229. Zhou Feiyan, Jin Linpeng, Dong Jun. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251. doi: 10.11897/SP.J.1016.2017.01229 [16] Kingma D P, Ba J. Adam: a method for stochastic optimization[EB/OL]. [2024-09-28]. https://arxiv.org/abs/1412.6980v9. [17] Loshchilov I, Hutter F. Sgdr: Stochastic gradient descent with warm restarts[EB/OL]. [2024-09-28]. https://arxiv.org/abs/1608.03983. [18] Quinlan J R. C4.5: Programs for machine learning[M]. California: Morgan Kaufmann, 1993.
下载: