半监督极限学习机及其在近红外光谱数据分析中的应用

打开文本图片集

摘要：当数据集中包含的训练信息不充分时，监督的极限学习机较难应用，因此将半监督学习应用到极限学习机，提出一种半监督极限学习机分类模型；但其模型是非凸、非光滑的，很难直接求其全局最优解。为此利用组合优化方法，将提出的半监督极限学习机化为线性混合整数规划，可直接得到其全局最优解。进一步，利用近红外光谱技术，将半监督极限学习机应用于药品和杂交种子的近红外光谱数据的模式分类。与传统方法相比，在不同的光谱区域的数值实验结果显示：当数据集中包含训练信息不充分时，提出的半监督极限学习机提高了模型的推广能力，验证了所提出方法的可行性和有效性。

关键词：极限学习机；半监督学习；非凸最优化；混合整数规划；近红外光谱

中图分类号： TP182； TP183

文献标志码：A

Abstract：When insufficient training information is available， supervised Extreme Learning Machine （ELM） is difficult to use. Thus applying semisupervised learning to ELM， a SemiSupervised ELM （SSELM） framework was proposed. However， it is difficult to find the optimal solution of SSELM due to its nonconvexity and nonsmoothness. Using combinatorial optimization method， SSELM was solved by reformulating SSELM as a linear mixed integer program. Furthermore， SSELM was used for the direct recognition of medicine and seeds datasets using NearInfraRed spectroscopy （NIR） technology. Compared with the traditional ELM methods， the experimental results show that SSELM can improve the generation when insufficient training information is available， which indicates the feasibility and effectiveness of the proposed method.

Key words：Extreme Learning Machine （ELM）； semisupervised learning； nonconvex optimization； mixed integer programming； NearInfraRed spectroscopy （NIR）

0 引言

在模式识别和机器学习问题中，通常根据训练样本的类标示是否参与训练而将学习分成三类：训练样本类标示参与训练的，称之为监督学习；训练样本类标示不参与训练的，称之为无监督学习；部分样本的类标示参与训练的，称之为半监督学习。在实际应用中，获取大量有标记数据通常费时且代价较高，例如Web文本分类问题中，虽然很容易收集到Web网页，但标示出不同的网页为对应的主题时却费时费力，因此同时用大量未标示样本和少量有标示样本的半监督学习方法在理论及实际应用中得到了极大关注。

在一些应用问题中训练集提供信息不充分或缺少足够的训练样本，此时仍采用监督的学习方法进行学习其效果往往不理想。半监督学习则同时利用有标示和未标示样本进行学习，以提高分类器的泛化能力。半监督支持向量机（SemiSupervised Support Vector Machine， S3VM）[1-3]是一种有效的半监督学习算法，并且成功地应用于模式识别领域，近年来已成为机器学习领域的研究热点。S3VM是标准支持向量机（Support Vector Machine， SVM）[4]的一种拓展，它是在半监督学习的聚类假设（或低密度分离）[1]基础上建立起来的较完善的一种半监督学习方法。它将分类间隔最大化原则应用到标示和未标示样本，在数据的低密度区域建立最优的分离超平面使其远离标示和未标示样本；但由于半监督学习模型中并入了未标示样本信息，故其模型大都是非凸且非光滑的，较难求其全局最优解。因此，在半监督学习中，国内外研究者提出了一些算法求解S3VM，例如：凸松弛算法[1，5]、迭代逼近算法[1-3]和组合优化算法[1-2]。

极限学习机（Extreme Learning Machine， ELM）[6-9]是一种新型单隐层前馈神经网络，具有结构简单、学习速度快、非线性处理能力和全局搜索性能良好等优势。不同于传统的神经网络，ELM设置合适的隐层节点数，其输入权向量和隐层偏差随机赋值，输出层权值可通过最小二乘法得到。网络参数的随机赋值避免了多次迭代和局部最小值，使得ELM训练速度快且具有良好的泛化性。因此，ELM作为一种新的处理大数据的重要工具已经成为近年来的研究热点。

近年来，半监督学习已经应用于模式识别和ELM研究。例如文献[10-11]提出了基于半监督流形假设[1，10]的半监督极限学习机，其基本思想是：通过在其目标函数中加入流形正则项，将未标示样本信息加入训练，以提高ELM的推广能力。本文构建了基于半监督聚类假设的半监督极限学习机（SemiSupervised Extreme Learning Machine， SSELM），但模型是非凸且非光滑的，较难直接求其全局最优解。因此本文又将问题化为混合整数规划，得到其全局最优解，并用于两个近红外光谱数据集的分类实验。

1 研究背景

1.1 半监督支持向量机

注意：

1）S3VM在处理非线性分类时，由于其非线性映射未知及核参数需要耗时通过交叉验证调整，而在SSELM中所有网络参数随机赋值无需调整，其非线性映射具有已知形式，其核函数[5]为：KELM（xi，xj）=h（xi）Th（xj）。

2）S3VM分类超平面需要求解偏移量b，而在ELM特征空间中，SSELM分类超平面通过原点不需要求解偏移量b。因此，ELM及SSELM能够更方便、简单地应用。

3）与监督ELM相比，当缺少足够的训练样本时，SSELM并入了未标示样本一起学习，能够提高模型的推广能力。

4） 混合整数规划（式（8））是非凸优化SSELM（式（7））的组合优化形式，该方法较简单直接， 但当数据集规模较大，算法较耗时。

3 数值实验和分析

近年来计算机和生物信息学的发展也促进了近红外光谱（NearInfraRed spectroscopy， NIR）技术[13-14]的发展，这使其在识别药品和分析药品等方面得到广泛应用。近红外光谱分析的理论基础就是样本的光谱特征随着其成分和结构变化。因此，数据挖掘方法和多变量方法尤其适合分析药品。

为了综合评估本文所提出方法的有效性，分别在两个近红外数据集上进行数值模拟实验：

实验一

药品近红外光谱数据集。包括枸橼酸他莫昔芬片和枸橼酸托瑞米芬片两种药品的近红外光谱。选取120片，每类样品各60片进行实验。

实验二

玉米杂交种子光谱数据集。采用2009年收获的农大108玉米杂交种和母本178种子的近红外光谱，产地为北京。

本文使用的光谱数据集均采用德国布鲁克仪器公司生产的MPA傅里叶变换近红外光谱仪，分辨率设为4cm-1，扫描范围4000～12000cm-1，平均扫描次数为32；在每个样品的不同位置采集光谱4次：2次正面和2次背面。玉米杂交种子样品的近红外光谱如图1所示。

应用软件OPUS 5.5将光谱数字化后，每一个样本可表示为一个列向量，向量维数即为波长变量的个数。为验证提出方法的可行性和有效性，在实验一中将药品光谱范围4000～12000cm-1分为8个不同谱区域，如表1所示。实验二选取 4000～5000cm-1，5000～6000cm-1，6000～7000cm-1三个波段进行数值实验，将三个波段分别记为Region A、Region B、Region C。

其中：ACC、F1、MCC和GACC的值越高，说明其模型推广能力越好；TP和TN分别表示正类和负类样本的正确率，FN和FP分别表示正类和负类样本的错误率。

3.3 实验结果

对于数据集的每个谱数据集，给出交叉验证得到的平均结果。在每次实验中，每个谱数据集随机分为两部分：10%数据作为标示样本，其余90%数据作为未标示样本。然后利用学习算法的结果对未标示样本进行重分类。

3.3.1 药品数据集分类

对于药品数据集，首先将SSELM与OPTELM（式（6））及SVMELM算法相比，其平均10折的推广能力及其他算法比较结果见表2。从表2中可以看出，SSELM与ELM和SVMELM在中红外谱区Set A、Set B、Set C、Set D、Set E上的分类精度（ACC）相近；对于高谱区Set F、Set G两个谱集，SSELM得到了更好的结果；而对于Set H，SSELM比其他两种算法稍差。以上的实验结果表明，就分类精度ACC而言，SSELM与ELM及SVMELM基本相当；而对于MCC，SSELM在大部分谱集上均有明显的优势。

为了进一步评估SSELM的推广能力，比较它与S3VM在4个中红外谱区域的推广能力，其平均10折实验结果见表3。

表3显示：依据ACC、MCC和F1结果的比较，SSELM在4个波长较低的谱区上，都得到了比S3VM更好的实验结果。

3.3.2 种子分类

对于种子的光谱数据，将SSELM与OPTELM（式（6））和SVMELM算法相比，其平均10折的分类精度及其他标准比较结果见表4。

从表4中可以看出，SSELM在三个数据集上均比ELM和SVMELM得到了更好的结果，表明无论是在分类精度上还是处理非平衡数据集的能力上，SSELM都更有效。

以上两个实验结果表明，当缺少足够的标示样本时，在训练分类器时加入未标示样本能提高ELM分类器的泛化性能，或者保持相当的推广能力。

4 结语

本文将半监督学习应用到极限学习机中，提出了一种半监督极限学习机模型SSELM。但由于模型是非凸且非光滑的，很难直接求其全局最优解，本文又将问题化为混合整数规划，得到其全局最优解。由于SSELM的非线性映射具有已知形式且不需要求解偏移量，因此，SSELM能够更方便、简单地应用。

将SSELM应用于肿瘤药品的NIR谱数据分类，与传统ELM、SVMELM和S3VM相比，不同NIR光谱范围的数值实验显示：当训练集中包含的信息不充分或缺少足够的训练样本时， SSELM在分类精度上与ELM和SVMELM基本相当，对于MCC而言，大部分谱集上均有明显的优势，表明SSELM在处理非平衡数据集分类问题的能力更强。然后将提出的SSELM应用于种子的谱数据分类，实验结果表明无论是在分类精度上还是处理非平衡数据集的能力上，SSELM都更有效。

以上结果表明在训练集中加入未标示样本能够提高推广能力，验证了本文提出方法的可行性和有效性，为利用近红外光谱和模式识别技术的研究提供了理论依据和实用方法。

参考文献：

[1]CHAPELLE O， SINDHWANI V， KEERTHI S S. Optimization techniques for semisupervised support vector machines [J]. Journal of Machine Learning Research， 2008， 9： 203-233.

[2]BENNETT K P， DEMIRIZ A. Semisupervised support vector machines [C]// Proceedings of the 1998 Conference on Advances in Neural Information Processing Systems II. Cambridge， MA： MIT Press， 1998： 368-374.

[3]

YANG L M， WANG L S. A class of smooth semisupervised SVM by difference of convex functions programming and algorithm [J]. Knowledgebased Systems， 2013， 41： 1-7.

[4]TEMPO R， CALAFIORE G， DABBENE F. Statistical learning theory [M]// Randomized Algorithms for Analysis and Control of Uncertain Systems： with Applications. London： SpringerVerlag， 2013： 123-134.

【http：//link.springer.com/chapter/10.1007%2F978-1-4471-4610-0_9】

[5]YANG L M， WANG L S， GAO Y P， et al. A convex relaxation framework for a class of semisupervised learning methods and its application in pattern recognition [J]. Engineering Applications of Artificial Intelligence， 2014， 35： 335-344.

[6]HUANG GB， ZHU QY， SIEW CK. Extreme learning machine： theory and applications [J]. Neurocomputing， 2006， 70（1/2/3）： 489-501.

【Neural Networks — Selected Papers from the 7th Brazilian Symposium on Neural Networks （SBRN 04）】

[7]HUANG GB， DING X， ZHOU H. Optimization method based extreme learning machine for classification [J]. Neurocomputing， 2010， 74（1/2/3）： 155-163.

[8]MATIAS T， SOUZA F， ARAúJO R， et al. Learning of a singlehidden layer feedforward neural network using an optimized extreme learning machine [J]. Neurocomputing， 2014， 129： 428-436.

[9]CHOROWSKI J， WANG J， ZURADA J M. Review and performance comparison of SVM and ELMbased classifiers [J]. Neurocomputing， 2014， 128： 507-516.

[10]LIU J F， CHEN Y Q， LIU M J， et al. SELM： Semisupervised ELM with application in sparse calibrated location estimation [J]. Neurocomputing， 2011， 74（16）： 2566-2572.

【Advances in Extreme Learning Machine： Theory and Applications Biological Inspired Systems. Computational and Ambient Intelligence — Selected papers of the 10th International Work-Conference on Artificial Neural Networks （IWANN2009）】

[11]HUANG G， SONG S J， GUPTA J N D， et al. Semisupervised and unsupervised extreme learning machines [J]. IEEE Transactions on Cybernetics， 2014， 44（12）： 2405-2417.

[12]HUANG GB， CHEN L， SIEW CK. Universal approximation using incremental constructive feedforward networks with random hidden nodes [J]. IEEE Transactions on Neural Networks， 2006， 17（4）： 879-892.

[13]张海东，李贵荣，李若诚，等.近红外光谱结合极限学习机和GAPLS算法检测普洱茶茶多酚含量[J].激光与光电子学进展，2013，50（4）：180-186. （ZHANG H D， LI G R， LI R C， et al. Determination of tea polyphenols content in Puerh tea using nearinfrared spectroscopy combined with extreme learning machine and GAPLS algorithm [J]. Laser & Optoelectronics Progress， 2013， 50（4）： 180-186.）

[14]YANG L M， SUN Q. Recognition of the hardness of licorice seeds using a semisupervised learning method and nearinfrared spectral data [J]. Chemometrics & Intelligent Laboratory Systems， 2012， 114： 109-115.

[15]LIU Q G， HE Q， SHI Z Z， et al. Extreme support vector machine classifier [C]// PAKDD 2008： Proceedings of the 12th PacificAsia Conference on Advances in Knowledge Discovery and Data Mining， LNCS 5012. Berlin： SpringerVerlag， 2008： 222-233.

[16]FAWCETT T. An introduction to ROC analysis [J]. Pattern Recognition Letters， 2006， 27（8）： 861-874.

推荐访问:学习机 光谱 极限 监督 分析