引用本文:刘建伟,黎海恩,刘媛,付捷,罗雄麟.迭代再权共轭梯度q范数正则化线性最小二乘–支持 向量机分类算法[J].控制理论与应用,2014,31(3):334~342.[点击复制]
LIU Jian-wei,LI Hai-en,LIU Yuan,FU Jie,LUO Xiong-lin.q–norm regularizing least-square-support-vector-machine linear classifier algorithm via iterative reweighted conjugate gradient[J].Control Theory and Technology,2014,31(3):334~342.[点击复制]
迭代再权共轭梯度q范数正则化线性最小二乘–支持 向量机分类算法
q–norm regularizing least-square-support-vector-machine linear classifier algorithm via iterative reweighted conjugate gradient
摘要点击 3937  全文点击 2337  投稿时间：2013-07-08  修订日期：2013-11-20
查看全文  查看/发表评论  下载PDF阅读器
DOI编号  10.7641/CTA.2014.30690
  2014,31(3):334-342
中文关键词  q范数正则化  最小二乘–支持向量机(LS–SVM)  迭代再权共轭梯度法
英文关键词  q-norm regularization  LS–SVM  Iterative reweighted conjugate gradient method
基金项目  国家“973”重点基础研究计划资助项目(2012CB720500); 国家自然科学基金资助项目(21006127); 中国石油大学(北京)基础学科研究 资助项目(JCXK–2011–07).
作者单位E-mail
刘建伟* 中国石油大学（北京） liujw@cup.edu.cn 
黎海恩 中国石油大学（北京）自动化研究所  
刘媛 中国石油大学（北京）自动化研究所  
付捷 中国石油大学（北京）自动化研究所  
罗雄麟 中国石油大学（北京）自动化研究所  
中文摘要
      L2范数罚最小二乘–支持向量机(square support vector machine algorithm, LS–SVM)分类器是得到广泛研究 和使用的机器学习算法, 其算法中正则化阶次是事先给定的, 预设q = 2. 本文提出q范数正则化LS–SVM分类器算 法, 0 < q < 1, 把q取值扩大到有理数范围. 利用网格法改变正则化权衡参数c和正则化阶次q的值, 在所选的c和q 值上, 使用迭代再权方法求解分类器目标函数, 找出最小分类预测误差值, 使预测误差和特征选择个数两个性能指 标得到提高. 通过对不同领域的实际数据进行实验, 可以看到提出的分类算法分类预测更加准确同时可以实现特 征选择, 性能优于L2范数罚LS–SVM.
英文摘要
      The L2–norm penalty least-square-support-vector-machine algorithm (LS–SVM) has been extensively studied and is probably the most widely used machine learning algorithm. The regularization parameter in LS–SVM is predetermined with default value q = 2. Based on the iterative reweighted conjugate gradient algorithm, the q–norm regularizing LS-SVM is proposed with 0 < q < 1, a rational number. We design a grid method to change the value of two adjustable parameters, the regularization parameter c and the order q of regularization, by performance indicators of prediction error rate. On the selected values of c and q, using the iterative reweighted conjugate gradient algorithm for solving classification object function and finding the minimum prediction error, we can improve the feature selection and predict the error rate. The experimental results on real datasets in different fields indicate that the prediction performance is more accurate than L2–norm LS-SVM, and can carry out feature selection.