Consider a two-class classification problem where we observe samples $(X_i, Y_i)$ for i = 1, ..., n, $X_i \in \mathcal{R}^p$ and $Y_i \in \{0, 1\}$. Given $Y_i = k$, $X_i$ is assumed to follow a multivariate normal distribution with mean $\mu_k \in \mathcal{R}^k$ and covariance matrix $\Sigma_k$, $k=0,1$. Supposing a new sample $X$ from the same mixture is observed, our goal is to estimate its class label $Y$. The difficulty lies in the rarity and weakness of the differences in the mean vector and in the covariance matrices. By incorporating the quadratic terms $\Omega_k=\Sigma^{-1}_k$ from the two classes, we formulate the likelihood-based classification as a Quadratic Discriminant Analysis (QDA) problem. Hence, we propose the QDA classification method with the feature-selection step. Compared with recent work on the linear case (LDA) with $\Omega_k$ assumed to be the same, the current setting is much more general. The numerical results from real datasets support our theories and demonstrate the necessity and superiority of using QDA over LDA for classification under the rare and weak model. We set up a rare and weak model for both the mean vector and the precision matrix. With the model parameters, we clearly depict the boundary separating the region of successful classification from the region of unsuccessful classification of the newly proposed QDA with a feature-selection method, for the two cases that $\mu_k$ is either known or unknown. We also explore the region of successful classification of the QDA approach when both $\mu_k$ and $\Omega_k$ are unknown. The results again suggest that the quadratic term has a major influence over the LDA for the classification decision and classification accuracy.


翻译:当我们观察 $( X_ i, Y_ i) 的 i 的樣本 = 1,..., n, $X_ i 美元 = mathal{R ⁇ p$ 和 $Y_ i = ⁇ 0, 1 美元时, 考虑一个双级分类问题。 鉴于 $Y_ i = k美元, $ x_ 美元 = k = mathcal{ R ⁇ $ 和 coversation 矩阵 = 1, $\ Sgma_ k 美元, 美元= 0. 1 美元。 如果从同一混合物的新样本 $xxx = 美元, 我们的目标是估算其等级标签 $Y$。 困难在于平均矢量矢量矢量的值差异的亮度和疲软度。 如果从两个等级中加入四等量的量值值值, 我们将基于概率的分类( QDA) 的概率分类, 那么, 我们用当前计算方法将显示当前基数的数值, 数字区域将显示一个未知数 。

0
下载
关闭预览

相关内容

专知会员服务
76+阅读 · 2021年3月16日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
专知会员服务
159+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
机器学习线性代数速查
机器学习研究会
19+阅读 · 2018年2月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
相关VIP内容
专知会员服务
76+阅读 · 2021年3月16日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
专知会员服务
159+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
机器学习线性代数速查
机器学习研究会
19+阅读 · 2018年2月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员