Most general-purpose classification methods, such as support-vector machine (SVM) and random forest (RF), fail to account for an unusual characteristic of astronomical data: known measurement error uncertainties. In astronomical data, this information is often given in the data but discarded because popular machine learning classifiers cannot incorporate it. We propose a simulation-based approach that incorporates heteroscedastic measurement error into any existing classification method to better quantify uncertainty in classification. The proposed method first simulates perturbed realizations of the data from a Bayesian posterior predictive distribution of a Gaussian measurement error model. Then, a chosen classifier is fit to each simulation. The variation across the simulations naturally reflects the uncertainty propagated from the measurement errors in both labeled and unlabeled data sets. We demonstrate the use of this approach via two numerical studies. The first is a thorough simulation study applying the proposed procedure to SVM and RF, which are well-known hard and soft classifiers, respectively. The second study is a realistic classification problem of identifying high-$z$ $(2.9 \leq z \leq 5.1)$ quasar candidates from photometric data. The data were obtained from merged catalogs of the Sloan Digital Sky Survey, the $Spitzer$ IRAC Equatorial Survey, and the $Spitzer$-HETDEX Exploratory Large-Area Survey. The proposed approach reveals that out of 11,847 high-$z$ quasar candidates identified by a random forest without incorporating measurement error, 3,146 are potential misclassifications. Additionally, out of ${\sim}1.85$ million objects not identified as high-$z$ quasars without measurement error, 936 can be considered candidates when measurement error is taken into account.


翻译:多数一般用途分类方法,例如支持-矢量机(SVM)和随机森林(RF),没有考虑到天文数据的一个异常特征:已知测量误差不确定性。在天文数据中,这种信息常常出现在数据中,但由于流行的机器学习分类师无法纳入这些数据而被丢弃。我们建议了一种基于模拟的方法,将超摄性测量错误纳入任何现有的分类方法,以便更好地量化分类中的不确定性。拟议方法首先模拟从巴伊西亚的后传测差误差中测出数据。然后,选择的分类器适合每个模拟。在被标的和未标的数据集中的测量差错中自然反映了不确定性。我们通过两个数字研究展示了这一方法的使用情况。第一个模拟研究是对SVM和RF采用拟议程序,它们分别被认为是硬和软级的。 第二项研究是一个现实的分类问题,即确定高z$(2.9美元)的高度测量师。 将S-C 高度测量值数据解算为EVIS 数据, 高度勘测算数据是来自I-Slexal AL Ex Ex Ex Ex Exal Exal Exal Exal Exal Exal 数据, 3,由Silental exisal exal ex ex ex ex exal ex ex ex ex ex ex ex ex d disal ex ex ex exisal disal disal dismal disal disal disal disal dismational dismational disal 。

0
下载
关闭预览

相关内容

【数据科学导论书】Introduction to Datascience,253页pdf
专知会员服务
49+阅读 · 2021年11月15日
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
74+阅读 · 2020年5月5日
【新书】Python编程基础,669页pdf
专知会员服务
195+阅读 · 2019年10月10日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】卷积神经网络类间不平衡问题系统研究
机器学习研究会
6+阅读 · 2017年10月18日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Arxiv
0+阅读 · 2022年2月14日
Generalized Out-of-Distribution Detection: A Survey
Arxiv
15+阅读 · 2021年10月21日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
6+阅读 · 2018年1月14日
VIP会员
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】卷积神经网络类间不平衡问题系统研究
机器学习研究会
6+阅读 · 2017年10月18日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Top
微信扫码咨询专知VIP会员