Applied mathematics and machine computations have raised a lot of hope since the recent success of supervised learning. Many practitioners in industries have been trying to switch from their old paradigms to machine learning. Interestingly, those data scientists spend more time scrapping, annotating and cleaning data than fine-tuning models. This thesis is motivated by the following question: can we derive a more generic framework than the one of supervised learning in order to learn from clutter data? This question is approached through the lens of weakly supervised learning, assuming that the bottleneck of data collection lies in annotation. We model weak supervision as giving, rather than a unique target, a set of target candidates. We argue that one should look for an ``optimistic'' function that matches most of the observations. This allows us to derive a principle to disambiguate partial labels. We also discuss the advantage to incorporate unsupervised learning techniques into our framework, in particular manifold regularization approached through diffusion techniques, for which we derived a new algorithm that scales better with input dimension then the baseline method. Finally, we switch from passive to active weakly supervised learning, introducing the ``active labeling'' framework, in which a practitioner can query weak information about chosen data. Among others, we leverage the fact that one does not need full information to access stochastic gradients and perform stochastic gradient descent.
翻译:应用数学和机器计算自最近受监督学习成功以来带来了许多希望。 许多产业从业者一直试图从旧的范式向机器学习转变。 有趣的是, 数据科学家花费的时间比微调模型花的时间要多一些剪切、注解和清理数据。 这个论文的动机是以下问题: 我们能否从受监督的学习中获得比受监督的学习更通用的框架, 以便从杂乱的数据中学习? 这个问题是通过监督薄弱的学习的镜头来解决的, 假设数据收集的瓶颈在于说明。 我们把薄弱的监督作为一组目标候选人而不是独特的目标。 我们主张, 一个人应该寻找一个与大多数观察相匹配的“ 乐观” 功能。 这让我们可以得出一个原则来消除部分标签。 我们还讨论将未经监督的学习技术纳入我们的框架的优势, 特别是通过传播技术实现的多重规范化, 因为我们从一个新的算法, 以输入的维度为尺度, 然后是基线方法。 最后, 我们从被动到主动的受监督的学习, 引入“ 乐观的” 功能, 引入一个不稳健定的比的“ ” 定义的“ 工具” 的“ 的“ 的“ 定义” 工具” 进入“ 的“ 的“ 的“ 的“ 的“ 的“ ” 定义” 的“ ” ”, 进入” 进入” 的“ 的“ 的“ 的“ ” 的“ 的“ ” ” 的” 的” 的“ 的“梯度” 定义” 的“ 的“ 的“ 的“ 的” 的” 定义的” 的” 的” 的” 的” 的“ 的“ 的“ 的“ 的“ 的“ 的” 的” 的” 的” 的“ ” ” 的” 的” 的” 的” 的” 的” 的” 的“ 的” 的” 的“ 的“ 的” 的” 的“ 的“ 的” 的“ 的” 的“ 的“ 的” 的“ 的“ ” ” ” 的” 的”, 的“ 的”