【普林斯顿博士论文】图机器学习，137页pdf

许多数据集可以被视为图结构上的信号。为此，图形模型领域一直是一个富有成果的研究领域。本论文研究了一种称为粘性层次狄利克雷过程隐马尔可夫模型（Sticky Hierarchical Dirichlet Process Hidden Markov Model, SHDPHMM）的时间序列数据模型，该模型由Emily Fox提出。它适用于聚类时间序列数据，在实际中常常遇到隐藏状态数量未知的情况。本论文的贡献是推导了用于对SHDPHMM进行推理的确定性变分推理更新方程。这比Fox提出的马尔可夫链蒙特卡罗（Markov Chain Monte Carlo, MCMC）算法有所改进，因为它允许直接评估收敛性，并且运行速度更快。对于图中节点上的噪声信号，融合套索可以作为一种去噪方法。融合套索是广义套索的一个特例，广义套索是一种正则化回归问题，它鼓励回归系数的线性变换中的稀疏性。本论文完成了广义套索、其对偶问题、受限子空间套索（Subspace Constrained Lasso, SCL）及其对偶问题之间的等价性全景。在SCL中，稀疏性直接表达出来。这个问题的结构允许进行码字筛选。本论文为SCL派生了许多筛选方法，包括单次和顺序两种类型，这些方法依赖于对偶问题的结构。在这种情况下，筛选的效果不如套索那样有效，后者可以将非常大的字典减少到一小部分大小。然而，它仍然是一个重要工具，可以提高解决SCL乃至广义套索的速度。