贝叶斯方法在变量选择问题中的应用

【摘要】 贝叶斯分析方法以其统计推断的灵活性受到众多研究者的青睐。近年来，采样技术的不断改进和计算机性能的不断提高，使得相关计算在实际应用中更容易实现，粉丝越来越多。本文主要使用贝叶斯方法来处理一些当前热门和实用的课题Lasso变量选择方法和混合效应模型中的变量选择。Lasso方法可以同时实现参数估计和变量选择，形式简单易懂。它广泛应用于各个学术领域，在实践中也表现良好。在贝叶斯框架下，当对回归系数施加独立的拉普拉斯先验时，边际后验模态与非贝叶斯套索给出的估计一致。现有的贝叶斯套索方法主要集中在使用MCMC采样技术的迭代算法：一种是在E步最大化（Monte Carlo Expectation Maximization，以下简称MCEM）算法中使用马尔可夫链蒙特卡罗（MCMC）的蒙特卡罗期望，另一种是使用 MCMC 技术的完整贝叶斯分析方法。值得注意的是，在使用MCMC迭代采样技术时，采样样本具有很大的相关性，因此可能存在收敛问题或收敛速度慢，计算量大。为了解决这些问题，借助逆贝叶斯公式（IBF），

混合效应模型常用于描述重复测量数据和纵向数据的特征，广泛应用于生物医学和计量经济学。在实际应用中，纵向数据往往是不平衡或不完整的。也就是说，并非所有被试都在同一时间点被观察，观察样本的数量、采样条件也各不相同。建模时需要考虑到纵向数据的不平衡性，寻找相对稀疏的协方差结构。因此，为了解决这些问题，对于这类纵向数据，我们采用了同时包含个体随机效应和自回归过程AR(1)的组间误差模型进行拟合。本论文分为四章。，全文组织如下。第一章重点阐述了选题意义，并简要介绍了相关背景知识。在第 2 章中，我们设计了一种基于 IBF 采样的非迭代采样技术。层次模型中回归系数的边际后验模态是贝叶斯套索问题的解。当全条件分布不显式时，算法通过调整重要采样的权重来实现模拟结果。无论是预测准确率还是变量选择的准确率，我们的方法都不逊色于目前的一些贝叶斯套索方法，甚至更好，尤其是在样本量比较大的时候。在第三章中，我们还讨论了贝叶斯套索问题。与第二章不同的是，我们这里给出的方法本质上是一种基于非迭代算法的全贝叶斯分析方法。首先，我们给出一个 EM 算法得到回归系数的后验模态估计贝叶斯方法应用，然后以它为初始点贝叶斯方法应用，借助 IBF 和重要的重采样算法，提取一组独立同分布的样本，它们近似服从后验分布，从而避免了MCMC算法遇到的问题。收敛问题。提取了一组独立同分布且近似服从后验分布的样本，从而避免了MCMC算法遇到的问题。收敛问题。提取了一组独立同分布且近似服从后验分布的样本，从而避免了MCMC算法遇到的问题。收敛问题。

基于这些独立同分布的样本，我们可以很容易地给出回归系数的估计及其区间估计（贝叶斯可信区间）。仿真结果表明，我们的方法可与现有的贝叶斯套索方法相媲美。在第四章中，我们修改了混合效应协方差矩阵的Cholesky分解，然后对模型参数进行了重新参数化，并利用MCMC技术讨论了具有AR(1)误差的线性混合模型的贝叶斯变量选择方法。