基于变分自动编码器的动态主题模型
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

江苏省研究生科研与实践创新计划项目(KYCX17_0486);中央高校基本科研业务费专项资金(2017B708X14);福建省信息处理与智能控制重点实验室(闽江学院)开放课题(MJUKF201740)


Dynamic topic model based on variational autoencoder
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    传统动态主题模型的后验分布推断需要复杂的推理过程,仅模型假设的细微变化就需要重新进行推断,时间成本较高,制约了模型的可变性和通用性。为了提高动态主题模型的性能,提出了基于变分自动编码器融合动态因子图进行推断的动态主题模型。该模型对变分下界进行再参数化,生成一个下界估计器,将隐变量转换为一组辅助参数,使得新的参数不依赖于变分参数,用标准随机梯度下降法直接优化变分目标,同时融合动态因子图对状态空间模型进行建模,弱化推断的概率特性,简化优化过程,实现有效的推断。结果表明,提出的模型不仅保证了准确性,而且其简化模型有效降低了推断的时间成本,从而为动态主题模型能有效应用于复杂的时间场景提供更多可能。

    Abstract:

    The posterior distribution of traditional dynamic topic model requires complex reasoning process, and a small change in model assume will require re-deduction, meanwhile with high time cost, which restricts the variability and generality of the model. A dynamic topic model based on variational autoencoder fusing with dynamic factor graph for inference is proposed in order to improve the performance of dynamic topic model. The model makes a reparameterization trick to evidence lower bound to generate a lower estimator, and converts the hidden parameters to a group of auxiliary parameters, which makes new parameters not depend on variational parameters; standard stochastic gradient descent method can be available to variational objective function directly. At the same time, integrating the dynamic factor graph on modeling the state space model weakens the probabilistic of the model, simplifies the optimization process, and makes effective inference. The experimental results show that this model guarantees the accuracy, and the simplified model reduces the time cost effectively, which will provide more possibilities for dynamic topic model to be applied to complex time scenarios effectively.

    参考文献
    相似文献
    引证文献
引用本文

孙 凌,韩立新,勾智楠.基于变分自动编码器的动态主题模型[J].河北工业科技,2017,34(6):421-427

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-08-28
  • 最后修改日期:2017-10-17
  • 录用日期:
  • 在线发布日期: 2017-11-29
  • 出版日期:
文章二维码