Learning to Compose Neural Networks for Question Answering

[ZihaoZheng98]

NAACL 16

one sentence: 根据特定问题，构建特定神经网络，提高了模型的组合泛化性以及可解释性。

为了提高模型对全新问题组合的理解能力，作者提出了Neural module network，简单来说是将问题分解为句法树，然后按照作者预定义的规则，将句法树转换为若干个布局，使用一个神经网络Z对不同布局打分得到不同布局的分布，最后采样得到最终的布局。将布局中特定节点替换为特定神经网络模块即得到最终的神经网络Y。在预测时，将图片输入到问题构建出的神经网络中，得到预测结果。

亮点：训练数据不包含对Z的标注数据，作者使用强化学习策略梯度的方式对Z网络进行参数更新。
论文推荐指数：较推荐，其中强化学习更新参数的部分，能够借鉴到很多中间有隐变量的模型中。是绕不开的坑。

[ZihaoZheng98]