ICCV 2019 论文解读 | 基于层次解析的Image Captioning

©PaperWeekly 原创 · 作者｜蔡文杰学校｜华南理工大学研究方向｜计算机视觉目前大多数的 image captioning 模型采用的都是 encoder-decoder 的框架。本文在 encoder 的部分加入了层次解析（Hierarchy Parsing, HIP）结构。HIP 把图片解析成树状结构：根节点是整个图片，中间节点则是通过把图片分解成一系列 Region-level 的区域来得到的，而叶子节点则是在 Region-level 的基础上应用图像分割，得到 Instance-level 的区域，如下图所示。由于这样的过程建立起了一个树状的结构，文章应用了 Tree-LSTM 来增强性能。最后，文章还用了 GCN 对 Region-level 和 Instance-level 之间的关系进行编码，把 CIDEr-D 提高到了 130.6。 文章的主要贡献就是在 Image capioning 任务中提出了 HIP 对图像进行层级架构的解析。实际 ………………………………