课程简介

案例背景:
对于跨模态信息的处理是目前很多推荐、广告、检索等智能系统的核心问题之一，尤其是针对跨模态的问答与对话技术。我们将讨论如何应用深度学习模型对视觉问答系统于视觉对话系统提出新的技术解决方案。

解决思路:
我们将讨论利用多模态信息的融合、图卷积模型来设计相应的对话系统与问答系统。并考虑如何更好的利用知识图谱与先验的关系信息。

成果:
研究成果已经发布了国际同行认可的顶级期刊和会议。期待在实际工业落地的应用。
Jing Yu, Weifeng Zhang, Yuhang Lu, Zengchang Qin, Yue Hu, Jianlong Tan, Qi Wu (2020), Reasoning on the relation: enhancing visual representation for visual question answering and cross-modal retrieval, IEEE Transaction on Multimedia (IF=5.452).
3. Weifeng Zhang, Jing Yu, Hua Hu, Haiyang Hu, Zengchang Qin (2020), Multimodal feature fusion by relational reasoning and attention for visual question answering, Information Fusion (IF=10.716), Vol. 55: pp. 116-126.
Xiaoze Jiang, Jing Yu, Zengchang Qin, Yingying Zhuang, Xingxing Zhang, Yue Hu and Qi Wu (2020), DualVD: An adaptive dual encoding model for deep visual understanding in visual dialogue, Proceedings of National Conference on Artificial Intelligence (AAAI-2020)

目标收益

1 了解视觉问答系统技术的发展与前沿 2 了解最新关于视觉对话的研究工作 3 了解设计智能对话和问答系统的核心算法。

培训对象

课程内容

案例方向

---

智能语音/NLP/推荐/广告系统实战/计算机视觉

案例背景

---

对于跨模态信息的处理是目前很多推荐、广告、检索等智能系统的核心问题之一，尤其是针对跨模态的问答与对话技术。我们将讨论如何应用深度学习模型对视觉问答系统于视觉对话系统提出新的技术解决方案。

收益

---

1 了解视觉问答系统技术的发展与前沿 2 了解最新关于视觉对话的研究工作 3 了解设计智能对话和问答系统的核心算法。

解决思路

---

我们将讨论利用多模态信息的融合、图卷积模型来设计相应的对话系统与问答系统。并考虑如何更好的利用知识图谱与先验的关系信息。

结果

---

研究成果已经发布了国际同行认可的顶级期刊和会议。期待在实际工业落地的应用。
Jing Yu, Weifeng Zhang, Yuhang Lu, Zengchang Qin, Yue Hu, Jianlong Tan, Qi Wu (2020), Reasoning on the relation: enhancing visual representation for visual question answering and cross-modal retrieval, IEEE Transaction on Multimedia (IF=5.452).
3. Weifeng Zhang, Jing Yu, Hua Hu, Haiyang Hu, Zengchang Qin (2020), Multimodal feature fusion by relational reasoning and attention for visual question answering, Information Fusion (IF=10.716), Vol. 55: pp. 116-126.
Xiaoze Jiang, Jing Yu, Zengchang Qin, Yingying Zhuang, Xingxing Zhang, Yue Hu and Qi Wu (2020), DualVD: An adaptive dual encoding model for deep visual understanding in visual dialogue, Proceedings of National Conference on Artificial Intelligence (AAAI-2020)