2019级硕士研究生牛润良论文被IJCAI-ECAI 2022（CCF-A）接收-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

2019级硕士研究生牛润良论文被IJCAI-ECAI 2022（CCF-A）接收: 原创 2022-04-23

人工智能学院2019级硕士研究生牛润良的论文AttExplainer: Explain Transformer via Attention by Reinforcement Learning近日被CCF-A类会议IJCAI-ECAI 2022接收。

国际人工智能联合会议（International Joint Conference on Artificial Intelligence, 简称为IJCAI）是人工智能领域中最主要的学术会议之一。今年的第31届国际人工智能联合会议与第25届欧洲人工智能会议（European Conference on Artificial Intelligence，简称ECAI）联合举办。会议将于2022年7月23日至29日在奥地利首都维也纳进行。

牛润良目前从事自然语言处理的研究工作，本篇文章与魏哲培同学、王岩老师、王琪老师合作完成。

文章详情

论文题目：

AttExplainer: Explain Transformer via Attention by Reinforcement Learning

第一作者：牛润良

第二作者：魏哲培

合作导师：王岩、王琪

收录会议：IJCAI-ECAI 2022

论文概述：

近年来Transformer模型及其各种变体为许多自然语言处理任务带来了显著的效果提升。但是Transformer模型结构复杂，堆叠层数多，这为模型解释带来挑战，也给使用过程中带来了潜在的风险。本文提出了一种基于强化学习的Transformer模型解释方法——AttExplainer。该方法构建了一个强化学习环境，在每一时间步，智能体代理观测注意力矩阵并选择一个字符进行掩码操作。持续这样的操作，直到Transformer模型的分类决策发生改变或分类概率大幅度下降。最终找到的被掩码的部分是支撑原本分类决策的关键字符。本文在三个常用文本分类数据集上进行了实验，在模型解释和模型对抗攻击这两个任务中取得了比基线方法更好的成绩。通过对比实验证明了注意力矩阵中确实含有潜在的关于字符重要性的信息，为注意力矩阵的可解释性提供证据支持。同时发现这种潜在的可解释性可以在不同的数据集和已训练模型之间迁移。

Transformer and its variants have recently achieved remarkable performance in many NLP tasks. However, the complex structure of Transformer and the huge number of stacked layers pose challenges for model interpretation and potential risks in their use. In this paper, we propose a novel reinforcement learning (RL) based framework for Transformer explanation via attention matrix, namely AttExplainer. The method builds a reinforcement learning environment. In each time step, the RL agent learns to perform step-by-step masking operations by observing the change in attention matrices, until the classification decision of Transformer changes or the probability decreases significantly. Then it can be shown that the masked part contains key positions that support the original classification decision. We have adapted our method to two scenarios: perturbation-based model explanation and text adversarial attack. Experiments on three widely used text classification benchmarks validate the effectiveness of the proposed method compared to state-of-the-art baselines. Additional studies show that our method is highly transferable.

吉林大学｜人工智能学院

吉林省长春市｜吉林大学中心校区

正新楼｜7F

阅读原文 * 文章为作者独立观点，不代表数艺网立场转载须知: 本内容由数艺网主动采集收录，信息来源为 “吉林大学人工智能学院” 公开网络发布内容。第三方如需转载本内容，必须完整标注原作者信息及 “来源：数艺网”，严禁擅自篡改、删减或未标注来源转载。并附上本页链接：若您的内容不希望被数艺网收录，或认为此举侵犯了您的合法权益，敬请通过微信 ID：d-arts-cn 联系数艺网。我们将致以诚挚歉意，并第一时间为您办理下架或删除处理。

数字媒体艺术新媒体艺术科技艺术

19605