读到“月出惊山鸟”，画面里应该先看见月亮，还是先注意到被惊起的鸟？月光落在哪里，鸟与山谷保持多远的距离，都会改变这句诗给人的感觉。若把整首诗交给 AI，等它直接返回一张漂亮插画，这些选择很容易在生成过程里消失。读者看见了结果，却未必想过它为什么应该这样被画出来。

发表于 CHI 2026 的《PoemPalette: Facilitating Poetry Creative Exploration and Foundational Understanding through the Ideorealm Alignment of Paintings and Poems》，尝试把这段被省略的过程重新交给读者。系统以中国古典美学中的诗画意境关联为设计基础，让诗歌爱好者提取意象、组织关系，再亲手构图，探索自己理解的诗境。

论文图 1：从诗中标记关键词，到建立场景图、生成意象素材和组织诗画。图中呈现的是可介入的创作过程，右侧生成画面并非诗意的唯一解释。

山、鸟与月亮，先成为可以修改的关系

PoemPalette 的起点是一张场景图。系统用大语言模型识别诗中的对象、属性与关系，把黄鹂、柳树、白鹭等意象转成节点，把鸣叫、飞向或停泊等联系显示出来。读者可以检查这些关系，调整并扩展它们。为了降低入门负担，系统先提供轻量的初始图，避免让每个人从空白画布开始。

这种中间表示让解释变得具体。例如“两只黄鹂”包含数量，“鸣翠柳”包含动作和位置，不能只因为生成图里出现一只黄色小鸟，就认为它忠实表达了原句。把这些条件显露出来，读者才有机会发现模型遗漏了什么，也能更清楚地提出自己的修改。

这里仍有一个张力：诗歌允许含混和多义，节点与连线却倾向于给出确定关系。它适合帮助读者抓住显性的意象，但一张图很难容纳双关、典故与复杂隐喻。初始场景图也包含模型或设计者的解释，不能被当成已经核定的阅读答案。

论文图 3：PoemPalette 的界面。左侧是诗画工作区和意象素材，中间显示诗句，右侧提供场景图、问答、色彩与情绪分析；读者可在文字和画面之间反复调整。

亲手摆放意象，让生成成为一次阅读

场景图建立之后，AI 为核心意象生成单独的图像素材。读者把素材拖入画布，调整位置、大小与层次，再让系统补充背景和细节，使拼贴成为风格连贯的画面。对于绝句，系统可以按句组织画面，而不必把所有意象挤进一幅图里。

这个流程把“画得是否好看”与“画面是否对应诗句”放在同一个工作区里。读者能点击场景图中的意象，定位生成图里对应的视觉元素。文字与图像之间的联系因此可以被逐项检查：船是否停在门外，山是否被窗框纳入视野，哪些细节来自原诗，哪些是生成时新增的联想。

论文图 7：点击场景图中的意象词，定位并突出画面中的对应元素。这种联动帮助读者检查诗句与视觉元素之间的关系。

问答助手则承担另一部分阅读工作。它提供诗人生平、历史背景、内容和语言技巧等解释，也支持继续追问。设计上，客观事实应被核清，开放问题则保留不同理解。访谈中有人觉得向 AI 提问更轻松，但作者也承认，聊天和鲜明画面可能转移注意力，让读者减少对诗句本身的细读。

更愿意探索，并不等于理解一定更好

研究先访谈六位有诗歌教学经验的教师，再招募六十名诗歌兴趣者开展组间实验。唐诗与日本俳句各三十人，每种诗歌再分为 PoemPalette、普通 AI 和非 AI 三组，每组十人。普通 AI 组使用相同底层语言模型和风格生成模型；非 AI 组使用专家确认的文字与图像材料。

两类诗歌的结果都支持 PoemPalette 在创意支持指数的探索维度及总分上优于两个对照。唐诗组的表达性也更高，俳句组却只在与非 AI 对照相比时体现这一优势，沉浸感也没有显著组间差异。优势会随任务和指标变化，不能概括成每一种体验都全面提升。

论文图 17：唐诗组用 PoemPalette 创作的《鸟鸣涧》和《春晓》画面。同一首诗出现不同视觉解释；这些作品展示创作结果，不能独立证明理解能力提升。

理解测验的结果尤其需要分开看。唐诗组中，PoemPalette 的后测平均分是 79.9，非 AI 组是 80.2，普通 AI 组是 78.5，三者十分接近。俳句组的对应分数是 87.0、86.6 和 79.7。论文报告了这些均值，但不能仅凭它们就认定系统显著胜过传统学习材料。

而且，前后测使用相同的五道开放题，测量的是基础内容、意象和情绪等理解。研究没有延迟测验，也未验证学习能否迁移到新诗。更稳妥的判断是：系统让人更愿意进行诗画探索，并提供可用的基础学习支持；它是否形成持久、深入的文学理解，仍没有答案。

为什么值得关注

PoemPalette 最有价值的设计，是把诗句与成图之间的解释过程变成可以操作、检查和讨论的对象。读者为意象选择位置、为关系寻找视觉表达，也就有机会意识到自己的阅读判断。这个思路适用于文化学习工具：保留让学习者作出判断的步骤，有时比更快给出成品更有意义。

它也提醒设计者，视觉表达有自己的边界。声音、时间流动、典故和情绪的多义性，未必能被一张图保存。未来工具需要容纳替代解释，并让画面把读者带回文字。教师提供的文化语境与讨论空间，依然是理解这类作品的重要部分。

资料来源

论文：PoemPalette: Facilitating Poetry Creative Exploration and Foundational Understanding through the Ideorealm Alignment of Paintings and Poems；

作者：Ying Zhang, Kaixin Jia, Hong Jian Zhang, Kewen Zhu, Chenye Meng, Jiesi Zhang, Zejian Li, Pei Chen, Lingyun Sun；

会议：Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI ’26), April 13–17, 2026, Barcelona, Spain；

DOI：https://doi.org/10.1145/3772318.3791460