再见Attention：建模用户长期兴趣的新范式

文章预览

本文算是《 日久见人心：论建模用户长期兴趣的几种姿势 》一文的后续。主要是近期读了美团2022年的新论文《Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction》有感而发。结合阿里之前ETA的工作，我感到在用户长行为序列建模这一领域， SimHash有望取代Attention，成为新的主力建模工具 。本文通过梳理长行为序列建模的发展脉络，对比阿里ETA与美团的SDIM在利用SimHash时的异同，帮助读者快速了解这个建模用户长期序列的新范式。 建模用户长期行为序列的发展脉络 DIN 众所周知，用户行为序列是最能反映用户兴趣的信息来源。以前对用户行为序列，只是简单Pooling。阿里的Deep Interest Network开创性地通过target item对user historical sequence做attention，实现了用户兴趣的“千物千面”，也拉开了研究“如何从用户行为序列中更有效提取用 ………………………………