文章预览
字节HLLM:在推荐系统落地User-Item分层的LLM方案 标题: HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling 地址: https://arxiv.org/pdf/2409.12740 公司: 字节 代码: https://github. com/bytedance/HLLM 1. 前言 基于ID的推荐系统一般都是Embedding参数量很大而模型参数量较小,这种ID-based的模型主要存在两个问题: 冷启乏力: 严重依赖ID特征导致在冷启动场景中表现不佳 能力欠佳: 相对浅层的网络模型难以建模复杂且多样的用户兴趣 随着近年来LLM的突破性进展, 业界也在不断探索LLM在推荐系统中的应用, 这里大概可以分成三类: 信息增强: 利用LLM为推荐系统提供一些精细化的信息, 例如做Item的特征增强 对话式处理: 将推荐系统转换为与LLM兼容的对话驱动形式 直接输入ID: 修改LLM不再仅处理文本输入/输出, 比如直接输入ID特征给LLM 当前, LLM4Rec还
………………………………
