专栏名称: 集智书童
书童带你领略视觉前沿之美,精选科研前沿、工业实用的知识供你我进步与学习!
目录
相关文章推荐
今天看啥  ›  专栏  ›  集智书童

单节点8xA800跑起来HuggingFace DeepSeek V2踩坑

集智书童  · 公众号  ·  · 2024-06-10 09:00
    

文章预览

        0x0. 背景 尝试跑起来HuggingFace上release的DeepSeek V2,踩了几个坑,这里给出解决的方法。HuggingFace提供的开源DeepSeek V2 repo链接为:https://huggingface.co/deepseek-ai/DeepSeek-V2 0x1. 报错1: KeyError: 'sdpa' 这个问题社区也有人反馈了。https://huggingface.co/deepseek-ai/DeepSeek-V2/discussions/3 在这里插入图片描述 解决方法很简单,在工程里面的 config.json 最后加一句 "_attn_implementation": "flash_attention_2" 即可: 在这里插入图片描述 0x2. 报错2: 初始化阶段卡死 已经给accelerate提了一个pr解决这个问题。https://github.com/huggingface/accelerate/pull/2756 背景 当我尝试使用 transformers 库进行 deepseek-v2 模型推理时: import  torch from  transformers  import  AutoTokenizer, AutoModelForCausalLM, GenerationConfig model_name =  "deepseek-ai/DeepSeek-V2" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code= True ) # `max_memor ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览