算力租赁需求及展望专家交流纪要

文章预览

一、算力需求现状与趋势 需求变化的时间节点：从去年10月开始，算力需求出现明显变化，之前高端训练算力需求占主要部分，之后训练算力整体需求放缓，而推理算力因大模型等因素增速很快，在一年内能增长数倍甚至近10倍。 AI算力占比的转变：今年AI算力中，训练算力和推理算力的占比可能有较大变化，约30%放在训练算力，70%可能投入推理算力。 云厂商算力获取方式的转变：之前云厂商在训练算力方面更多采取自建方式，涉及训练集群组网、考虑性价比和功耗等。但今年推理算力大爆发且需求更加分散多元化，云厂商开始积极与专利平台合作，一些原本业务偏RDC的公司也投资服务器并转给云厂商租赁。 国产卡的发展情况：今年国产卡如寒武纪、沐曦等，随着BS开放底层框架，更适合大规模应用于推理，国产卡量有所增加，而国内训练算力新 ………………………………