使用OpenCompass评测rwkv模型教程

0x0. 前言继续MLC-LLM 支持RWKV-5推理以及对RWKV-5的一些思考文章里面提到的想法，探索一下使用OpenCompass来评测RWKV模型，对模型的实际表现有一个更客观的了解。我在尝试的过程中也碰到了一些问题，所以这里记录一下使用OpenCompass评测的流程以及在评测RWKV过程中解决的问题。这里主要是记录如何跑通，后续可能会跑一下榜单去对比一下其它的模型。目前使用这个fork的版本（https://github.com/BBuf/opencompass）就可以正常做RWKV系列模型的评测了。0x1. 流程我是参考OpenCompass官方的快速开始文档：https://opencompass.readthedocs.io/zh-cn/latest/get_started/quick_start.html ，然后写一个config来对RWKV-5-3B进行评测。模型部分添加了下面的2个文件：然后在评测数据集方面我挑选了和 RWKV-5 的训练进展（之二），与 SotA GPT 模型的性能对比（https://zhuanlan.zhihu.com/p/664079347） 里面相同的几 ………………………………