1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4

  新智元报道  编辑：桃子【新智元导读】一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压Llama 2。一夜之间，世界最强开源大模型Falcon 180B引爆全网！1800亿参数，Falcon在3.5万亿token完成训练，直接登顶Hugging Face排行榜。基准测试中，Falcon 180B在推理、编码、熟练度和知识测试各种任务中，一举击败Llama 2。甚至，Falcon 180B能够与谷歌PaLM 2不差上下，性能直逼GPT-4。不过，英伟达高级科学家Jim Fan对此表示质疑，- Falcon-180B的训练数据中，代码只占5%。而代码是迄今为止对提高推理能力、掌握工具使用和增强AI智能体最有用的数据。事实上，GPT-3.5是在Codex的基础上进行微调的。- 没有编码基准数据。没有代码能力，就不能声称「优于GPT-3.5」或「接近GPT-4」。它本应是预训练配方中不可或缺的一部分，而不是事后的微调。- 对 ………………………………