Vol.28 是时候开始考虑给自己做一个个人助理了

卷首语随着GGML，vLLM和ExLLaMa这些本地量化和推理优化的项目在社区里面逐步完善，搭建一个“本地个人助理”看起来可以提上日程了。今天，围绕着我看到的LLaMa 2之后的开源模型进展，我们不妨一起来想想这个是不是有必要和可能？以及当这样的设备普及之后，我们是不是真的可以“干掉”程序员这个行当了？无论如何，我已经摩拳擦掌开始攒钱准备打造一台属于自己的Tiny Box了。让人喜忧参半的LLaMa2自从LLaMa 2发布之后，原本已经有点紧俏的GPU就更加难拿到了。之前关注过的几个算力平台，之前多少还能拿到4张、8张A100/A800级别的显卡用上几个小时。而最近几周，这些可以拿来微调LLaMa2的算力一下子就被一抢而空，无论什么时候上去看，显卡都始终处于“Unavailable”的状态。LLaMa 2目前作为一个基座模型来看，还是非常强大的。如果你今天跑去看一 ………………………………