利用 🤗 Optimum Intel 和 fastRAG 在 CPU 上优化文本嵌入

嵌入模型在很多场合都有广泛应用，如检索、重排、聚类以及分类。近年来，研究界在嵌入模型领域取得了很大的进展，这些进展大大提高了基于语义的应用的竞争力。BGE、GTE以及E5等模型在MTEB基准上长期霸榜，在某些情况下甚至优于私有的嵌入服务。Hugging Face 模型 hub 提供了多种尺寸的嵌入模型，从轻量级 (100-350M 参数) 到 7B (如Salesforce/SFR-Embedding-Mistral) 一应俱全。不少基于语义搜索的应用会选用基于编码器架构的轻量级模型作为其嵌入模型，此时，CPU 就成为运行这些轻量级模型的有力候选，一个典型的场景就是检索增强生成 (Retrieval Augmented Generation，RAG)。BGEhttps://hf.co/BAAI/bge-large-en-v1.5GTEhttps://hf.co/thenlper/gte-smallE5https://hf.co/intfloat/multilingual-e5-largeMTEBhttps://github.com/embeddings-benchmark/mtebSalesforce/SFR-Embedding-Mistralhttp://Salesforce/SFR-Embedding-Mistral检索增强生 ………………………………