dotnet 基于 DirectML 控制台运行 Phi-3 模型

文章预览

本文将和大家介绍如何在 C# dotnet 里面的控制台应用里面，使用 DirectML 将 Phi-3 模型在本地运行起来 在微软的 Microsoft Build 2024 大会上介绍了 Phi-3 模型，这是一个 small language models (SLMs) 本地小语言模型。简单说就是一个可以在用户设备上运行的模型，据说能和 Gpt 3.5 进行 PK 的模型，不仅体积较小，且运行速度较快 在上一篇博客和大家介绍了 WinML 和 DirectML 的基础信息。基于 DirectML 可以更加方便的在用户机器上部署 Phi-3 模型，简单到直接将模型文件拷贝过去就可以运行。通过 DirectML 屏蔽底层运行细节，可以在特别多的机器型号上运行，即使 GPU 不支持，还可以自动降级使用 CPU 运行 基于 DirectML 的优势就在于可以使用 DirectML 屏蔽大量底层细节，简化模型部署工作，且能够充分利用机器设备资源 更多关于 Phi-3 的介绍请参阅 https://azure.microsoft.com/en-us/bl ………………………………