模型部署 | ONNX定义、读写和调试

主要观点总结

本文介绍了ONNX（Open Neural Network Exchange）模型的原理、构造方法和调试技巧。文章首先解释了ONNX模型的结构和计算图的概念，然后展示了如何用Python和ONNX API构造一个描述线性函数的ONNX模型。接着，文章介绍了如何用ONNX Runtime运行模型，并用Netron进行可视化查看。此外，还讲解了子模型提取功能在ONNX调试中的应用，以及在实际部署中如何对ONNX模型进行调试和修改。最后，文章指出了在使用PyTorch等框架导出ONNX模型时面临的挑战，包括边序号改变和难以对应PyTorch代码和ONNX节点的问题。

关键观点总结

关键观点1: ONNX模型原理及结构

ONNX模型是一个计算图，节点是算子，边是参与运算的张量。通过可视化ONNX模型，可以了解模型的结构和运算流程。

关键观点2: 如何用Python和ONNX API构造ONNX模型

可以使用ONNX的Python API构造ONNX模型，包括构造张量信息、构造算子节点、构造计算图和封装成模型等步骤。

关键观点3: ONNX模型的运行和调试

可以用ONNX Runtime运行ONNX模型，并用Netron进行可视化查看。ONNX官方提供了子模型提取功能，便于对ONNX模型进行调试。

关键观点4: 在使用框架（如PyTorch）导出ONNX模型时的挑战

使用框架导出ONNX模型时，边序号可能会改变，且难以对应PyTorch代码和ONNX节点。这给调试和修改带来困难。