2024-02 数据“三部曲”：监督数据，对齐数据和仿真数据

问起人工智能时代的生产资料三要素，很多朋友估计都能脱口而出：算法，算力和数据。算力主要是芯片和系统的事情，让黄教主和做系统的专家们去操心（这里还有训练和推理算力的区别，后面找个时间专门写一篇）。而关于算法和数据去年我写过一篇文章(202306B 算法，模型还是数据？)，Rich Sutton告诫过我们不要过于“钻研”算法的细枝末节，简单优雅又可以充分规模化的算法少之又少，选择了正确的算法之后，很多时候数据才是需要工程师更加重视的因素。现实情况是大家自称“算法工程师”，遇到问题第一反应是猜测原因，尝试更改代码，进行反复调试。这样的工作方式从根本上是因为软件工程师习惯了对代码百分之百的掌控和负责，如果软件出错，那一定是工程师哪里犯错了，可能是代码逻辑错误，可能是系统不同模块间设计不当导致的 ………………………………