大江流日夜，宏观本无尘

许久没有更新公众号了，最主要的原因在于撰写这个公众号的核心作者们，都在全身心地投入到最新一轮AI技术革命的策略开发之中。 北京2023年的第一个雪夜，借一杯温酒，落一些激荡岁月的注脚。 2023年2月，Jimmy在公众号发表了Reflections on Transformers and ChatGPT。我第一次开始正视深度学习与强化学习这条路线，但并没有立刻觉得新奇，大抵是因为我已经从Jimmy那里看过了许多类似的奇技淫巧。RLHF那时还是如此的新颖，arxiv上甚至都只有寥寥无几的搜索结果。尽管Jimmy一周之内就自己用BLOOM微调了一个分子生物学问答的小模型，并且开始通过它快速自学分子生物学，我却依然迟钝，没有觉得人类新一轮生产能力的革命在这一天就已经彻底改变了。 一周后，Jimmy发表了Reflections on Transformers II.这一周时间，我在感慨GPT3 1750亿参数的选择应该是恰好可以在 ………………………………