专栏名称: 动物精神AnimalSpirit
曾在革命之路上匍匐,也成为过凯恩斯的信徒。宏观为引,量化做酒,愿天下英雄共一醉。
今天看啥  ›  专栏  ›  动物精神AnimalSpirit

大江流日夜,宏观本无尘

动物精神AnimalSpirit  · 公众号  ·  · 2023-12-12 11:02
许久没有更新公众号了,最主要的原因在于撰写这个公众号的核心作者们,都在全身心地投入到最新一轮AI技术革命的策略开发之中。 北京2023年的第一个雪夜,借一杯温酒,落一些激荡岁月的注脚。 2023年2月,Jimmy在公众号发表了Reflections on Transformers and ChatGPT。我第一次开始正视深度学习与强化学习这条路线,但并没有立刻觉得新奇,大抵是因为我已经从Jimmy那里看过了许多类似的奇技淫巧。RLHF那时还是如此的新颖,arxiv上甚至都只有寥寥无几的搜索结果。尽管Jimmy一周之内就自己用BLOOM微调了一个分子生物学问答的小模型,并且开始通过它快速自学分子生物学,我却依然迟钝,没有觉得人类新一轮生产能力的革命在这一天就已经彻底改变了。 一周后,Jimmy发表了Reflections on Transformers II.这一周时间,我在感慨GPT3 1750亿参数的选择应该是恰好可以在 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照