【中文医疗大模型】训练全流程源码剖析

笔者中文医疗大模型系列文章目录:《关于hippocratic.ai和glass.health的产品讨论》《ChatGPT在医疗NLP场景的应用》《记一次ChatGPT的应用探索与实践》《ChatGPT在医疗行业的探索与实践》《关于医疗LLM的随笔》《中文医疗大模型的2W1H分析》《中文医疗大模型也可以“学富五车”？》围绕中文医疗大模型，按照ChatGPT的训练流程做本地化适配，整体的流程如下：从上述流程来看，整体上可以分为四个阶段，分别如下：预训练（pre-training,pt）,上述流程中，基于ChatGLM-6B的初始模型，经过海量中文医疗语料训练，得到领域适配的ChatGLM-6B监督微调(supervised finetuning, sft)，通过基于知识图谱，在线问诊等数据，构建训练数据完成指令微调RM模型构建(reward modeling, rm)，人工对预测答案排序，训练一个打分模型强化学习阶段(reinforcement learning, rl)，基于PPO算法，采用RL的方式 ………………………………