思必驰申请思维链压缩大模型训练方法专利,有利于改写任务
金融界2025年5月10日消息,国家知识产权局信息显示,思必驰科技股份有限公司申请一项名为“用于改写任务的思维链压缩大模型的训练方法及电子设备和存储介质”的专利,公开号CN119940553A,申请日期为2025年1月。
专利摘要显示,本发明公开一种用于改写任务的思维链压缩大模型的训练方法,包括:将第一训练数据集中的多轮对话历史和当前提问进行拼接,并将拼接后的结果对思维链提示词模版中的对应内容进行替换,得到提示词,其中,第一训练数据集包括多轮对话历史、当前提问和标准答案,思维链提示词模版为多轮对话文本补全器,通过结合历史输入以及历史输出,将当前输入中涉及到指代的内容进行分析并返回;将提示词输入至大模型中生成思考过程,基于思考过程和第一训练数据集生成第二训练数据集,其中,思考过程分为多个阶段;基于第二训练数据集对大模型进行训练,在训练过程中有层级地逐步移除大模型在第二训练数据集上的某个思考过程。
天眼查资料显示,思必驰科技股份有限公司,成立于2007年,位于苏州市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本38981.5864万人民币。通过天眼查大数据分析,思必驰科技股份有限公司共对外投资了20家企业,参与招投标项目103次,财产线索方面有商标信息243条,专利信息1289条,此外企业还拥有行政许可17个。
本文源自:金融界
作者:情报员