清华x-lab“AI+创业实训营”课程回顾 | 创业公司如何选好&用好大模型

智谱柴思远分享

创业公司如何选好、用好大模型

在清华x-lab举办的“AI+创业训练营”系列课程中，智谱企业商业技术中心总经理柴思远先生为学员们带来了主题为“创业公司如何选好&用好最适合自己的大模型（进阶）”的精彩课程，为创业公司在大模型应用方面提供了宝贵的指导和建议。

柴思远先生首先介绍了大模型应用落地的五个阶段，包括预训练、微调、Prompt工程、工程化以及模型层和应用层的结合。预训练阶段通过大量无监督训练学习语言的普遍特征和模式，为通用任务打下基础；微调阶段则通过对模型进行微小调整，使其更好地适应特定任务和领域；Prompt工程关注对任务和需求的精确描述，帮助模型更好地理解输入文本；工程化阶段则涉及将模型与业务系统进行交互、对接，设计产品交互逻辑和功能；最后是模型层和应用层的结合，实现大模型在实际业务中的落地应用。

课程中还重点讲解了指令工程和模型微调的相关内容。指令工程强调清晰明确的指令对于模型理解和执行任务的重要性，通过优化指令可以提高模型的准确性和效率。而模型微调则需要高质量的数据、训练算力以及算法知识背景，与微调相比，指令工程可以低门槛的对模型的效果进行调优，但也存在一些限制，如窗口长度限制、错误知识无法修正等问题。柴思远先生还介绍了如何开启第一次微调，包括数据准备、训练和评测等步骤。

在Prompt工程方面，柴思远先生介绍了几种不同的Prompt框架，如ICIO、LangGPT和CRISPE等，这些框架代表了不同的思考逻辑，适用于不同的场景和任务。他还分享了Prompt迭代的方法，通过不断优化Prompt来提升模型的表现，以及如何通过Prompt工程来完成一个任务，并在任务可实现但不够好时启动微调。

智谱新一代MaaS平台的介绍也是课程的亮点之一。该平台支持无需代码，通过三步完成模型微调，包括准备训练数据、创建微调任务和使用微调模型。柴思远先生详细讲解了如何在平台上进行数据准备、任务创建以及模型使用，并通过公积金客服场景和车辆识别场景的案例，展示了如何通过数据构造和微调方法来解决实际业务中的痛点问题，如知识整理成本高、知识复用性差、识别难度大等。

构建知识库和智能体也是课程中讨论的重要内容。知识库的构建可以减少模型的生成幻觉，增加内容生成的可追溯性，并提高问答的准确性和效率。柴思远先生介绍了知识库构建的技术方案全景，包括文件上传、解析、切片、索引构建、查询匹配等环节，以及如何通过优化知识库来解决知识混淆、场景化问题等挑战。智能体的构建则涉及到如何通过分解业务动作、定义意图、调用工具等实现复杂的多轮交互场景，如差旅预订场景中的workflow实现流程和agent实现流程。

柴思远先生还探讨了ToC（面向消费者）和ToB（面向企业）场景下使用大模型的差异。ToC场景更注重用户体验、个性化和实时性，而ToB场景则更关注专业性、稳定性和可扩展性。他通过具体的例子，如求职信生成、周报生成等，展示了如何根据不同场景的特点来设计和优化大模型的应用，以满足不同用户群体的需求。

智谱清流-智能体开发平台作为智谱在智能应用开发领域的重要成果，为开发者提供了一个强大的工具。该平台集成了先进的大模型技术，支持多种智能体的创建和管理，能够满足不同行业和场景下的智能应用开发需求。通过该平台，开发者可以轻松地构建具有复杂交互逻辑和多步骤任务拆解能力的智能体，柴思远先生在本次讲座中就现场为我们演示了如差旅预订、智能客服等多种应用场景的自动化和智能化，极大地提高了开发效率和应用质量。

智谱清流-智能体开发平台的推出，标志着智能体开发进入了一个新的阶段。该平台不仅提供了丰富的功能和灵活的配置选项，还注重用户体验和易用性，使得即使是非专业的开发人员也能够快速上手并开发出高质量的智能应用。此外，平台还支持与其他系统的无缝对接和集成，为企业的数字化转型和智能化升级提供了有力支持。智谱清流-智能体开发平台的出现，将推动智能体在更多领域的广泛应用，引领智能体开发的新趋势。