2024 年 1 月 13 日,AIGClink 在昆仑巢举办了北京 AIGC 中国开发者大会,我作为嘉宾在会上进行了提示工程领域的内容分享。北京这边的线下交流活动很多,上周参加了卡兹克的线下交流活动,体验也非常的不错,能够认识很多朋友,收到许多真实的反馈,启发很多新的思考,同时也是对自己在做人做事上的鞭策学习。因此只要有机会,我个人还是很喜欢参加这类活动的,也推荐大家如果有机会的话多多参与。
昨天的分享受到很多朋友的点赞,很开心能够受到线上线下这么多朋友的认可。由于现场时间有限以及我个人的原因(有点紧张,语速好像过快了,努力改进),有些内容没能很好的呈现,应大家呼声,PPT 和发言内容在此整理出来,与现场内容相比有所调整补充,分享给大家。
2023 年 LangGPT 的朋友们在社群分享交流了那么多关于提示词、提示工程的优秀内容,一直没有机会系统地梳理总结一下。正好借此分享机会对 2023 年提示工程相关的内容进行一个简单的梳理,既是自己的总结,也希望对大家有所启发。
限于个人学识、眼界,内容必定有不足、缺陷,甚至错误之处,其中的观点部分更是个人看法,仅供参考。
提醒:PPT 中为大家精选了大量示例,不失为动手学习提示工程的优秀示例,有需要的朋友推荐多多实践。
特别致谢:LangGPT 提示词社群的共建者和支持者们。所有的荣誉归于你们,这是我们的最佳实践,优质内容和案例让我们一起将它们带到更多更大的舞台!
一个广泛的理解误区就是将 prompt 简单理解为自己精心设计的那一小段提示词,而忽略了prompt 的其他来源 。
我们用输入法做个类比,第一张图片中的 “春眠” 是我们的输入,“不觉晓” 是模型输出,所以 “春眠” 是 prompt。到了第二张图片, “春眠不觉晓” 是模型输入(“不觉晓”是模型前一轮的输出),“处处闻啼鸟” 是模型输出,所以 “春眠不觉晓” 是 prompt。
prompt 的来源可以是我们的预设 prompt,也可以是用户的输入,甚至模型自己之前的输出也是 prompt。
一切 LLM 应用推荐先从 prompt 工程着手建立原型,作为我们性能优化的基石。若 prompt 工程无法满足实际需求,再分析性能瓶颈原因,采取进一步策略。比如通过 RAG 构造更好的模型输入,所以 RAG 本质上也是一种 prompt 工程。如果要使用微调,通过 prompt 工程构造高质量的微调数据更是微调成功的关键。很多朋友希望做垂直领域大模型,也需要通过 prompt 工程(或结合 RAG )先获取第一批高质量输入输出数据,然后微调模型。模型性能提升后,数据质量进一步提升,将更优质的数据用于模型训练,然后更好的模型产出更好的数据,如此构建正向迭代循环(也称数据飞轮),其中每个环节都离不开好的提示工程。
这里借用 Transformer 论文的一个句式, prompt is All You Need!原因主要为以下三点:
提示工程本质是人机沟通的艺术,只要我们人类自己仍在学习怎么高情商表达交流,人机如何更好的交互就会继续存在。
最近有些消息说 AGI 到来的脚步已经很近了,在这个话题下,在开发者大会现场听到生产力和生产关系的变革这么深刻的讨论内心还是很惊奇的,也很有启发。