仇华:深度对话GPT4-提示工程实战

2024-09-11 阅读310

近年来,随着OpenAI的GPT系列模型,尤其是GPT-4的发布,大语言模型(LLM)在各个领域展现出巨大的潜力。如何有效地利用LLM,让其真正成为提高工作效率、赋能行业发展的利器,成为了摆在每个人面前的难题。这时,“提示工程技术”应运而生,成为连接人类与LLM的桥梁,将潜在的技术力量转化为现实的生产力。

鑫知课堂邀请到微软全球价值专家仇华老师,为我们带来课题为“深度对话GPT4-提示工程实战”的主题分享。

图片

提示工程技术不仅仅是将自然语言转换成大语言模型的指令,更是实现人机协作的关键。我们可以通过精确和精巧的提示词设计,驱动GPT-4等大语言模型执行一些复杂的任务逻辑,包括创造文学作品、图像作品等。高效的提示词设计也可以让AI的响应更加高效,我们可以在更短的时间内获得更所需的精准答案,同时减少token的浪费。在定制化场景中,提示工程可以为每个不同的场景打造专属的解决方案,比如定制专属的角色为我们做服务,甚至是做一些agent或者多agent的设计等。在安全上面,通过一个提示词的设计,可以最大限度的减少错误的输出,提高安全性能。同时技术的学习,能了解更多的前瞻知识,把握大语言模型未来的发展方向。

图片

 

“提示工程技术”在行业落地方面,主要为以下三个行业进行赋能提效。一是编程自动化,可以帮助程序员进行高效的代码编程。二是学术教育,提示词可以帮助进行论文的书写、教学的辅助、科研学术图形图表的生成以及数学分析。三是垂直领域,包括金融、医疗、数据、传媒、办公RPA等。

Prompt,中文名叫“提示词”,可以理解为触发词、引导词或问题,用于引导AI大语言模型生成特定主题或内容的回应。在大语言模型的原理上来看,AI只是在做下一个最优文本的逐个输出,AI本身不是用来做对话的。AIGC它是一个深层次的模型,AI根据前面拿到的上下文文本,逐个输出后面的内容。我们现在经常把ai当做一个对话模型,是因为当我们问AI问题的时候,模型其实并不是按问答的逻辑进行思考,只是巧妙的输出了一个类似于QA的形式,问题的回答只是问题输入的一个最可能的输出。

最初的Prompt是研究者设计的输入模板,帮助预训练语言模型激活学习记忆。要想在未来做好提示词相关的开发,我们需要深入理解Prompt思想。Prompt范式,指的是“预训练——Prompt"这一NLP最新的范式,也属于Parameter Efficient(参数高效)学习方法的一种。提示词最核心的就是“表达出你想要的”,AI响应不一定是最准确的,但一定是你最想要,所以提示时的核心就是表达出你最想要的AI响应的结果。

提示词的基本要素包括温度、顶部P、停止序列和最大响应数包括过去消息数、频率损失和状态惩罚等。我们需要在提示词里明确告诉AI我们的任务是什么,让AI根据我们准确的任务进行一个响应和回复。

我们在与AI进行交互的过程中,经常会提到Token,也叫分词、词源或令牌。Token是自然语言中最基本表示文本的一个单位,并不等同于单词。AI会将我们输入的文本根据它文本库的序列进行token化的分词,分词之后根据字典将每个词语转化成一个数值,最后输入到AI模型中,作为一个输入,让AI进行响应内容。

从OpenAI的论文结合GitHub上开源的代码上分析,GPT系列采用了基于BPE算法的SentencePiece分词工具。这种分词方式混合了Byte Pair Encoding(BPE)和unigram language model,结合了BPE的优点,同时克服了处理多种语言和字符集时的限制。不同的表达方式占用token的数量是不同的,我们在用token的时候,并不能把token跟单词化为同一个事情。使用OpenAI的Tiktoken开源的分词库,可以在自动化过程中计算token的消耗,提高token的效率,降低我们跟AI对话的成本。

图片

提示词在设计过程中有3个通用的技巧。一是明确指示任务和目标,使用命令指示模型执行特定任务,如写入、分类、总结、翻译等。二是提供足够的上下文,提供与任务相关的关键背景信息,帮助模型更好地理解需求。三是精准的描述,精确地描述期望AI输出的内容结构和输出形式,确保输出的准确性和稳定性。

提示词工程技术(PET)即Prompt Engineering Technology是一种策略,用于优化模型的输入(提示词),以便更好地引导模型产生所期望的响应输出。提示工程就是在问问题、提出指令或者提供背景信息的时候,采用一种更精确、更明确和有效的方式,让AI能够生成更准确、更有用和相关的回答。来减少AI的幻觉,提高AI在各个任务中的表现和稳定性。

 

图片

 

提示工程技术多达18项,仇华重点分享了全局消息设置、伪代码任务器、“AI魔法指令”—神奇提示词和创意激发与风险对抗四个技术的详解。通过定义模型的角色和响应规则,减少幻觉和错误输出。使用伪代码的方式创建复杂任务链,实现个性化的长文本执行器。使用“逐步分析”、“Let's think step by step”、“Take a Deep Breath”

等词语,提高模型的逻辑思维能力。通过多种策略,激发AI的创造力,并防范潜在的风险。

 

图片

相信通过学习和应用提示工程技术,我们可以解锁大语言模型的无限潜力,开启人机协作的新篇章,让AI真正成为我们的得力助手,推动社会发展和进步。

本站所载课程视频等内容产品的版权归鑫知教育所有。未经授权,任何单位或个人不得擅自进行转载或用于商业目的。如有版权合作需求,请与公司联系。如有违者,公司将依法追究侵权者的法律责任。

关键词