这份指南包含了一系列有关提示工程的最新论文、学习指南和工具。该仓库旨在为实践者和开发者提供研究和教育参考,但不能完整列出主题所有的资源。

提示工程是一门相对较新的学科,旨在开发和优化提示,以有效地使用语言模型(LMs)用于各种应用和研究课题。提示工程技能有助于更好地了解大型语言模型(LLMs)的功能和局限性。研究人员利用提示工程来提高 LLMs 在各种常见和复杂任务(如问答和算术推理)上的能力。开发人员使用提示工程来设计与 LLMs 和其他工具接口的稳健有效的提示技术。

受到开发 LLM 的高度兴趣的推动,我们创建了这本新的提示工程指南,其中包含了所有与提示工程相关的最新论文、学习指南、讲座、参考资料和工具。

🎉 提示工程讲座正在此处直播!笔记本和幻灯片皆包含其中。

• 加入我们的 Discord
• 关注我们的推特
• 关注知乎专栏

• Lecture
• Guides
• Papers
• Tools & Libraries
• Datasets
• Blog, Guides, Tutorials and Other Readings

• 讲座
• 指南
• 论文
• 工具和库
• 数据集
• 博客、指南、教程和其他阅读

我们发布了一个 1 小时的讲座,提供了对提示技术,应用程序和工具的全面概述。

• 视频讲座
• 带有代码的笔记本
• 幻灯片

以下是我们开发的提示工程指南。 指南正在研发中。

• 提示工程-介绍
• 提示工程-基本提示
• 提示工程-高级提示
• 提示工程-对抗提示
• 提示工程-杂项主题

以下是关于提示工程的最新论文(按发布日期排序)。我们每天更新这些论文,并添加新的论文。我们每周都会将这些论文的摘要添加到上面的指南中:

• 调查/概述:

  • 增强语言模型的探索(2023 年 2 月)
  • 上下文学习调查(2022 年 12 月)
  • 朝着大型语言模型的推理:一项调查(2022 年 12 月)
  • 大型语言模型的新兴能力(2022 年 6 月)
  • 文本到图像生成的提示修饰器分类(2022 年 4 月)
  • 训练、提示和预测:自然语言处理中提示方法的系统调查(2021 年 7 月)

• 技术/方法:

  • 可扩展的语言模型半监督学习提示生成(2023 年 2 月)

  • 通过提示约束界定大型语言模型在开放文本生成中的能力范围(2023 年 2 月)

  • À-la-carte Prompt Tuning(APT):通过可组合的提示结合不同的数据(2023 年 2 月)

  • GraphPrompt:图形神经网络的预训练和下游任务的统一(2023 年 2 月)

  • 大型语言模型在道德自我纠正中的能力(2023 年 2 月)

  • SwitchPrompt:为低资源域中的分类学习领域特定的门控软提示(2023 年 2 月)

  • 评估离散提示的鲁棒性 (Feb 2023)

  • 上下文学习的组合示例 (Feb 2023)

  • 硬提示变得容易:基于梯度的离散优化用于提示调整和发现 (Feb 2023)

  • 多模态连锁思维推理在语言模型中 (Feb 2023)

  • 大型语言模型容易被无关的上下文分散注意力 (Feb 2023)

  • 合成提示:为大型语言模型生成思维演示 (Feb 2023)

  • 渐进提示:语言模型的持续学习 (Jan 2023)

  • 批处理提示:LLM API 的高效推理 (Jan 2023)

  • 再想想,让我们不要一步一步地思考!零点推理中的偏见和毒性 (Dec 2022)

  • 宪政 AI:来自 AI 反馈的无害性 (Dec 2022)

  • 连续提示:解决复杂问题 (Dec 2022)

  • 通过模型编写的评估发现语言模型行为 (Dec 2022)

  • 结构提示:将上下文学习扩展至 1000 个例子 (Dec 2022)

  • PAL:程序辅助语言模型 (Nov 2022)

  • 大型语言模型是人类级别的提示工程师 (Nov 2022)

  • 忽略先前提示:语言模型的攻击技术 (Nov 2022)

  • 机器生成文本:威胁模型和检测方法的综合研究 (Nov 2022)

  • 通过上下文学习教授算法推理 (Nov 2022)

  • 通过自然语言推理增强预训练语言模型的自我一致性和性能 (Nov 2022)

  • 随便问问:提示语言模型的简单策略 (Oct 2022)

  • ReAct:在语言模型中协同推理和行动 (Oct 2022)

  • 提示 GPT-3 可靠 (Oct 2022)

  • 分解提示:解决复杂任务的模块化方法 (Oct 2022)

  • 语言模型是贪婪的推理者:思路链的系统形式分析 (Oct 2022)

  • 通过手工设计的对抗性例子评估预先训练语言模型的易感性(2022 年 9 月)

  • Promptagator:从 8 个例子中获取少量的密集检索(2022 年 9 月)

  • 推动语言模型变得更好的推理者(2022 年 6 月)

  • 大型语言模型是零点推理者(2022 年 5 月)

  • MRKL 系统:一种模块化的神经符号架构,结合大型语言模型,外部知识源和离散推理(2022 年 5 月)

  • 通过生成提示的毒性检测(2022 年 5 月)

  • 学习转移提示以用于文本生成(2022 年 5 月)

  • 少量提示的文本推理说明的不可靠性(2022 年 5 月)

  • 用于文本到图像生成的提示修改器分类(2022 年 4 月)

  • PromptChainer:通过可视化编程链接大型语言模型提示(2022 年 3 月)

  • 自我一致性提高语言模型的思路链推理(2022 年 3 月)

  • 使用人类反馈训练语言模型以执行指令

  • 重新审视示范的作用:什么使上下文学习成功?(2022 年 2 月)

  • 想法链接提示引发大型语言模型的推理(2022 年 1 月)

  • 展示你的工作:与语言模型中间计算的暂存器(2021 年 11 月)

  • 基于生成知识提示的常识推理(2021 年 10 月)

  • 多任务提示训练可实现零射击任务泛化 (Oct 2021)

  • 重构指令提示以适应 GPTk 的语言 (Sep 2021)

  • 文本到图像生成模型的设计准则 (Sep 2021)

  • 使预训练语言模型成为更好的少样本学习器 (Aug 2021)

  • 神奇有序的提示及其位置:克服少量提示顺序敏感性 (April 2021)

  • BERTese:学会与 BERT 交谈 (April 2021)

  • 参数有效的提示调整的规模之力 (April 2021)

  • 大型语言模型的提示编程:超越少量提示范式 (Feb 2021)

  • 使用前校准:提高语言模型的少样本性能 (Feb 2021)

  • 前缀调整:优化用于生成的连续提示 (Jan 2021)

  • AutoPrompt:通过自动生成的提示从语言模型中提示知识 (Oct 2020)

  • 语言模型是少量学习者 (May 2020)

  • 我们如何知道语言模型知道什么? (July 2020)

• 应用:

  • 格林童话:使用 Midjourney 进行提示工程以诠释童话故事 (2023 年 2 月)
  • LabelPrompt:有效的基于提示的关系分类学习 (2023 年 2 月)
  • 深度神经网络的提示调整,用于说话人适应的视觉语音识别 (2023 年 2 月)
  • 大型语言模型中的道德自我纠正能力 (2023 年 2 月)
  • 多模态仇恨 Meme 分类的提示 (2023 年 2 月)
  • PLACES:提示语言模型以合成社交对话 (2023 年 2 月)
  • 基于常识的提示,用于可控的移情对话生成 (2023 年 2 月)
  • 爬取语言模型的内部知识库 (2023 年 1 月)
  • 法律提示工程,用于多语言法律判断预测 (2022 年 12 月)
  • 探索扩散模型中的提示工程 (2022 年 11 月)
  • 学习解释:通过思维链进行多模态推理,用于科学问题解答 (2022 年 9 月)
  • 与 Copilot 交谈:探索使用自然语言解决 CS1 问题的提示工程 (2022 年 10 月)
  • 驾驶 Copilot 和 Codex:高温、低提示,还是黑魔法? (2022 年 10 月)
  • 从头开始编写情节预训练语言模型 (2022 年 7 月)

• 集合:

  • 思维链论文
  • 带代码的论文
  • 提示论文

• AI 测试厨房
• 更好的提示
• DreamStudio
• DUST
• Dyno
• EveryPrompt
• GPT 索引
• GPTTools
• hwchase17/对抗性提示
• 交互式作曲探索器
• LangChain
• LearnGPT
• Lexica
• 织轴
• Metaprompt
• OpenAI playground
• OpenPrompt
• Playground
• Prodia
• Prompt Base
• Prompt Engine
• OpenAI 的 DALL-E 2 的提示生成器
• Promptable
• PromptInject
• Prompts.ai
• PromptSource
• Scale SpellBook
• sharegpt
• ThoughtSource
• 可视提示构建器

• Anthropic 的 Red Team 数据集, (paper)
• Awesome ChatGPT 提示
• DiffusionDB
• Midjourney Prompts
• P3 - 公共提示池
• PartiPrompts
• Real Toxicity Prompts
• Stable Diffusion Dataset
• WritingPrompts

• 3 Principles for prompt engineering with GPT-3
• A beginner-friendly guide to generative language models - LaMBDA guide
• A Complete Introduction to Prompt Engineering for Large Language Models
• A Generic Framework for ChatGPT Prompt Engineering
• AI Content Generation
• Awesome ChatGPT Prompts
• Best 100+ Stable Diffusion Prompts
• Best practices for prompt engineering with OpenAI API
• Building GPT-3 applications — beyond the prompt
• ChatGPT, AI and GPT-3 Apps and use cases
• CMU Advanced NLP 2022: Prompting
• Curtis64's set of prompt gists
• DALL·E 2 Prompt Engineering Guide
• DALL·E 2 Preview - Risks and Limitations
• DALLE Prompt Book
• DALL-E, Make Me Another Picasso, Please
• Diffusion Models: A Practical Guide
• Exploiting GPT-3 Prompts
• Exploring Prompt Injection Attacks
• Extrapolating to Unnatural Language Processing with GPT-3's In-context Learning: The Good, the Bad, and the Mysterious
• Generative AI with Cohere: Part 1 - Model Prompting
• Giving GPT-3 a Turing Test
• GPT3 and Prompts: A quick primer
• How to Draw Anything
• How to get images that don't suck
• How to write good prompts
• Introduction to Reinforcement Learning with Human Feedback
• In defense of prompt engineering
• Language Models and Prompt Engineering: Systematic Survey of Prompting Methods in NLP
• Learn Prompting
• Methods of prompt programming
• Mysteries of mode collapse
• NLP for Text-to-Image Generators: Prompt Analysis
• NLP with Deep Learning CS224N/Ling284 - Lecture 11: Promting, Instruction Tuning, and RLHF
• Notes for Prompt Engineering by sw-yx
• OpenAI Cookbook
• OpenAI Prompt Examples for several applications
• Pretrain, Prompt, Predict - A New Paradigm for NLP
• Prompt Engineering 101 - Introduction and resources
• Prompt Engineering 101: Autocomplete, Zero-shot, One-shot, and Few-shot prompting
• Prompt Engineering 101
• Prompt Engineering - A new profession ?
• Prompt Engineering by co:here
• Prompt Engineering by Microsoft
• Prompt Engineering: The Career of Future
• Prompt engineering davinci-003 on our own docs for automated support (Part I)
• Prompt Engineering Guide: How to Engineer the Perfect Prompts
• Prompt Engineering in GPT-3
• Prompt Engineering Template
• Prompt Engineering Topic by GitHub
• Prompt Engineering: From Words to Art
• Prompt Engineering with OpenAI's GPT-3 and other LLMs
• Prompt injection attacks against GPT-3
• Prompt injection to read out the secret OpenAI API key
• Prompting in NLP: Prompt-based zero-shot learning
• Prompting Methods with Language Models and Their Applications to Weak Supervision
• Prompts as Programming by Gwern
• Reverse Prompt Engineering for Fun and (no) Profit
• So you want to be a prompt engineer: Critical careers of the future
• Simulators
• Start with an Instruction
• Talking to machines: prompt engineering & injection
• the Book - Fed Honeypot
• The ChatGPT Prompt Book
• Using GPT-Eliezer against ChatGPT Jailbreaking
• What Is ChatGPT Doing ... and Why Does It Work?

如果你认为缺少了什么,欢迎提交一个 PR。也欢迎反馈和建议。