In-context learning¶
In-context learning（答えてほしいことを例示してその場でタスクに適応させる）の枠組み
GPT3の提案論文であるLanguage Models are Few-Shot Learnersが初出？
Zero-shot Prompting: 例示なしでいきなり質問する
One-shot Prompting: 1例を出す
Few-shot Prompting: 数個の例を出す
参考¶
Chain-of-Thought (CoT)¶
思考過程を細かく具体的に書き出させることで精度を高める
"Let’s think step by step"をつけるだけで改善するというzero-shot CoTもある（東大の松尾研の論文）
ReAct¶
行動を提案し、実施結果をもとに思考を重ねていく。それにより回答が改善する
ReAct: Synergizing Reasoning and Acting in Language Models – Google Research Blog
Prompt Principle¶
[2312.16171v1] Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
よいプロンプトの書き方をPrompt principlesとして26の原則にまとめたもの。
例えば
丁寧に話す必要はない（「お願いします」「ありがとうございます」など言う必要はない）
対象読者の情報を組み込む（例：読者はこの分野の専門家である）
対話では複雑なタスクを分割してシンプルな指示にする
否定的な言葉（don’t）は避けて、肯定的な指示（do）を使う