Retrieval Augmented Generation (RAG)

知識問題をLLMの知識で答えるのではなく、外部のデータソース（例えばネット検索結果）から答えさせるというもの

parameterized（モデルに埋め込んだ）アプローチとそうでないアプローチがある

Lewis, et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks.が提案

hallucinationへの効果がある模様

Shuster, K., Poff, S., Chen, M., Kiela, D., & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567.

[2212.10511] When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories

Hugging Face上のデモ：Retrieval Augmented Generative QA - a Hugging Face Space by deepset

Survey¶

Li et al. (2022). A survey on retrieval-augmented text generation. arXiv preprint arXiv:2202.01110.

Gao et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv preprint arXiv:2312.10997.

参考¶

• Retrieval Augmented Generation (RAG) | Prompt Engineering Guide

• 大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ

• 【論文解説】Open Domain Question Answering 『RAG』を理解する | 楽しみながら理解するAI・機械学習入門

• プロンプトエンジニアリング手法 外部データ接続・RAG編 - Platinum Data Blog by BrainPad

• Zhu, et al. (2021). Retrieving and reading: A comprehensive survey on open-domain question answering.

• NLPコロキウム | Retrieval-based Language Models and Applications (浅井明里)

  • 下の方にある「スライド」のリンクをクリック