Retrieval Augmented Generation (RAG)

Contents

Retrieval Augmented Generation (RAG)#

知識問題をLLMの知識で答えるのではなく、外部のデータソース（例えばネット検索結果）から答えさせるというもの

parameterized（モデルに埋め込んだ）アプローチとそうでないアプローチがある

Lewis, et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks.が提案

hallucinationへの効果がある模様

Shuster, K., Poff, S., Chen, M., Kiela, D., & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567.

[2212.10511] When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories

Hugging Face上のデモ：Retrieval Augmented Generative QA - a Hugging Face Space by deepset

Survey#

Li et al. (2022). A survey on retrieval-augmented text generation. arXiv preprint arXiv:2202.01110.

Gao et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv preprint arXiv:2312.10997.

参考#

Contents