언어모델은 유창합니다. 그리고 그 유창함이 위험한 부분입니다. 자신 있게 틀린 문장은 자신 있게 맞는 문장과 똑같이 읽힙니다. 어조도 같고 구조도 같아서 겉으로는 구분이 안 됩니다. 근거 데이터 없이 범용 모델에게 특정 경쟁사의 가격이나 특정 시장의 성장률을 물어보면, 그럴듯하게 들리지만 그냥 지어낸 숫자가 나올 수 있습니다.
개념을 보여주는 도식입니다 — 실제 모델 비교가 아닙니다.
연구 문헌에서 확립된 해법은 검색 증강 생성(RAG, retrieval-augmented generation)입니다. Lewis 등은 사전학습된 언어모델의 파라메트릭 기억과, 외부 말뭉치에서 검색해 오는 비파라메트릭 단계를 결합합니다. 그래서 모델은 학습 중에 우연히 외운 것이 아니라 실제로 검색해 온 문서를 근거로 답을 생성합니다. 논문 자체의 표현도 직접적입니다 — 생성 전에 관련 텍스트를 검색하는 것이 사실 정확도를 높이고 환각을 줄인다고 말합니다.
이건 Datriss가 스스로를 설명해 온 원칙과 같습니다. 공개 자료를 요약하는 게 아니라, 지속적으로 수집·정규화되는 SKU 데이터에 모든 판단을 근거를 둔다는 것입니다. FounderBrief에서 구체적으로 보면, 읽는 사람이 보는 숫자들 — 경쟁 브랜드 비교표, 세 개의 독점 지표, 마진 시뮬레이션 — 은 먼저 데이터 파이프라인에서 나옵니다. 언어모델의 역할은 파이프라인이 이미 계산해 둔 것을 서술하고 구조화하는 것이지, 숫자 자체를 지어내는 게 아닙니다.
그라운딩은 위험을 낮추지, 없애지 않습니다. 숫자 표를 읽을 수 있는 문장으로 바꾸는 것도 여전히 생성 단계이고, 밑에 있는 데이터가 맞더라도 그 변환 과정에서 미묘한 오기가 섞여 들어갈 수 있습니다. 앞선 글(엔티티 리졸루션)에서 다룬 샘플 검증 — 결과물을 원천 데이터와 계속 대조하는 작업 — 이 한 번 설정하고 끝나는 단계가 아니라 계속되는 과정인 이유 중 하나가 여기 있습니다.
- P. Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020 (arXiv:2005.11401)— 검색된 데이터에 생성을 근거 지어 환각을 줄이는 RAG를 제안한 원 논문입니다.