RAG가 생성적 AI의 환각 문제 해결에 이르지 못하는 이유

\n

환각은 기본적으로 생성적 AI 모델이 알려주는 거짓말입니다. 기업이 기술을 사업에 통합하기 위해 이 기술을 살펴보는 동안 발생하는 큰 문제입니다.

\n

모델은 실제 지식이 없으며 단순히 단어, 이미지, 음성, 음악 및 기타 데이터를 개인 스키마에 따라 예측하기 때문에 때로는 잘못 맞출 수 있습니다. 최근 월스트리트저널에서 발표된 기사에 따르면, Microsoft의 생성적 AI가 회의 참석자를 발명하고 회의 전화에서 실제로 논의되지 않은 주제에 대해 시사했다는 사례가 있습니다.

\n

하지 몇 달 전에 쓴 것처럼, 환각은 오늘날의 트랜스포머 기반 모델 아키텍처로는 해결할 수 없는 문제일 수 있습니다. 그러나 여러 생성적 AI 공급업체들은 RAG(검색 증강 생성)라는 기술 접근 방식을 통해 더나은 상태로 만들 수 있다고 제안합니다.

\n

다음은 Squirro가 제안하는 방법입니다:

\n

\n

이 제안의 핵심은 솔루션에 내장된 검색 증강 LLMs 또는 검색 증강 생성(RAG) 개념입니다. [우리의 생성적 AI]는 모든 생성 정보를 출처에 연결하여 신뢰성을 보장하는 것이 독특한 특징입니다.

\n

\n

여기에 SiftHub이 유사한 제안을 하고 있습니다:

\n

\n

RAG 기술과 산업 특화된 지식 훈련을 통해 세부화된 응답을 생성하는 회사로서 SiftHub은 제로 환각을 보장합니다. 이는 증가된 투명성과 감소된 위험을 보장하며 모든 니즈에 AI를 사용하는데 대한 극대화된 신뢰를 제시합니다.

\n

\n

RAG는 Meta와 대학교도 런던의 연구자인 데이터 과학자 Patrick Lewis가 개척했으며, 이 용어를 만든 2020 년 논문의 주요 저자입니다. 모델에 적용된 RAG는 질문에 대한 가능성이 있는 문서를 검색하여 - 예를 들어 슈퍼볼에 관한 위키피디아 페이지 - 기본적으로 키워드 검색을 통해 문서를 찾고 이 추가적인 컨텍스트를 고려하여 답변을 생성하도록 모델에 요청합니다.

\n

AI2 비영리 Allen Institute의 AI에 초점을 맞춘 연구부 연구원인 David Wadden은 "ChatGPT나 Llama와 같은 생성 AI 모델과 상호작용할 때 질문을 하면 모델이 '매개 메모리'에서 답할 때 기본적으로 답변하는 것은 - 즉, 웹에서 대량의 데이터를 훈련하여 파라미터에 저장된 지식으로부터 - 그리고 당신이 책이나 파일과 같은 참고 자료가 앞에 있을 때 더 정확한 답변을 할 가능성이 높다는 것과 같이, 일부 경우에는 모델에게도 참고 자료가 필요합니다."

\n\n

RAG는 의심할 여지없이 유용합니다. 이것은 모델이 생성하는 것을 검색한 문서에 속성을 부여하여 사실 여부를 확인할 수 있게 하고, 잠재적으로 저작권을 침해하는 술판을 피할 수 있습니다. RAG는 또한 훈련에 사용되지 않도록하려는 기업들이 (예를 들어, 헬스케어 및 법률과 같은 엄격한 규제 산업의 기업) 이러한 문서들 소스를 임시로 더 안전하게 사용할 수 있게 합니다.

\n

하지만 RAG는 모델이 환각을 멈출 수 없습니다. 또한 많은 공급업체들이 무시하는 제한 사항이 있습니다.

\n

Wadden은 RAG가 "지식 중심" 시나리오에서 가장 효과적이라고 말합니다. 즉, 사용자가 "정보 요구"를 해결하기 위해 모델을 사용하려는 경우인데 예를 들어 작년 슈퍼볼의 우승자를 알고 싶다면 질문에 답변하는 문서는 질문과 동등한 키워드를 많이 포함하고 있기 때문에 키워드 기반 검색을 통해 비교적 쉽게 찾을 수 있습니다.

\np>“‘이러한 경우 모델에게 더 정확한 답변을하려면 책이나 파일과 같은 참고 자료지식이 앞에 있으면 올바른 대답을 할 가능성이 높을 것입니다.” AI2 비영리 Allen Institute의 AI에 초점을 맞춘 연구부 연구원인 David Wadden은 이와 같이 설명했습니다. “하지만 키워드 검색으로 문서를 삭제하는 것이 좀 더 어려운 코딩 및 수학등 ‘추론 중심’ 작업에서는 조금 더 정확한 문서를 식별하려는 추상적인 개념을 검색하는 키워드 기반 검색쿼리를 지정하는 것이 조금 더 어렵습니다.”제출할 필요가 없나ど 어떤 문서가 관련될 수 있느냐를 식별하기가 더 어려운 곳 입니다. 가능합니다.

\n

기본적인 질문조차도, 모델은 문서를 잘못 둔감하게 만들 수 있습니다. 특히 답이 분명치 않은 긴 문서에서, 환각을 일으킬 수 있습니다. 또한, 검색된 문서의 내용을 무시하고, 파라미터 메모리에 의존하기를 선택 할 수 있습니다. 이유는 아직 알려지지 않았지만 다양 선양이 있습니다.

\n

규모를 확장하려면 비용이 많이 드는데, 웹, 내부 데이터베이스 또는 다른 곳에서 검색된 문서는 적어도 일시적으로 기억되어 예시를 참조할 수 있기 때문입니다. 답변을 생성하기 전에 모델이 처리해야 할 증가된 컨텍스트에 대한 계산도 추가 비용이 필요합니다. 이미 기본 작업에 대한 컴퓨터 및 전력을 요구해 악명 높은 기술로, 이는 중요한 고려 사항이 됩니다.

\n

RAG가 개선될 수 없다는 의미는 아니며, Wadden은 계속된 노력 많이해서 RAG에서 문서를 더 잘 활용할 수 있도록 훈련하는 것에 대해 언급했습니다.

\n

이러한 노력 중 일부는 모델이 자료를 사용하기로 "결정"할 수 있는 모델, 및 이행이 불필요하다고 판단되면 검색을하지 않도록 하는 모델 등을 차용합니다. 다른 것들은 대규모 데이터 세트를 보다 효율적으로 인덱싱하기위한 방법 및 키워드 이상으로 문서의 더 나은 표현을 통한 검색 개선에 중점을 둡니다.

\n

David Wadden은 “우리는 키워드를 기반으로 한 문서를 검색하는것에정은이지만, 증명 체계 와 같은 더 추상적인 개념을 해결하기위한 필수적인 문서 표현 및 검색 방법의 연구가 필요합니다. 저는이것이 현재 대부분 미결 질문이라고 생각합니다.”라고 추가했다.

\n

그래서 RAG는 모델의 환각을 줄이는 데 도움이 될 수 있지만, 이는 AI의 모든 환각적인 문제에 대한 해답이 아닙니다. 그러한 상인을 볼때 조심하세요