ChatGPT 검색, 숨겨진 지시문에 의해 조작될 수 있다?
ChatGPT 검색 조작 가능성
최근 보고서에 따르면 ChatGPT 검색은 숨겨진 텍스트로 쉽게 조작될 수 있다고 합니다. 사용자는 텍스트의 색상을 변경해 눈에 보이지 않게 만든 뒤 ChatGPT가 이를 조회해 긍정적인 결과를 반환하도록 유도할 수 있습니다. 이는 단순한 텍스트만으로도 가능하다고 하니 경계할 필요가 있습니다.
시험 사례와 조작 전략
The Guardian은 숨겨진 텍스트가 포함된 가짜 웹사이트를 사용해 ChatGPT 검색의 동작을 실험했습니다. 이 결과, ChatGPT는 숨겨진 긍정적인 평가를 읽고 긍정적인 리뷰를 돌려주었습니다. 심지어 지시문 없이도 숨겨진 긍정적인 리뷰 텍스트가 ChatGPT의 반환 결과에 영향을 미쳤습니다. 이는 ChatGPT가 검색 결과를 작성하는 과정에서 쉽게 영향을 받을 수 있음을 보여줍니다.
AI 검색 엔진, 왜 조작될까?
AI 검색 엔진은 최신 정보와 권위 있는 자료를 가져오기 위해 "RAG (Retrieval Augmented Generation)" 기술을 사용합니다. 그러나 사이트들이 Bing의 인덱스에 포함되면 ChatGPT 검색이 숨겨진 텍스트로부터의 영향을 받을 수도 있습니다. 이러한 허점을 이용해 사이트가 ChatGPT 검색 봇에게 다른 콘텐츠를 보여주는 방법도 있을 것으로 보입니다.
조작하는 다른 방법들
연구자들은 이전에 AI 검색 엔진을 조작할 수 있는 9개의 전략을 밝혀냈습니다. 그 중에서도 권위 있는 주장 스타일의 변경, 키워드 최적화, 그리고 통계 정보를 기존 콘텐츠에 포함시키는 것이 가장 효과적이었습니다. 키워드의 적절한 추가가 웹 페이지의 순위에 큰 도움이 되었습니다.
ChatGPT 검색, 과연 조작될 수 있을까?
일부 신뢰할 수 있는 출처들은 검색 AI의 오버뷰 기능이 대기업 제품을 우선적으로 보여주도록 조작될 수 있다고 주장하기도 했습니다. 아직 직접적으로 확인된 바는 없지만, ChatGPT 검색 역시 유사한 취약점을 노출할 수 있어 주의가 필요합니다. AI 검색은 초기의 전통적 검색과 비슷한 모습을 보이고 있습니다.
AI 기술이 발전하면서 새로운 도전과 가능성이 열리지만, 동시에 악용될 소지도 남아 있다는 점을 인지하고 꾸준히 경계를 늦추지 않아야 할 것입니다. 더욱 안전하고 신뢰할 수 있는 기술 발전이 이루어지길 기대합니다.