•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
더 보기

인공지능 환각(비교)

r22 vs r24
......
4848
4949
2025년 2월, 미국 와이오밍주 연방법원에서 AI가 생성한 가짜 판례를 인용한 변호사 2명에게 5,000달러(약 720만 원)의 벌금이 부과되었다. [[https://blog.skaiworldwide.com/639|#]] [[https://archive.is/0hWYK|@]]
5050
51
=== [[붉은사슴뿔버섯]] 관련 허위 정보 대량 게시 사건 ===
52
희대의 맹독버섯으로 알려진 [[붉은사슴뿔버섯]]이 식용 가능하다며 요리법, 효능, 항암제로 사용하는 법 등 절대 불가능한 가짜 정보가 [[네이버 블로그]]를 중심으로 퍼져나간 사례가 있다. 이는 [[2025년]] [[6월 8일]], 커뮤니티를 통해 공론화되었다. [[https://theqoo.net/square/3775815972|#]] [[https://archive.is/kQr8g|@]] 이와 같은 글은 모두 AI로만 블로그를 작성해 돈을 버는 AI 블로거들에 의해 삽시간에 네이버를 장악했다.[* 자사의 블로그를 검색 결과 상단에 띄우는 네이버 검색 엔진 특징 상 더욱 그랬다.] 당시 네이버에는"붉은사슴뿔버섯"만 입력해도 효능, 항암제로서의 사용 등과 같은 블로그 글들이 상위권에 노출되어 문제가 매우 심각했다. 더욱 심각한 것은 [[2024년]]부터 관련된 허위 정보가 게시된 것이 확인되었다는 것이며, 현재까지 얼마나 많은 허위 정보가 범람했을 지도 알 수 없을 정도이다.
51
=== 붉은사슴뿔버섯 관련 허위 정보 대량 게시 사건 ===
52
희대의 맹독버섯으로 알려진 붉은사슴뿔버섯이 식용 가능하다며 요리법, 효능, 항암제로 사용하는 법 등 절대 불가능한 가짜 정보가 네이버 블로그를 중심으로 퍼져나간 사례가 있다. 이는 [[2025년]] [[6월 8일]], 커뮤니티를 통해 공론화되었다. [[https://theqoo.net/square/3775815972|#]] [[https://archive.is/kQr8g|@]] 이와 같은 글은 모두 AI로만 블로그를 작성해 돈을 버는 AI 블로거들에 의해 삽시간에 네이버를 장악했다.[* 자사의 블로그를 검색 결과 상단에 띄우는 네이버 검색 엔진 특징 상 더욱 그랬다.] 당시 네이버에는"붉은사슴뿔버섯"만 입력해도 효능, 항암제로서의 사용 등과 같은 블로그 글들이 상위권에 노출되어 문제가 매우 심각했다. 더욱 심각한 것은 [[2024년]]부터 관련된 허위 정보가 게시된 것이 확인되었다는 것이며, 현재까지 얼마나 많은 허위 정보가 범람했을 지도 알 수 없을 정도이다.
5353
5454
위 문제는 [[ChatGPT]]의 환각으로 인해 발생한 문제로, "붉은사슴뿔버섯"과 같이 한국어 한정으로만 사용되는 전용 단어 등에서 흔하게 나타나는 현상이다. 학명을 사용하면 그제서야 올바른 정보를 출력한다. 당시에 ChatGPT에 관련된 질문을 하면 식용이 가능하다며 다른 버섯의 다른 이름이기도 하다는 둥 심각할 정도로 환각 현상이 발생하는 것을 볼 수 있었다.
5555
56
문제가 심각하게 번지자 [[산림청]] [[국립산림과학원]]에서까지 붉은시슴뿔버섯 관련 경고성 보도자료를 게시하였다. [[https://www.forest.go.kr/kfsweb/cop/bbs/selectBoardArticle.do;jsessionid=DsOIT8VxK3JKxPYEwfFbYlIMeR9bJJw2WOXLL9VvX9xj61Kylq1JWHK2mzIp6ovQ.frswas01_servlet_engine5?nttId=3209263&bbsId=BBSMSTR_1036&pageUnit=10&pageIndex=1&searchtitle=title&searchcont=&searchkey=&searchwriter=&searchWrd=&ctgryLrcls=&ctgryMdcls=&ctgrySmcls=&ntcStartDt=&ntcEndDt=&mn=NKFS_04_02_01&orgId=|산림청 - 맹독성 ‘붉은사슴뿔버섯’ 섭취 금지]]
56
문제가 심각하게 번지자 [[산림청]] 국립산림과학원에서까지 붉은시슴뿔버섯 관련 경고성 보도자료를 게시하였다. [[https://www.forest.go.kr/kfsweb/cop/bbs/selectBoardArticle.do;jsessionid=DsOIT8VxK3JKxPYEwfFbYlIMeR9bJJw2WOXLL9VvX9xj61Kylq1JWHK2mzIp6ovQ.frswas01_servlet_engine5?nttId=3209263&bbsId=BBSMSTR_1036&pageUnit=10&pageIndex=1&searchtitle=title&searchcont=&searchkey=&searchwriter=&searchWrd=&ctgryLrcls=&ctgryMdcls=&ctgrySmcls=&ntcStartDt=&ntcEndDt=&mn=NKFS_04_02_01&orgId=|산림청 - 맹독성 ‘붉은사슴뿔버섯’ 섭취 금지]]
5757
5858
[[2026년]] 현재는 일부 글을 제외하면 블로그 작성자들이 글을 내렸거나, 네이버 측에서 직접 삭제하여 어느 정도 해결되었다.
5959
6060
[[https://www.news1.kr/society/general-society/5823736|뉴스1 - "맛도 좋고 건강에 좋다?"…맹독 지닌 '붉은사슴뿔버섯' 거짓 레시피 논란]]
6161
6262
=== 2026년 대한민국 대법원의 AI 환각 대책 ===
63
대한민국 [[대법원]]은 2026년 4월 법관과 변호사가 합동 참여한 태스크포스 논의를 통해 환각에 의한 거짓 사건을 인용하여 서류를 제출하는 등으로 인해 불필요한 절차 지연이 발생하는 경우 그 비용을 서류를 제출한 당사자(또는 변호인)가 직접 부담하도록 하고, 환각이 들어간 서류를 법정에서 사용하는 것을 제한하고, 변호사가 환각을 걸러내지 못하는 경우 변호사협회에 징계를 요구할 수 있도록 하는 방안을 검토 중인 것으로 알려졌다.[* 유서현, [[https://youtu.be/TVX3RM6hz3I|AI 가짜판례 검증 없이 내면 과태료 부과ㆍ징계]], 2026. 4. 1., YTN]
63
대한민국 대법원은 2026년 4월 법관과 변호사가 합동 참여한 태스크포스 논의를 통해 환각에 의한 거짓 사건을 인용하여 서류를 제출하는 등으로 인해 불필요한 절차 지연이 발생하는 경우 그 비용을 서류를 제출한 당사자(또는 변호인)가 직접 부담하도록 하고, 환각이 들어간 서류를 법정에서 사용하는 것을 제한하고, 변호사가 환각을 걸러내지 못하는 경우 변호사협회에 징계를 요구할 수 있도록 하는 방안을 검토 중인 것으로 알려졌다.[* 유서현, [[https://youtu.be/TVX3RM6hz3I|AI 가짜판례 검증 없이 내면 과태료 부과ㆍ징계]], 2026. 4. 1., YTN]
6464
6565
== 역설: 더 발전할수록 환각이 늘어난다? ==
6666
통상적으로 모델이 업데이트될수록 환각이 줄어드는 것이 정설이었으나, [[2025년]] [[OpenAI]]의 추론 모델에서 이 공식이 깨지는 현상이 관측되었다. OpenAI 사내 벤치마크(PersonQA) 기준으로 o1 모델의 환각률은 16%였으나, o3는 33%, o4 미니는 무려 48%에 달했다. [[https://www.fnnews.com/news/202504201250325892|파이낸셜뉴스 - 챗GPT 환각률 48%]] OpenAI는 기술 보고서에서 모델이 더 많은 요청에 응답하게 되면서 잘못된 결과 출력도 함께 증가한 것으로 보인다고 분석했으나, 정확한 원인 규명을 위해 추가 연구가 필요하다는 입장을 밝혔다.
......