•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
더 보기

인공지능 환각(비교)

r16 vs r17
......
2020
=== 훈련 방식 ===
2121
[[OpenAI]]는 AI 환각의 원인이 훈련 설계 자체에 있다고 밝힌 바 있다. 정답을 모를 때에도 어떻게든 추측해서 정답률을 높이도록 학습을 유도하면, 모델은 모르는 질문에 대해서도 그럴듯한 답을 만들어낸다는 것이다. [[https://openai.com/ko-KR/index/why-language-models-hallucinate/|#]]
2222
23
또한 RLHF 훈련이 환각을 불러일으킨다는 시각도 있다. 사용자들은 대개 자신이 원하는 대답에 근접할 수록 더 좋다는 피드백을 제출한다. 이건 편향된 정보를 AI가 출력했을 때도 마찬가지다. 이로 인해 AI가 편향된 시각에서의 답변이 증가하기도 한다. [[https://arxiv.org/abs/1706.03741|#]]
23
또한 RLHF 훈련이 환각을 불러일으킨다는 시각도 있다. 사용자들은 대개 자신이 원하는 대답에 근접할수록 더 좋다는 피드백을 제출한다. 이건 편향된 정보를 AI가 출력했을 때도 마찬가지로, 이로 인해 AI가 편향된 시각에서의 답변을 더 많이 한다. [[https://arxiv.org/abs/1706.03741|#]]
2424
2525
=== 블랙박스 문제 ===
2626
최신 모델들은 매개변수(파라미터)가 수조 개를 초과하는 수준에 이르렀다. 이 복잡성으로 인해 개발자조차 모델이 왜 특정 답변을 출력하는지 완전히 이해하기 어렵고, 이로 인해 환각을 사전에 탐지하고 제어하기 어렵다.
......