설명이 없는 점수는 데이터 옷을 입은 의견일 뿐입니다. 진단 도구가 "10점 만점에 7.2점"이라고만 말하고 끝나면, 셀러는 그걸 신뢰할 수도, 반박할 수도, 뭐가 바뀌어야 점수가 움직이는지 알 수도 없습니다. 숫자 하나만 던지는 건 믿어달라는 요구입니다. 그 밑에 뭐가 있는지 보여주는 건 훨씬 합리적인 요구입니다 — 한 번 더 살펴봐 달라는 것.
각 요인의 기여도를 보여주는 예시입니다 — 실제 가중치가 아닙니다.
이건 머신러닝에서 새로운 아이디어라기보다는 이미 자리 잡은 아이디어에 가깝습니다. Lundberg와 Lee가 제안한 SHAP는 모델의 예측 결과를 그걸 만들어낸 개별 요인들로 되돌려 귀속시키는 통일된 방법을 제공합니다. 그래서 출력값 하나를 "이 요인이 이만큼 끌어올렸고, 저 요인이 이만큼 끌어내렸다"로 분해할 수 있습니다. 이 접근은 이제 비즈니스 의사결정의 근거가 되는 모든 점수에 거의 기본으로 기대되는 수준이 됐습니다.
Datriss는 최종 사용자에게 원시 특성 기여도 값을 그대로 노출하지는 않습니다. 그 정도 세부사항은 도움이 되기보다 압도하기 쉽습니다. 하지만 그 밑에 있는 원칙은 LemonAId가 진단을 보여주는 방식에 그대로 드러납니다. 시장 추천과 함께 Buy / Maybe / Skip 판정과 확신도(confidence level)를 같이 보여줘서, 셀러가 도구가 뭘 결론 내렸는지뿐 아니라 그 결론에 얼마나 무게를 실어야 하는지도 알 수 있게 합니다.
이건 앞선 글에서 다룬, Lemon Score™·Velocity Score™·Gap Index™를 평균 하나로 합치지 않고 따로 유지하는 이유와 같은 논리입니다. 숨겨진 숫자 하나는 만들기는 쉽지만 믿기는 어렵습니다. 눈에 보이는 세 개, 혹은 확신도와 짝지어진 판정은 화면을 더 차지하지만 그럴 가치가 있습니다.
- S. Lundberg & S. Lee, A Unified Approach to Interpreting Model Predictions, NeurIPS 2017 (arXiv:1705.07874)— 이 글에서 다룬 특성 기여도 기반 설명가능성 방법(SHAP)의 원 논문입니다.