이 연재에는 "좋아 보였지만 재보니 손해였다"가 계속 나옵니다. 로컬 리랭커, 청크 정렬, LLM 재정렬… 그런데 그걸 무엇으로 판정했을까요? 이번 글은 그 자(尺) 이야기입니다. 그리고 그 자가 흔들려서 아무것도 못 재던 시절 과, 자를 고정하다 발견한 정답셋 자체의 오류들 을 함께 다룹니다. "결과 괜찮은데?"는 측정이 아니다 검색 품질에는 고약한 성질이 하나 있습니다. 눈으로 보면 대체로 다 좋아 보입니다. 새 기법을 넣고 검색어 서너 개를 쳐봅니다. 결과가 그럴듯합니다. "오, 좋아졌네." 그런데 이 판단에는 문제가 셋 있습니다....