데이터 중복 제거

정의

같은 내용이 두 번 이상 들어간 데이터를 찾아 하나만 남기는 일.

자세한 설명

회원 가입을 두 번 해서 같은 사람이 두 줄로 들어가 있거나, 같은 주문이 시스템 오류로 겹쳐 쌓인 경우처럼 똑같거나 거의 같은 내용이 중복으로 들어간 데이터를 찾아 하나만 남기는 일입니다. 중복을 그대로 두면 회원 수나 매출 집계가 실제보다 많게 나올 수 있습니다. 완전히 똑같은 줄은 찾기 쉽지만, 이름 표기만 살짝 다른 경우는 어떤 기준으로 같다고 볼지 정해야 합니다. 여러 데이터 소스를 합칠 때 특히 자주 생기는 문제입니다.

예를 들면

온라인과 매장 회원 명단을 합치면서 전화번호가 같은 줄을 찾아 중복 제거를 했습니다.

관련 용어