중복파일 검색과 제거의 최강자 Duplicate File Detective

 

내 컴퓨터, 노트북 하드디스크가 빈 공간이 좁아질 때, 서서히 압박이 밀려오게 됩니다. 

하드공간을 확보하기 위해서 시스템 파일 청소도 해보고, 임시 폴더도 삭제해 봅니다. 

 

사실 이렇게 해서 대부분 해소가 되긴 합니다만, 요즘 같은 대용량 멀티미디어 파일이 많은 세상에서 앞서 말한 파일들 크기보다는 차라리 중복 파일 하나 줄이는 것도 의미가 있습니다. 

 

요즘 카메라는 화소수가 높아서 파일 하나당 몇 메가바이트(Mb)는 기본입니다.

화질이 1억만 화소 휴대폰 카메라 시대엔 용량이 더 증가합니다.

요즘 액션캠들 5.7k 해상도 동영상 1분이면 1기가 바이트입니다.  크리에이터들에겐 그야말로 폭발적인 증가량입니다. 

그래픽 드라이버 등 같은 파일을 보유하고 있는 경우도 많습니다. 

 

데이터는 또 어떻습니까? 사진 동영상의 백업본을 만들고, 백업에 백업본을 만드는 등 불필요한, 어쩌면 과도한 백업 파일들로 인해서 하드용량이 찰 때가 많습니다. 

 

특히나 미디어 파일을 많이 보유한 사람들은 중복 파일 제거가 최우선입니다. 

 

중복 파일 제거 프로그램의 분류

 

저도 수많은 중복 파일 제거 프로그램을 사용해봤었는데요.

공동적으로 'duplicate~'로 시작하는 프로그램 프로그램 종류가 많습니다.  'Duplicate File~'로 시작하는 프로그램만도 여러 가지가 있습니다. 

 

중복 파일 제거 프로그램들의 검색 알고리즘을 보자면, 

 

레벨 1단계는 같은 이름 파일 찾기입니다. 

이 프로그램의 경우 가장 난이도가 낮고, 위험한 프로그램입니다.  단지 파일 이름이 같다고 해서 같은 취급을 하는 프로그램입니다. 예를 들어, 1메가짜리 DSC0001.JPG 파일과 10메가짜리 DSC0001.JPG 파일을 같은 파일로 분류해서 둘 중 하나를 지워버립니다.  디지털카메라의 경우 메모리스틱을 포맷하거나, 초기화했을 때. 그도 아니면 저장 폴더가 변경 됐을 때 파일 일련번호가 1부터 시작하는 터라 중복 파일로 삭제되는 경우가 많습니다. 

파일 찾는 속도로만 놓고 보면 최고 빠릅니다. 비교하는 품목이 1개이니깐요. 

 

레벨 2단계는 같은 이름 & 같은 용량입니다. 

레벨 1단계 파일 이름 비교에 하나 더 추가해서 파일 사이즈도 같은가를 체크하는 프로그램입니다. 

1단계에 비해서는 향상되었지만, 특히나 파일크기가 1메가바이트(Mb) 미만 파일 식별이 잘되지 않습니다. 

사실 PC 용량이 큰 파일보다는 1MB 이하 파일들도 무수히 많습니다. 주로 환경설정 파일 같은 시스템이나, 프로그램에서 중요한 부분이 있어 잘못 삭제 시, 시스템이나, 프로그램 손상을 입기 쉽습니다.

정규화된 양식 문서 파일도 종종 중복 파일로 오판되어 삭제되는 경우가 많습니다. 

 

레벨 3단계는 같은이름 & 같은 용량 & 파일 날짜입니다. 

이 정도 되면 사실 꽤 괜찮은 프로그램으로 분류가 됩니다. 같은 이름, 같은 용량, 같은 파일 생성(수정) 일자 파일이 존재하기란 쉽지 않기 때문입니다. 대게 이 정도 되면 옵션을 선택할 수 있는데 세 가지를 모두 비교하기도 하고, 선택적으로 할 수도 있습니다.  검색 항목이 많을수록 검색 속도도 느려지기 때문입니다. 

 

이 프로그램쯤 되면 어느 정도 신뢰도가 있어 사용해봄직하지만, 문제점이 있습니다. 

 

첫째는 다른 폴더에 사본을 만들었을 경우입니다. 

파일을 복사하면, 이름, 파일크기는 같지만, 파일 생성일(만든 날짜)이 달라지게 됩니다.

C드라이브에는 USB에 담긴 어제 찍은 사진을 옮기면, 생성일은 어제가 됩니다. 

사본으로 C드라이브 파일을 복사해 D드라이브에 넣으면 생성일은 오늘날 짜가 되기 때문에 3단계에 속하는 프로그램은 다른 파일로 분류합니다. 프로그램에 따라 날짜는 생성일, 수정일, 마지막 액세스 날짜를 다시 세분화하는 프로그램도 있긴 해. 옵션을 켜고 꺼가면서 여러 번 중복 파일 찾기(비교)를 해주셔야 합니다. 

 

두 번째 경우는 파일을 이름을 수정했을 경우입니다. 

휴대폰에 있는 동영상 파일을 컴퓨터로 옮겼다고 생각해봅시다. 

파일 이름을 그대로 변경하지 않고 옮겼으면 괜찮겠지만, 동영상 파일을 식별하기 위해서 '등산. mp4'라고 수정했다고 칩시다. 그리고 1달 후에 옮긴걸 깜빡하고 또 한 번 옮겼다고 가정해봅시다. 이번에는 '설악산 등산. mp4'라고 수정했다고 칩시다. 그럼 이두 파일은, 파일크기, 날짜는 같습니다만 이름이 달라 다른 파일로 간주되어 중복 파일 체크(검색)에서 누락됩니다. 

사실 사진이나, 동영상을 자주 사용하는 분들은 흔한 경우로 일일이 동영상을 열어보지 않는 한 찾기가 여간 번거롭지 않답니다. 

 

레벨 4단계는 같은 이름 & 같은 용량& 파일 날짜 & 체크섬(checksum)입니다. 

체크섬은 생소할 수 있는데요. 파일의 무결성을 보호, 확인하는 방법으로, 파일 고유의 시리얼 키라고 생각하시면 될 것 같습니다. '해시'라도고 합니다.

체크섬은 파일이 생성되면서 완벽히 파일내용이 같이 않으면 똑같을 수가 없습니다. 물론 파일에 손상, 변형이 가해지면 checksum값이 무결성이 깨이면서 변조, 손상되었다는 것을 파악하게 됩니다. 

어떤 파일에 이름을 바꾸거나 복사를 해서 날짜가 바꾸어도 checksum값은 같게 됩니다. 파일 이름의 정보나 수정 날짜 등은 바뀔 수 있지만, 내용이 바뀌는 것은 아니기 때문입니다. 

 

 

중복 파일 제거 프로그램 최강자인  Duplicate File Detective는 256-bit, content checksum 검색을 지원하여 정확히 일치하는 파일을 검색할 수 있습니다. 

다만 파일 비교(찾기) 속도를 고려하여 128bit만으로도 충분하다고 생각됩니다. 

 

프로그램 다운로드 및 설치하기

 

https://www.duplicatedetective.com/

 

Duplicate File Detective Software for Windows

FIND AND MANAGE DUPLICATES SAFELY Duplicate File Detective provides the tools you need to find and remove duplicate files residing on hard drives, removable storage devices, network attached storage, and more. Once found, you'll be able to safely move, zip

www.duplicatedetective.com

에서 다운로드하면 되고, trial로 사용할 수 있습니다. 

 

"Home"에서 검색할 곳을 찾습니다. 기본값은 전체 하드디스크가 선택되어 있는데, 해제해도 되고, 특청 폴더라면 add 버튼을 수동 지정해도 됩니다. 

 

초보자의 경우 'project Wizard'를 선택 후, 파일을 검색할 파일을 수동으로 선택해도 되고, 

 

이렇게 '비교 옵션'을 자동으로 선택하실 수도 있습니다. 

 

검색할 위치를 지정 후에도 확장자 별, 포함/제외 옵션과, 파일 날짜, 파일크기, 파일 이름 길이 등 필터를 활용해 비교검색 및 체크 확인 시간을 줄일 수 있습니다.

준비가 되었으면 'Start Search'를 눌러 검색을 시작합니다. 

 

실시간으로 파일 검색 상황과 중복 파일 개수 등을 알 수 있습니다.

 

검색 완료 화면으로 중복 파일의 이름, 크기, 수정일, hash갑, 그룹, 파일 위치(폴더) 별 등 다양한 방법으로 검색 가능하며,

아랫부분에는 파일 유형별로 결과물을 보여주기도 하며, 파일크기, 중복 횟수, 중복 파일 크기 상세한 세부사항을 볼 수 있습니다. 

 

여기에서 삭제할 대상을 선택해주어야 하는데, 첨부와 같이 파일 위치별, 경로, 사이즈, 파일 이름의 길이 등등. 여러 가지 세부항목별 선택이 가능하며, 파일 위치도, 다시 그룹에 처음, 그룹별 마지막 등 다양한 선택이 가능합니다. 

 

삭제하고자 하는 파일 선택이 제대로 된 것을 확인하였다면 삭제 버튼을 눌러 중복을 제거하면 됩니다. 

예시에서는 그룹별 맨 위에 경로를 남기고, 나머지는 삭제하는 옵션을  선택하였습니다. 

 

이상 중복 파일 체크 프로그램의 원리와, 그중에 가장 세밀한 검색과 검색 필터, 삭제 대상 파일 선택 옵션 등 

중복 파일의 검색, 찾기, 비교, 체크, 제거에서 가장 확실한 Duplicate File Detective에 대해 알아보았습니다. 

 

 

단순한 중복 파일 체크 방식으로 인한 오판, 작동으로 중요한 파일의 손실을 방지하는데 도움이 되셨기를 바랍니다.

 

댓글

Designed by JB FACTORY