리눅스 중복 파일 찾아 정리하는 쉬운 방법

우리는 웹에서 다양한 파일이나 콘텐츠를 다운로드 받는 습관이 있습니다. 또한 컴퓨터에서 파일을 지속적으로 전송합니다. 결과적으로 우리는 그것을 깨닫지 못한 채 시스템에 수많은 중복 파일을 갖게 될 것입니다. 스토리지 드라이브에서 다른 디렉토리의 동일한 파일을 찾거나 여러 위치에서 일부 파일을 백업하는 것이 일반적입니다. 또는 이름은 다르지만 내용은 동일한 중복 파일 이 있을 수 있습니다.

중복 파일은 대부분 저장 공간 낭비입니다. 그들은 상당한 양의 저장 공간을 차지하며 시스템 저장 용량이 부족할 수 있습니다. 따라서 중복 파일을 찾아서 너무 많은 공간을 차지하지 않도록 하는 것이 중요합니다. 이 문서는 중복 파일을 찾아 제거하는 가장 좋은 방법을 안내합니다.

Linux 시스템에서 중복 파일이 생성되는 방법

중복 파일은 Linux 시스템에 저장되거나 설치된 원본 파일의 동일한 복사본입니다. 여러 가지 이유로 인해 이러한 파일이 시스템에 합법적으로 나타날 수 있습니다. 문서, 오디오, 비디오, 이미지 및 실행 파일을 포함하는 많은 종류의 중복 파일이 있습니다. Linux 시스템에 중복 파일이 너무 많으면 전체 성능이 저하될 수 있습니다.

중복 파일로 인해 Linux에서 여러 문제가 발생할 수 있습니다. 중복 파일이 있으면 Linux에서 로드가 크게 증가할 수 있습니다. 결과적으로 복잡한 파일로 인해 성능과 기능이 저하될 수 있습니다.

다음은 중복 파일이 Linux에 나타날 수 있는 몇 가지 방법입니다.

• 동일한 파일을 자신도 모르는 사이에 여러 번 다운로드하면 중복 파일이 형성될 수 있는 충분한 공간이 생깁니다.
• Linux와 Windows 간에 파일을 전송할 때 동일한 파일을 두 번 이상 가져올 수 있으므로 파일이 중복될 수 있습니다.
• 다양한 위치에 특정 파일을 백업하면 여러 복사본이 생성될 수도 있습니다.

Linux에서 중복 파일을 제거해야 하는 이유

Linux 시스템이 원활하게 실행되도록 하려면 원하지 않는 파일 이 Linux 시스템 외부에 있는지 확인해야 합니다. 여러 가지 방법을 사용하여 Linux에서 안전하게 중복 파일을 찾아 제거할 수 있습니다. 이러한 방법을 사용하여 시스템을 최신 상태로 깔끔하게 유지할 수 있습니다.

Linux 성능을 향상시키는 것 외에도 중복 파일을 제거하면 수많은 불필요한 파일을 지워 많은 저장 공간을 확보할 수 있습니다. Linux에서 중복 파일을 제거하면 다음과 같은 이점이 있습니다.

• Linux가 지연 문제 없이 효과적이고 효율적으로 작동하도록 허용합니다.
• 매우 유용할 수 있는 많은 저장 공간을 확보하십시오.
• 파일의 핫치팟을 피하기 위해 파일을 체계적으로 정렬합니다.
• 파일 정렬을 최적화하고 속도 저하를 줄이며 생산성을 높입니다.

Linux 중복 파일을 찾고 정리하는 방법

다음 방법을 사용하면 중복 파일을 쉽게 찾고 제거할 수 있습니다.

방법 1. 이름으로 중복 파일 찾기

중복 찾기를 사용하지 않으려면 이름을 검색하여 모든 중복 파일을 찾아 제거합니다. 다음 스크립트를 사용하여 프로세스를 시작할 수 있습니다.

1단계. 스크립트를 따라하고 작성하면 됩니다.

awk -F'/' '{

  f = $NF

  a[f] = f in a? a[f] RS $0 : $0

  b[f]++ } 

  END{for(x in b)

        if(b[x]>1)

          printf "Duplicate Filename: %s\n%s\n",x,a[x] }' <(find . -type f)

이 스크립트를 실행하면 동일한 이름을 가진 모든 파일을 비교하고 표시합니다.

참고* 이 방법은 이름이 같은 중복 파일을 찾는 경우에만 적용할 수 있습니다. 포함된 데이터를 비교하지 않습니다.

2 단계. 목록에 이와 같은 경로를 포함하여 모든 파일 이름이 표시되는지 확인하십시오.

중복 파일 이름: textfile1

./folder3/textfile1

./folder2/textfile1

./folder1/textfile1

중복 파일 이름: textfile2

./folder3/textfile2

./folder2/textfile2

./folder1/textfile2

방법 2. 크기별로 중복 파일 찾기

이 방법은 동일한 크기의 복제본을 찾는 빠른 방법입니다. 작동 방식을 확인해 보겠습니다.

참고* 이 방법은 파일의 내용을 분석하지 않기 때문에 크기가 같은 파일에 유용합니다.

1단계. 주어진 스크립트를 작성하여 동일한 크기의 파일을 찾습니다.

awk '{

  size = $1

  a[size]=size in a ? a[size] RS $2 : $2

  b[size]++ } 

  END{for(x in b)

        if(b[x]>1)

          printf "Duplicate Files By Size: %d Bytes\n%s\n",x,a[x] }' <(find . -type f -exec du -b {} +)

참고* 이 방법은 포함된 데이터를 분석하지 않기 때문에 비슷한 크기의 파일에 유용합니다.

• 주어진 스크립트의 du 명령은 파일 크기를 계산하는 데 적용됩니다.
• 찾기 명령은 파일 크기를 AWK 명령에 전달하기 위해 -exec du -b {} + 라는 매개변수를 사용합니다.

2단계. 주어진 스크립트를 적용하면 다음과 같은 출력이 표시됩니다.

크기별 중복 파일: 20바이트

./folder3/textfile1

./folder2/textfile1

./folder1/textfile1

크기별 중복 파일: 35바이트

./folder3/textfile2

./folder2/textfile2

./folder1/textfile2

이제 파일 경로를 찾아 중복을 찾아 제거할 수 있습니다.

다음은 스크립트의 세부 정보이므로 스크립트가 수행하는 작업을 확인할 수 있습니다.

• - AWK가 find의 출력을 읽으려면 프로세스 대체를 사용해야 합니다.
• find . -type f  -  이 명령은 searchPath 디렉토리의 모든 파일을 탐색합니다.
• awk -F'/' - '/'를 AWK 명령의 내부 변수로 사용합니다. 이렇게 하면 보다 쉽게 파일 이름을 추출할 수 있습니다. 그러면 마지막 필드에서 파일 이름을 찾을 수 있습니다.
• f = $NF - 변수 f는 파일 이름을 저장하는 데 사용됩니다.
• a[f] = a에서 f? a[f] RS $0: $0 - 이 코드는 파일 이름이 존재하지 않는 경우에 유용합니다. 이 스크립트 코드를 사용하여 원본 파일 경로를 매핑하기 위한 액세스를 생성합니다.
• b[f]++ - 같은 이름을 가진 파일의 수를 추적하기 위해 또 다른 배열 b[]가 생성됩니다.
• END{for(x in b) - 이 코드를 사용하여 배열 b[]의 모든 항목을 분석합니다.
• if(b[x]>1) - x와 같은 이름을 가진 파일이 여러 개 있는 경우 여러 복사본이 있음을 의미합니다.
• printf “Duplicate Filename: %s\n%s\n”,x,a[x] - 마지막에 이 코드는 복제된 파일 이름 x를 인쇄하는 데 사용합니다. 파일 이름을 포함한 모든 전체 경로를 인쇄하려면 a[x]를 사용합니다.

방법 3. MD5 체크섬으로 중복 파일 찾기

md5 체크섬을 사용하여 중복을 식별하는 것은 누구에게나 가장 관리하기 쉬운 솔루션입니다. 사람들은 이 기능을 사용하여 동일한 체크섬을 가진 파일을 찾습니다. 처음에 MDS 체크섬은 데이터 통합을 확인하도록 설계되었습니다.

또한 내용이 동일한 파일을 찾을 수 있습니다. 파일의 MD5 해시를 탐색하려면 Linux에서 md5sum 명령을 사용할 수 있습니다.

1단계. 명령 셸에서 주어진 스크립트를 사용하여 시작하겠습니다.

awk '{

  md5=$1

  a[md5]=md5 in a ? a[md5] RS $2 : $2

  b[md5]++ } 

  END{for(x in b)

        if(b[x]>1)

          printf "Duplicate Files (MD5:%s):\n%s\n",x,a[x] }' <(find . -type f -exec md5sum {} +)

• -exec md5sum {} + 는 find 명령에 대한 추가 매개변수입니다.

2단계. 주어진 명령을 적용하면 아래와 같은 결과가 표시됩니다.

중복 파일(MD5:1d65953b527afb4bd9bc0986fd0b9547):

./folder3/textfile1

./folder2/textfile1

./folder1/textfile1

결과에서 이름이 text-file-2 인 세 개의 파일이 있지만 콘텐츠가 고유하기 때문에 MD5 해시가 파일을 찾지 못하는 것을 볼 수 있습니다.

추가 가이드: 쉬운 단계로 중복 파일 식별 및 제거

사람들은 Linux 또는 Windows를 사용하는 경우에도 파일이 중복되는 번거로움을 겪을 수 있습니다. 중복 파일을 제거하는 것은 까다롭지 않지만 찾아 삭제하는 것은 귀찮을 수 있습니다. 가장 적합한 방법을 찾아보겠습니다.

Windows 사용자인 경우 불필요한 중복 파일을 삭제할 수도 있습니다.

방법 1. 수동으로 중복 파일 식별 및 제거하기

Linux의 경우에서 논의한 것처럼 중복 파일을 이름 또는 크기별로 정렬하여 식별하고 제거할 수도 있습니다. Windows에서 중복 파일을 찾아 삭제하려면 중복 파일 을 찾으려는 폴더를 열 수 있습니다. 이제 Windows 탐색기에서 검색 기능을 사용하고 파일 확장자를 입력하고 모든 파일을 이름 또는 크기별로 정렬하십시오. 따라서 크기나 이름이 같은 모든 파일을 식별할 수 있습니다.

방법 2. 중복 파일 자동 식별 및 제거하기

복사된 파일을 찾아 삭제하는 것은 시간이 오래 걸리고 번거로운 과정입니다. 시간과 노력을 동시에 절약할 수 있는 최고의 중복 파일 찾기 를 계속 사용하는 것이 좋습니다. 따라서 고급 기능과 쉬운 사용성으로 유명한 EaseUS DupFiles Cleaner를 사용하는 것이 좋습니다.

EaseUS DupFiles Cleaner 는 USB 드라이브 및 SD 카드를 포함한 모든 내부 및 외부 스토리지 드라이브에 적합합니다. 고급 알고리즘은 100% 정확도로 모든 유형의 중복 파일을 찾는 데 이상적입니다.

이 소프트웨어를 사용하여 Winodows에서 중복 파일을 검색하고 삭제하는 방법은 다음과 같습니다.

1단계 . EaseUS Dupfiles Cleaner를 열고 지금 스캔 을 클릭 하여 청소를 시작합니다. EaseUS Dupfiles Cleaner는 모든 파티션의 모든 데이터를 자동으로 선택합니다. 스캔 폴더  에서 "-" 기호를  누르고 파일 이름 패턴 에서 파일 형식을 선택  하여 정리하지 않으려는 파티션을 삭제할 수 있습니다 .

* 고급 을 클릭하여 스캔을 사용자 정의할 수 있으며 시스템은 기본적으로 파일 보호 모드를 켭니다. 

2단계 . 스캔 프로세스가 시작됩니다. 잠시만 기다려 주십시오. 시간은 스캔해야 하는 파일 수에 따라 다릅니다.

3단계 . 스캔이 완료된 후 자동 제거 를 클릭하여 원클릭 정리를 수행할 수 있습니다. 

4단계. 여전히 문제가 있는 경우 세부 정보 보기 를 클릭 하여 확인할 수 있습니다.

* 스마트 선택 을 클릭하면 정리해야 할 파일 유형을 추가로 확인할 수 있으며 파일 이름에서 내용을 식별할 수 없는 경우 오른쪽 상단 모서리에 있는 파일 이름을 직접 클릭하여 미리 볼 수 있습니다.