https://github.com/carsonslovoka/unique

Remove duplicate files according to the file md5, leaving only one if there are duplicates.
https://github.com/carsonslovoka/unique

chinese file remove-duplicates taiwan tools

Last synced: 7 days ago
JSON representation

Remove duplicate files according to the file md5, leaving only one if there are duplicates.

• Host: GitHub
• URL: https://github.com/carsonslovoka/unique
• Owner: CarsonSlovoka
• License: mit
• Created: 2023-02-08T08:36:10.000Z (almost 2 years ago)
• Default Branch: master
• Last Pushed: 2023-02-08T10:52:33.000Z (almost 2 years ago)
• Last Synced: 2024-06-21T07:51:09.469Z (5 months ago)
• Topics: chinese, file, remove-duplicates, taiwan, tools
• Language: Go
• Homepage:
• Size: 35.2 KB
• Stars: 1
• Watchers: 3
• Forks: 0
• Open Issues: 3
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        


  

    

  


  

      

  

  

      

  

  

  

  

      

  

  

      

  



# Unique

移除重複的檔案，以檔案md5為主，若有重複就只留下一個。

其中保留的那一個可以依照以下其中一個來指定

- cTime: 保留建立日期最早的檔案

- len: 保留檔案路徑最短者

## Install & Usage

```yaml

git clone https://github.com/CarsonSlovoka/unique.git

cd unique

go install -ldflags "-s -w" github.com/CarsonSlovoka/unique/unique # 前面的unique為go.mod所用的名稱，後面的unique為package main所在的路徑，又因go install預設用package main所在的文件夾命名，所以要改成unique

unique.exe -config="example-unique.json"

```

## [Download zip]

可以至[releases](https://github.com/CarsonSlovoka/unique/releases)的頁面找尋喜歡的版本下載該zip檔案即可(目前僅提供windows)

## [設定檔](unique/.unique.json)

```json5

{

  "wkDir": "./testDir", // C:\\...\\images // 絕對路徑或者相對路徑都可以

  // "suffixes": ["*"], // 代表不做判斷，所有副檔名都會列入判斷

  "suffixes": [

    ".png",

    ".jpg"

  ], // 只對png與jpg做判斷

  "condition": "cTime", // len, cTime

}

```

注意比較條件是以md5為主，即便兩個不同副檔名的檔案，只要他們的md5數值為準，就會列入考量，例如

```

aa.txt

bbb.png

若兩者相同md5數值都相同

在len的模式下只會保留aa.txt

```