[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
5 N6 [% }) [! s, C, |大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
9 b* h7 m/ S( S6 b$ I2 M1 kimport imagehash
from PIL import Image

def compute_image_hash(image_path):
8 L, U) N  J- b+ d# t8 X7 A2 r: e    # image = Image.open(image_path)
    # return imagehash.average_hash(image)
    try:
' N  i' g! S' u6 u        with Image.open(image_path) as image:
/ x) C' K2 k' |            return imagehash.average_hash(image)
# N0 y6 B  T6 o6 M: H! C. B9 k    except (OSError, IOError) as e:
        print(f"处理图像 {image_path} 时出错: {e}")
        return None
/ D0 o& v2 ?. V% D6 z
# X8 b9 q: K& T0 O5 U" B6 ^def remove_duplicates(image_folder):
' q  B: j9 u0 }: l# ^/ C    hash_dict = {}
$ A7 W  L4 \7 e! Y    duplicates = []

    for filename in os.listdir(image_folder):
8 Q& ^: \: `# z5 A( A        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
            image_path = image_folder + "\\" + filename
            image_hash = compute_image_hash(image_path)
0 t1 ]) j, N- W; H( S8 ]9 j+ J: B
3 Y0 Y3 I: P- u9 e1 @2 F0 J" x            if image_hash in hash_dict:
                duplicates.append(image_path)
) F# X- J. o9 ~3 i, Q            else:
! W) C; N4 H2 R- H: N$ l* Y                hash_dict[image_hash] = image_path
" M, y3 ?5 |' i# D% J+ W% H        else:
9 w; x. n) Q: ~! P; B. e# H            pass

+ F# ?2 A! d5 ^3 e" ^3 [9 \: l- G/ r    for duplicate in duplicates:
        os.remove(duplicate)
0 h, {4 A) P1 o1 m2 W        print(f"Removed duplicate image: {duplicate}")

% A; C+ M- @6 K6 H, L/ I    print("Duplicate removal complete.")

% j0 @1 f2 L9 z% {image_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
1 s; u# _" t5 z, o; j, Gremove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
4 ~- U% f1 [# J6 L! g2 t0 J" _* B大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai
' G. I. d; |+ r; I) [2 }