--- author: Best Partners TV date: '2026-06-07' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=I3DFAM35-e8 speaker: Best Partners TV tags: - computer-vision - generative-ai - model-evaluation - dataset title: 李飞飞发布GPIC：1亿规模的视觉生成新基准，下一代ImageNet的诞生 summary: 斯坦福大学AI实验室发布了1亿规模的开放图像语料库GPIC，旨在取代失效的ImageNet基准，解决当前视觉生成领域面临的基准饱和、私有数据不透明以及版权纠纷三大痛点。通过全新的FD-DINOv2评估指标与完全合规的数据授权，GPIC为未来的AI视觉研究提供了公开、公平、可复现的新一代科学起跑线。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - 李飞飞 companies_orgs: - 斯坦福大学人工智能实验室 products_models: - GPIC - ImageNet - DINOv2 media_books: [] status: evergreen --- 大家好，这里是最佳拍档，我是大飞。2026年5月28日，**斯坦福大学人工智能实验室**（SAIL）联合多家机构发布了一个名为**GPIC**的全新数据集。这个数据集的发布者，正是我们非常熟悉的、被称为AI教母的**李飞飞**和她的团队。我们为什么要单独做一期视频讲一个数据集？就是因为它的意义，可能会不亚于17年前李飞飞发布的**ImageNet**。 ImageNet可以说整个**深度学习**（Deep Learning: 机器学习的分支，基于人工神经网络架构）时代的起点，是过去14年里所有计算机视觉研究的标准考场。从**VGG**到**ResNet**，从**CNN**（Convolutional Neural Network: 卷积神经网络，擅长处理图像空间信息）到**ViT**（Vision Transformer: 将Transformer架构应用于视觉任务的模型），几乎所有我们今天耳熟能详的计算机视觉模型，都是在ImageNet这张考卷上证明了自己的价值。但说现在，这张用了17年的考卷，已经彻底失效了。而GPIC的出现，就是要接过ImageNet的接力棒，成为视觉生成时代的新基准。 ### 视觉时代的起点与终点 让我们先把时间拉回到2009年。那一年，李飞飞在**CVPR**会议上发布了第一版ImageNet数据集。当时，整个计算机视觉领域还处于传统机器学习的时代，主流的方法是手工设计特征，然后用**SVM**（Support Vector Machine: 支持向量机，一种二分类模型）或者**随机森林**这样的分类器进行识别。那个时候的数据集规模都非常小，比如著名的**PASCAL VOC**数据集，只有20个类别，每个类别几百张图片。而ImageNet一出来，就震惊了整个学术界。它包含了1400多万张图片，覆盖了2万多个类别，是当时世界上最大的图像数据集。 李飞飞当时提出了一个非常超前的理念：“数据是AI的燃料。只有足够大、足够高质量的数据，才能训练出足够强大的AI模型。”这个理念在当时受到了很多质疑，很多人认为，把时间和金钱花在收集这么多图片上是一种浪费。但李飞飞坚持了下来，她带领团队用了两年多的时间，通过**亚马逊众包平台**，给这1400多万张图片逐一打上了准确的标签。 然后，时间来到了2012年。这一年，由**杰弗里·辛顿**（Geoffrey Hinton）、**伊利亚·苏茨克维尔**（Ilya Sutskever）和**亚历克斯·克里泽夫斯基**（Alex Krizhevsky）团队开发的**AlexNet**模型，在ImageNet大规模视觉识别挑战赛（ILSVRC）上，以压倒性的优势拿下了第一名。它的top-5错误率只有15.3%，而第二名的错误率高达26.2%。这个结果震惊了整个计算机视觉界，因为它证明了深度卷积神经网络在图像识别任务上的能力，远远超过了所有传统方法。从那一刻起，深度学习时代正式开启。 此后的十余年里，ImageNet成为了计算机视觉研究的绝对标准，任何一个新的模型架构，都必须在ImageNet上证明自己的性能，才能被学术界认可。VGGNet在2014年将top-5错误率降到了7.3%，ResNet在2015年进一步降到了3.57%，首次超过了人类的水平。2020年，**Vision Transformer**（ViT）的出现，又将图像识别的性能推向了一个新的高度，同时也开启了Transformer在计算机视觉领域的应用浪潮。可以说，没有ImageNet，就没有今天的计算机视觉，也没有我们现在看到的各种AI图像生成、视频生成技术。 ImageNet不仅提供了一个统一的训练数据集，更重要的是，它提供了一个统一的评估基准。所有的研究者都在同一张卷子上考试，谁的模型更好，一目了然。这种公平的竞争环境，极大地加速了整个领域的发展。但是，任何一个基准都有它的生命周期。随着技术的不断进步，当所有的模型都能在这个基准上拿到接近满分的成绩时，这个基准就失去了它的意义。而ImageNet，现在就面临着这样的局面。 ### 基准失效与三大困境 今年以来，一批顶尖的生成式AI论文相继宣告，它们在ImageNet上的生成质量评分，也就是我们常说的**FID**（Fréchet Inception Distance: 衡量生成图像与真实图像特征分布差异的评估指标），已经低于了真实图片本身的评分。这句话是什么意思呢？简单来说，就是现在AI生成的假图片，在统计意义上比真实的图片更像真图片。这听起来可能有点反直觉，但事实就是如此。 FID这个指标，本质上是计算生成图片和真实图片在特征空间上的距离，距离越小，说明生成的图片越接近真实图片。当生成图片的FID低于真实图片时，就意味着在这个特征空间里，生成图片的分布比真实图片的分布更加集中和纯净。但这并不代表生成的图片真的比真实图片更好看、更真实。恰恰相反，很多FID分数很低的生成模型，生成的图片在人类看来仍然存在很多明显的缺陷，比如手指数量不对、面部扭曲、背景逻辑混乱等等。这说明，FID这个指标已经和人类的视觉感知严重脱节了，模型可以通过各种投机取巧的方式来降低FID数值，而不需要真正提升图片的感知质量。 这就是我们常说的**基准饱和**。当一个基准被刷穿之后，分数就失去了它的意义。你不再能通过分数来判断一个模型是真的好，还是只是擅长做这张卷子。科学竞争，需要一把新的尺子。而这，还只是当前视觉生成研究面临的问题之一。如果我们深入观察这个领域，就会发现现在的视觉生成研究正陷入一个非常尴尬的境地，面临着三个相互叠加的麻烦。 在建立这种认知背景后，我们来具体拆解当前的这三大麻烦： **第一个麻烦，是旧基准ImageNet完全对不上现实。** 今天的图像生成模型和十年前的图像分类模型，是完全不同的研究范式。图像分类模型的目标是给一张图片打上正确的标签，所以ImageNet是一个以分类标签为核心的数据集；而今天的图像生成模型，训练用的是几亿张带有自然语言描述的图片，生成时也是靠文字提示词来驱动的。这就导致了一个非常荒谬的情况：我们用一个为分类任务设计的数据集，来评估生成任务的性能。这本质上就是用语文考卷评数学成绩，你让一个数学天才去做语文卷子，他可能考不及格，但这并不代表他的数学能力差。同样的道理，一个生成模型在ImageNet上的FID分数低，也不代表它生成的图片质量就一定好。 **第二个麻烦，是大多数工业级数据集不对外开放并且存在严重版权纠纷。** 现在我们看到的那些最先进的生成模型，比如**Midjourney**、**Stable Diffusion 3**、OpenAI的**Sora**，它们背后的训练数据都是严格保密的商业机密。这些公司从来不会公开他们用了哪些图片来训练模型，也不会公开这些图片的来源和授权情况。这就给学术界带来了巨大的困难，因为如果你不知道一个模型是用什么数据训练出来的，你就无法复现它的结果，也无法公平地比较不同模型的性能。很多时候，我们只能看到这些公司发布的一些精选的生成样例，以及他们自己挑选的一些对自己有利的评估数字，但这些数字的真实性和可比性，都要打一个大大的问号。更严重的是，这些工业级数据集还普遍存在严重的版权问题。很多图片都是未经授权从互联网上爬取的，这导致了大量的法律纠纷。比如去年就有多位艺术家联合起诉**Stability AI**、Midjourney和**DeviantArt**，指控他们未经授权使用艺术家的作品来训练AI模型。这些版权纠纷不仅给公司带来了法律风险，也阻碍了整个领域的健康发展。 **第三个麻烦，是开放数据集极度不稳定且缺乏可复现性。** 即使有一些开放的数据集，比如**LAION**、**DataComp**等等，普遍采用URL索引的方式来分发。也就是说，你下载到的并不是真正的图片文件，而是一份包含了几百万甚至几十亿个图片网址的清单，你需要自己写一个爬虫程序，从这些网址上把图片一张一张地抓下来。这种方式带来了一个非常严重的问题：随着时间的推移，大量的链接会失效。而且，不同的研究团队使用的爬虫工具、网络环境、抓取时间都不一样，这就导致了一个非常荒谬的结果：虽然大家都声称自己用的是同一个LAION数据集，但实际上，每个团队最终用到的图片集合都是完全不同的。这就意味着，不同研究团队的实验结果根本无法进行可靠的比较。A团队说他们的模型在LAION上训练得到了多少分，B团队用同样的方法却复现不出来，因为他们用的根本就不是同一批图片。这种情况严重破坏了科学研究的可复现性，而可复现性是科学的基石。 这三个麻烦叠加在一起，就导致了现在视觉生成领域的研究陷入了一个非常混乱的局面。工业界在闭源的道路上越走越远，学术界却因为缺乏高质量的开放数据和统一的评估基准，难以做出有影响力的工作。整个领域的发展，正在变得越来越不透明，越来越不公平。 ### 巨型开放图像语料库：GPIC的四阶构建 就在这个关键时刻，李飞飞带领她的斯坦福团队发布了GPIC这个全新的数据集。GPIC的全称是**Giant Permissive Image Corpus**（巨型开放图像语料库）。这个数据集的发布，正是为了解决我们刚才提到的这三个麻烦而设计的。GPIC的整个构建过程分为四个阶段： * **第一阶段：严格合规的数据采集** 研究团队明确表示，他们只从**Flickr**和**Wikimedia**这两个平台收集图片，并且严格限定在**CC BY**、**CC0**、公有领域和无已知限制这四类授权范围内。这意味着，GPIC里的每一张图片，都有明确的法律依据。你不仅可以用这些图片来做学术研究，还可以用它们来训练商业产品，完全不用担心版权问题。这彻底解决了第二个大麻烦——版权纠纷。 * **第二阶段：过滤低质量与有害内容** 采集到初始的1.1亿张图片之后，研究团队需要对这些图片进行清洗，去掉那些质量不好或者不安全的内容。为了完成这个任务，他们使用了**通义千问3-VL-4B**（Qwen3-VL-4B: 阿里云开源的先进视觉语言大模型）模型。它能够同时理解图像和文本，并且具有非常强的内容识别能力。研究团队用它来自动识别并移除两类图片：一类是低质量图片，包括分辨率过低、严重模糊、过曝、近乎空白等等；另一类是有害内容，包括色情、暴力、仇恨言论等等。 * **第三阶段：保守去重策略** 互联网上的图片存在大量的重复现象，如果都留在数据集中，会导致模型过拟合，并且浪费大量的计算资源。为了解决这个问题，研究团队使用了一种名为**SSCD**的图片复制检测模型，它是Meta在2021年发布的一个专门用于图片复制检测的自监督模型。它能够计算每两张图片之间的特征相似度，即使图片经过了裁剪、缩放、旋转、加滤镜等各种变换，也能准确地识别出它们是同一张图片。研究团队采用了保守去重的策略，最终保留下来的图片大约有1.013亿张。 * **第四阶段：生成高质量描述文字** 这是最具创新性的一个阶段。传统的图片数据集（比如LAION）使用的是图片自带的alt text作为描述文字。但这些alt text的质量往往非常差，充斥着photo.jpg、未命名、IMG_1234之类无意义的标注，还有很多alt text和图片内容完全不相关，这会严重影响模型的训练效果。为了解决这个问题，GPIC团队对每一张图片，都用通义千问3-VL-4B模型，重新生成高质量的AI描述。而且，这些描述按照标签、短、中、长四种粒度分布，从而满足不同研究场景的需求。研究团队总共消耗了约1500个H100 GPU·小时，生成了这1亿张图片的描述。 经过这四个严格的阶段之后，最终的GPIC数据集就诞生了。它包含1亿张训练图片、20万张验证图片和100万张测试图片，总体积约12.9TB。这些数据被整理成了8000个分片（shard），采用了高效的存储格式，可以直接流式传输用于大规模分布式训练，不需要额外的预处理。而且，整个数据集已经全量托管在**Hugging Face**上，任何人都可以免费下载使用，不需要申请，不需要审批，也没有任何使用限制。 ### 新评估协议与科学的起跑线 除了数据集本身之外，GPIC还附带了一套全新的评估协议。我们刚才已经提到，旧的评估指标FID已经严重失效了。FID有一个致命的缺陷：它的计算需要依赖一个2015年的图像分类网络**Inception-v3**。但是这个网络从来就不是为评估生成质量而设计的，它是一个为分类任务训练的网络。它的特征空间主要关注的是图片的类别信息，而不是图片的细节、纹理、光照、构图等影响人类感知质量的因素。 为了解决这个问题，GPIC的新基准采用了**FD-DINOv2**作为主要的评估指标。FD-DINOv2不再使用Inception-v3来提取特征，而是使用**DINOv2**模型。DINOv2是Meta在2023年发布的一个自监督视觉特征模型，它是目前性能最好的通用视觉特征提取器之一，在图像分类、目标检测、语义分割等各种下游任务上都取得了非常优秀的成绩。更重要的是，DINOv2的特征表示与人类对图像相似性的判断更为一致，它不仅能识别图片的类别信息，还能很好地捕捉图片的细节、纹理、光照、构图等视觉特征。 研究团队做了大量的实验来验证FD-DINOv2的有效性。他们发现，目前所有主流的生成模型，包括那些用了DINOv2特征训练的模型，在FD-DINOv2上的分数仍然高于真实图片。这说明这把“新的尺子”还有足够的余量，不会很快被刷穿，至少在未来的几年里，FD-DINOv2都可以作为一个可靠的评估指标。 除了更换特征提取器之外，GPIC的评估协议还有一个非常重要的改进：它的基准评分是与一个独立的百万张测试集进行比较，而不是和训练集比较。这个设计避免了一个非常严重的漏洞。在过去，很多评估指标都是拿生成图片和训练集进行比较，这就导致了一个问题：模型不需要真正学会生成新的图片，它只需要“记住”训练数据中的图片，就能获得很好的分数。这种模型看起来FID分数很低，但实际上没有任何泛化能力，只能生成和训练数据非常相似的图片。 而GPIC使用了一个完全独立的百万张测试集，这个测试集和训练集没有任何重叠。模型必须生成和测试集中的真实图片在分布上相似的图片，才能获得好的分数。这就迫使模型真正学习到自然图像的分布，而不是简单地记住训练数据，极大提高了评估结果的可靠性和公平性。 为了方便后来的研究者对齐实验结果，GPIC团队还在完整的GPIC-Full数据集上训练了一个参考基线模型。训练是在单节点8张H100 GPU上进行了大约40小时，也就是大约一个epoch，训练的图片分辨率是256×256。最终，在最优的引导强度（CFG=6.25）下，这个基线模型的FD-DINOv2评分为76.25。这个分数其实并不出色，和现在最先进的生成模型还有很大的差距，但是它的价值并不在于性能有多好，而在于它提供了一个统一的起点。所有的研究者都可以以此为基准，公平地比较各自的改进效果。比如，如果你提出了一个新的模型架构，在同样的训练条件下，FD-DINOv2分数降到了70，那就说明你的改进是有效的。 考虑到不同的研究团队拥有的计算资源不同，GPIC团队还提供了三个不同规模的训练集版本： * **GPIC-Nano**: 包含100万张图片，适合那些只有少量计算资源的个人研究者或者小团队，用来快速迭代想法。 * **GPIC-Lite**: 包含1000万张图片，适合有一定计算资源的研究团队。 * **GPIC-Full**: 包含1亿张图片，适合那些拥有大规模计算集群的机构和公司，用来训练最先进的生成模型。 讲到这里，我想大家应该已经明白GPIC这个数据集的重要性了。它不仅仅是一个更大、更好的数据集，它更是为整个视觉生成领域建立了一个新的秩序。现在的视觉生成领域，正在经历一场疯狂的军备竞赛。前沿模型的能力每隔几个月就会跃升一级。但是这场竞赛，在相当程度上是不透明的。每个实验室都在自己的私有数据上训练，用自己的指标评估，发布时只挑选对自己有利的数字汇报。我们作为旁观者，根本无法真正知道哪个模型是最好的，也无法知道这些模型的能力边界在哪里。 而公开、可复现的基准，是科学进步的基础。在自然语言处理（NLP）领域，研究者们已经为此付出了多年的努力，逐步建立起了**GLUE**、**SuperGLUE**、**BIG-bench**等相对标准化的评测体系。任何一个新的大语言模型，都必须在这些基准上证明自己的性能，才能被学术界和工业界认可。但在视觉生成领域，我们迟迟缺少这样的基础，直到GPIC的出现。 可以说，GPIC的发布是一次为这个领域补课的尝试。它为整个领域提供了一个共同的起跑线，一个统一的训练数据集，一个可靠的评估基准。正如李飞飞团队在论文中所写的：“我们希望GPIC能够推动视觉生成建模领域公开、可及、可复现的研究。”我相信，在GPIC的推动下，视觉生成技术会迎来一个新的黄金时代，我们会看到更多令人惊叹的AI应用出现。感谢收看本期视频，我们下期再见。