中卫网站推广优化,网站建设到维护,鞍山网上制作网站,网站数据库大小何恺明新作 l-DAE#xff1a;解构扩散模型 提出背景扩散模型步骤如何在不影响数据表征能力的同时简化模型#xff1f;如何进一步推动模型向经典DAE靠拢#xff1f;如何去除对生成任务设计的DDM中不适用于自监督学习的部分#xff1f;如何改进DDM以专注于清晰图像表示的学习… 何恺明新作 l-DAE解构扩散模型 提出背景扩散模型步骤如何在不影响数据表征能力的同时简化模型如何进一步推动模型向经典DAE靠拢如何去除对生成任务设计的DDM中不适用于自监督学习的部分如何改进DDM以专注于清晰图像表示的学习 提出背景
论文https://arxiv.org/pdf/2401.14404.pdf
我们有一堆带噪声的照片我们的任务是清理这些照片上的噪声让它们看起来更清晰。
去噪扩散模型DDM就像是一个清洁工它不仅能把照片清理得非常干净还能通过这个清洁过程学会识别照片中的内容。
但是这个清洁工原本是被设计来做清洁工作的人们开始好奇它是怎么学会识别照片内容的。
是因为它清理照片的方式特别去噪过程还是因为它在清理时用的一些特殊工具扩散过程
我们的研究就是要探究这个问题。
我们尝试了各种方法最后发现关键其实在于这个清洁工如何看待照片中的每一小块内容把它们转换成更简单的形式来理解。
这有点像是给它一副眼镜让它能更好地看清楚照片的细节。
通过这个过程我们设计出了一种简单的方法让清洁工不仅能清理照片还能更好地理解照片内容。
我们的方法虽然不是最顶尖的但比之前的方法有了很大的进步也让我们看到了未来有更多可能性去改进这个过程。 图是一种被称为“潜在去噪自编码器”L-DAE的技术。它是一种图像处理方法用于从带有噪声的图片中恢复出清晰的图片。 原始图像左下角是一个没有噪声的原始图像这是一张蝴蝶停在黄色花朵上的照片。 噪声添加通过一种技术叫做“片段式主成分分析”patch-wise PCA原始图像被转化到一个叫做“潜在空间”的地方在这个过程中添加了噪声。 这就是中下角的图像你可以看到图像变得模糊和杂乱就像被随机的色块覆盖了一样。 自编码器在噪声图像的基础上一个自编码器开始工作包括一个编码器和一个解码器。 编码器的作用是将噪声图像转换为一个更简洁的内部表示而解码器则尝试从这个表示中重建原始图像。 去噪图像最终自编码器输出了一个去除噪声的图像这是右下角的图像。 尽管噪声被去除图像中的细节和蝴蝶的特征都得以保留。
这个技术的目标是模仿和简化更复杂的去噪扩散模型DDM同时尝试保持与经典去噪自编码器DAE相似的学习性能。
这张图上方的流程图解释了整个过程从原始图像开始通过PCA添加噪声然后通过自编码器进行编码和解码最终得到去噪图像。
这种方法是自监督学习的一种形式这意味着它可以通过观察大量的例子自己学习去噪而不需要人为指定噪声和去噪之间的关系。 这幅图是两种不同的机器学习模型用于处理图像的去噪任务 经典的去噪自编码器DAE这个模型包括三个部分 噪声在输入图像上添加噪声。编码器编码器接收带噪声的图像将其编码到某种内部表示。解码器解码器尝试从内部表示中恢复去噪后的图像。 现代去噪扩散模型DDM这个模型是在潜在空间上操作的去噪模型它包括四个部分 tokenizer这个组件将原始图像转换成潜在的表示形式。噪声就像经典DAE一样它在潜在表示上添加噪声。编码器编码器学习如何处理带噪声的潜在表示。解码器解码器从编码器输出的表示中恢复出去噪后的潜在表示然后可以转换回去噪后的图像。
图中的(a)部分展示的是传统方法直接在图像空间上添加和预测噪声
而(b)部分展示的是现代方法如LDM潜在扩散模型和DIT扩散变换器它们在潜在空间上添加和预测噪声而不是直接在图像空间上操作。
这种现代方法通常能够更有效地处理高维数据如图像因为潜在空间的维度通常远小于原始图像空间的维度这可以提高处理速度并提升去噪效果。
扩散模型步骤
扩散模型是一类深度生成模型它们通过模拟数据的扩散过程即逐渐引入噪声到数据中来学习数据的分布。
在去噪扩散模型Denoising Diffusion Models, DDM中这一过程被逆转用来生成数据模型学习如何逐步从噪声中恢复出干净的数据。
下面是解构现代去噪扩散模型的步骤和方法 Tokenizer向量化 这一步是将高维的图像数据映射到一个低维的潜在空间latent space。 潜在空间中的向量可以捕捉到图像的重要特征但是维度更低这使得处理起来更高效。 添加噪声 在潜在空间中这些低维的表示latent representations会被逐渐添加噪声这个过程称为扩散过程。 添加噪声是一个逐步的过程在每一步中都会引入一些噪声直到数据完全变成噪声。 训练去噪模型 训练一个去噪模型来预测每一步扩散过程中添加的噪声。 这个模型的目标是学习如何从带噪声的潜在表示中恢复出原始的潜在表示。 采样生成过程 通过逆向运行扩散过程来生成新的数据。从纯噪声开始模型逐步减少噪声逐步恢复出清晰的数据。
解构这个模型的关键点在于理解如何在潜在空间上进行扩散和去噪过程而不是直接在原始的数据空间上进行。
如何在不影响数据表征能力的同时简化模型
在扩散模型中到底哪个步骤最重要
实验发现让 DAE 得到好表征的是低维隐空间而不是Tokenizer向量化。
说明复杂的tokenizer可能不是学习好的数据表示所必需的简化tokenizer相当于使用更简单的厨具来达到相同的烹饪效果
如何在不影响数据表征能力的同时简化模型
实验发现可通过替换复杂的VQGAN tokenizer为更简单的PCA tokenizer
不同的图像处理方法 TA们被用于将图像分解成较小的片段进而进行深入的特征提取。 Patch-wise VAE 分词器 这是一种处理图像的方法使用了一种称为自编码器的技术但去掉了一些复杂的数学限制让它变得更简单。 Patch-wise AE 分词器 这个方法更简单只是在图像的小块上应用基本的编码和解码过程。 Patch-wise PCA 分词器 这是最基本的方法用一种称为主成分分析的技术来处理图像的小块。PCA 是一种不需要复杂训练就能找到图像主要特征的方法。 即使是最基本的PCA方法也表现出色甚至简单的图像块处理方法有时候比复杂的方法效果更好。
所以完全可以用简单的代替复杂的。
把复杂的VQGAN tokenizer 换为 更简单的PCA tokenizer。
如何进一步推动模型向经典DAE靠拢
直接在图像空间操作有助于理解和提高模型的直观性和可解释性。
使用逆PCA直接在图像空间操作而非仅在隐空间。
如何去除对生成任务设计的DDM中不适用于自监督学习的部分
因为类别条件化处理会限制模型学习更普遍的数据表示。
移除DDM的类别条件化处理。
如何改进DDM以专注于清晰图像表示的学习
原始噪声调度太侧重于噪声图像不利于学习清晰图像表示。
替换噪声调度让模型更多地关注清晰的图像。 如果将这个过程比作学习做菜的过程那么
去除类别条件化处理就像是摒弃菜谱中不必要的复杂步骤专注于基本的烹饪技巧。简化tokenizer相当于使用更简单的厨具来达到相同的烹饪效果。改进噪声调度类似于调整烤箱温度更加关注食物烹饪的质量而非速度。直接在图像空间操作就像是直接在炉子上图像上调整火候而不是依赖定时器隐空间的间接指示。
