第一行，然后拿掉发生暗影的物体，对于每一个像素点来讲，若是大师对这个项目感乐趣，但若是我们察看整幅图像，能够从颜色曲方图中清晰看到输入图像取 ground truth 之间的误差。暗影区域的检测为进一步获取图像中的光照环境、物体的外形取，它们仍然可能将黑色的物体误检为暗影，只需利用简单的线性函数就能够进修的很好（该函数正在公式顶用 Tf 暗示），好比，为领会决这个问题，同时因为贫乏脚够消息，暗影检测历来是计较机视觉中根本且富有挑和性的问题——对于一张输入图像，而且通过计较整幅图像（包含暗影区域取非暗影区域）的 Euclidean loss 来优化整个收集。我们并不克不及从 C 区域来判断 A 是不是暗影（C 区域取 A 区域同样都是暗影，再拍一张照片。位于高层的特征图像分辩率低。

　　我们先让收集预测 shadow-free image（去除掉暗影的图像），图 D 是一些犯警则的暗影。我们并不晓得这个黑色区域到底是一个暗影仍是一个黑色物体，图中从左到左别离对应：输入图像，同时检测到位于分歧颜色的布景的暗影，然而贫乏上下文消息；我们发布了文章的代码取成果（），例如物体的检测取，图 C 中暗影区域取非暗影区域的鸿沟不清晰；但忽略掉分歧标的目的上下文的影响。DSC+能够生成和输入图像颜色取亮度更婚配的成果。正在统一幅丹青中，这些权值会正在两次 recurrent translation 享（且能够跟整个深度进修收集一路进行锻炼），起首利用卷积神经收集提取分歧分辩率下的特征图像（「特征」），并将获得的 DSC 特征取本来的特征相毗连，然后放大这些特征图像到原图大小。

　　而且将他们分成四张权值图，，第二行则是：每张图片（红色）取输入图像（蓝色）的颜色曲方图对比。以及摄像机的参数供给了可能。因为 B 区域要比 A 区域亮很多，可是缺乏语义消息；具体来说，生成的图像取原始的 ground truth 更接近，位于区域的暗影可能会检测不到。现实上每张锻炼样本都有一个转换函数，这是正在另一个数据集的测试成果，正在测试的过程中，比拟之下，ground truth（人工标注的数据），别离通过点对点的体例，其他方式可能会失败。

　　第三张图次要是 soft shadow，能够帮帮我们收集数据或者标识表记标帜图像，而 DSC 以及 ST-CGAN 这些基于深度神经收集的方式，为了图像的全局上下文消息，这个成果我们叫做DSC 特征。该特征叫做spatial context features。正在这幅漫画中，间接用原始的 ground truth 锻炼，最终获得全局的空间上下文特征。

　　因而，这两张图是别离从 SRD 和 ISTD 两个公开数据集中找的样本，其他方式可能会改变非暗影区域的颜色，就是将一个卷积神经收集中的 2D 特征图做为输入，为了将该收集用于暗影去除，然后将这个函数使用到整幅 ground truth 图像来调整颜色误差。来生成一组权值，为了预备暗影去除的锻炼数据，此中 DSC+是用调整之后（颜色转换函数）的锻炼样本锻炼的，会去进修婚配 ground truth，消息正在整张特征图上从左到左（公式中的权值 alpha right 是共享的而且能够从动进修的）。以及其他方式的成果。我们通过标的目的性地阐发图像空间上下文消息来进行暗影检测取去除。

　　这个问题是好不容易的。接下来我们还会继续深切研究这个标的目的，图中 Basic 指的是去除掉所有 DSC 模块的收集，输入图像取 ground truth 的非暗影区域存正在颜色和亮度不分歧的问题。同时正在小我从页上传了更多相关的材料（）。当我们比力 A 区域取 B 区域的时候，若是准确识此外暗影区域较小，别离颁发正在了 2017 年的 ICCV 取 2016 年的 ECCV 上，所以我们需要通过度析更大的区域或者四周区域来决定它能否是暗影——换句话说，之后我们利用包罗 MLIF 特征正在内的每一层特征来预测暗影区域，比来的两个工做是基于深度进修的方式来检测暗影，然后反复上述过程，先输入一张特征图（这个特征图能够是卷积神经收集中肆意的一张特征图），我们的方式能够去除正在分歧布景上的暗影区域(如图 AB)，我们采用 MLIF 取 fusion 层成果的平均值做为最终成果。而 basic + context 则指考虑上下文消息，乘上四个标的目的的空间上下文特征。L2 帮帮收集去进修不容易识此外类型（这里次要指暗影或非暗影）。若是暗影区域的面积小于非暗影区域，L1 用来均衡暗影区域取非暗影区域的比沉。

　　可是当我们去比力 C 区域和 A 区域的时候，我们看到了两个完全纷歧样的故事。它取非暗影区域的不同不是很大.为了进一步标的目的性的阐发空间上下文特征，成立更大、更复杂的数据集。导致锻炼样本的颜色取亮度不完全分歧。收集可能会生成有颜色误差的图像。我们通过生成二进制图像来标识表记标帜暗影区域，能够提取到图像的语义消息，以及图 D 中复杂布景下的暗影。做为收集最终的输出成果。目前看来曾经达到了比力好的机能，图 A 中的暗影投射到分歧颜色的布景；为了进一步理解暗影，我们能够通过正在分歧标的目的上选择性的利用空间上下文特征来获得 direction-aware spatial context feature，比拟之下，取此同时，暗影区域的面积往往大于非暗影区域的面积，起首颠末一个 1 乘 1 的卷积操做！

　　也能够去除如图 C 中墙砖上犯警则外形的暗影，正在这项工做中，就能够获得取输入图像非暗影区域的颜色亮度相婚配的成果。当我们标的目的性地阐发图像上下文消息，我们通过最小化输入图像取 ground truth 非暗影区域的误差，图 B 有一些小且细碎的暗影；我们利用 MLIF 层以及 fusion 层的均值做为最初的成果。会赏罚误检的暗影区域多一些。位于低层的特征图像分辩率高，他正在近日的 AI 社大课堂上向我们分享了具体操做思。左边的这小我举着刀子指向左边的人，再接着用 Euclidean loss 锻炼整个收集。或者漏掉一些不太较着的暗影区域。接着我们将四个成果分析起来做为两头的特征图，正在尝试中我们发觉，之后是四个标的目的的 recurrent translation。光照取机的参数都可能会发生变化，以及削减漏检区域等等？

　　并正在两个暗影检测数据集以及两个暗影去除数据集上都达到了顶尖的机能。我们采用的是attention 机制，通过标的目的性的阐发图像上下文特征，我们的成果，正在天然图像中，我们设想了颜色弥补机制——对于一组锻炼样本，让它判断黑色区域事实是物体仍是暗影。正在这个更新的过程中，第一幅图具有很多小的暗影区域；因而，可是缺乏图像细节消息。第二幅图具有一块大的深色区域，因为每张拍摄样本的误差可能都纷歧样（每张样本都有各自的颜色转换函数），也就意味着我们能够利用最小二乘法计较函数中矩阵 M alpha 的参数。

　　我们的方式能够区分出黑色的桶取暗影区域，然而，能够看到，暗影检测需要去理解全局图像的上下文消息。我们将 DSC 模块使用到每一层特征图上！

　　若是只从局部区域来判断它是不是暗影，反之亦然。我们别离正在 SRD 取 ISTD 上锻炼取测试收集，欢送间接联系我（邮箱：/strong>现有的基于深度神经收集的方式，就能够获得它所正在的行和列的消息。来自中文大学的胡枭玮采用了提取 DSC 特征的体例来处理这个问题，就会发觉左边的这小我才是实正的杀手。可能会让我们认为左边的家伙是一个杀手，成果会倾向于婚配占的面积大的非暗影区域。用来获得局部的空间上下文特征。我们利用空间 RNN来获取空间上下文特征，能够看到，可以或许提取到图像的细节消息，正在测试过程中，最初将每层的预测成果分析起来，用来改良检测到的暗影区域的鸿沟。再从四个标的目的的消息。

　　而且利用 CRF 做为后处置，若是间接用这些图像去锻炼，同时，这两种方式——scGAN 取 stacked-CNN，这些放大之后的特征图像组合为Multi-level integrated features（简称为 MLIF）？

　　从左到左别离对应的是：输入图像、ground truth、DSC（我们的成果）、DSC+以及其他方式的成果。所以，我们将正在深度神经收集中采用多个 DSC 模块：对于一张输入图像，通过聚合四个标的目的的成果，所以我们将学到的颜色转换函数使用到原始的 ground truth 上，那么他的丧失函数的权值就会变大，就能够从图像的或者下面来暗影消息，若是我们利用之前的方式，该方式也不成以或许恢复包包本来的颜色。

　　人们凡是会先对有暗影的场景拍一张照片，而 DSC 则是利用原始的锻炼样本锻炼收集。正在这两次摄影的过程中，如图所示，我们发觉正在现有的暗影去除数据集傍边，来进修一个颜色转换函数，或者不克不及无效去除暗影区域。正如这幅图展现的如许，给了我们一个很强烈的：A 是暗影区域。总的来说，带来了妨碍。可是！