040、RAW域预处理：黑电平校正、坏点校正与镜头阴影补偿实战

040、RAW域预处理黑电平校正、坏点校正与镜头阴影补偿实战一个让人抓狂的调试现场2018年夏天某款旗舰手机的影像调试进入最后冲刺阶段。实验室里我盯着屏幕上的一张夜景RAW图心里直骂娘——暗部区域泛着一层诡异的紫色像被人用紫光灯照过。更离谱的是左上角有一排像素点亮度值比其他区域高出整整20个DN数字值排布整齐得像阅兵方阵。产线那边催得紧说模组良率只有87%再拖下去就要换供应商。我翻出ISP的RAW域预处理模块黑电平校正、坏点校正、镜头阴影补偿三个模块的配置参数全写在寄存器里。问题出在哪一个一个排查。先关掉镜头阴影补偿紫色还在。再关掉坏点校正紫色依然顽固。最后把黑电平校正的偏移值从64改成0紫色消失了但整张图暗部细节全丢像被泼了墨。真相大白——黑电平校正的参考行采样区域被镜头阴影污染了导致暗部补偿过度。这个坑我踩了整整三天。从那以后我养成了一个习惯调试RAW域预处理永远先确认参考数据的纯净度。黑电平校正别让“零”骗了你理论上传感器在没有光照时应该输出0。现实是由于暗电流、读出噪声、ADC偏置等因素传感器在完全黑暗条件下会输出一个非零值这个值就是黑电平。不同传感器、不同增益、不同温度下黑电平都不一样。黑电平校正的核心逻辑很简单从每个像素值中减去一个偏移量。但怎么确定这个偏移量才是真正的技术活。参考行采样法是最常见的做法。传感器会在有效像素区域外预留一些光学黑像素OPB这些像素被金属遮挡理论上接收不到光。取这些像素的平均值作为黑电平偏移。听起来完美但有两个致命陷阱。第一个陷阱OPB区域也可能被污染。有些模组封装时金属遮挡层边缘会有漏光导致OPB像素值偏高。我见过一个案例OPB区域平均值是128但实际黑电平只有64结果整张图暗部被过度补偿出现负值截断。解决方案是在产线标定时用完全黑暗环境下的全帧数据单独标定OPB区域的真实响应而不是直接取平均值。第二个陷阱温度漂移。黑电平随温度变化每升高10度暗电流翻倍。手机拍照时传感器温度从25度升到45度黑电平可能从64漂到96。如果只用固定的标定值高帧率录像时暗部会逐渐发绿。我的做法是在传感器内部集成温度传感器建立黑电平-温度查找表实时查表补偿。如果硬件不支持就用帧间统计——取当前帧最暗的5%像素的平均值作为动态黑电平估计但要注意避开坏点和过暗区域。代码实现时有个坑减法操作后一定要做饱和处理。别写成pixel - black_level如果pixel小于black_level结果会变成负数在无符号整型里绕回65535变成白点。正确写法是// 这里踩过坑直接减会溢出必须饱和int16_tcorrected(int16_t)pixel-(int16_t)black_level;pixel(corrected0)?0:(uint16_t)corrected;另一个容易被忽略的点不同颜色通道的黑电平可能不同。拜耳阵列的R、Gr、Gb、B四个通道由于电路布局差异黑电平可能差2-3个DN。如果统一减同一个值白平衡会偏。我习惯在标定时分别统计四个通道的黑电平分别校正。坏点校正别把星星当成坏点坏点分两种静态坏点和动态坏点。静态坏点出厂就固定了比如死点永远输出0、亮点永远输出最大值、热像素输出值异常高。动态坏点是在使用过程中出现的受温度、电压、辐射影响可能时好时坏。静态坏点校正相对简单。产线标定时用均匀光源拍一张图统计每个像素的响应偏离平均值超过阈值的标记为坏点。生成坏点表烧录到模组OTP里。ISP在预处理时根据坏点表用周围像素插值替换。但这里有个工程问题坏点表太大怎么办一个5000万像素的传感器如果每个坏点存坐标坏点率万分之一就是5000个点每个点4字节要20KB。对于嵌入式ISP这个开销不小。我见过一种压缩方案只存坏点行号和列偏移同一行的坏点用游程编码压缩率能到5:1。动态坏点校正才是真正的挑战。算法需要实时判断当前像素是不是坏点。最经典的方法是取当前像素周围3x3或5x5邻域计算中值或均值如果当前像素与邻域统计值的偏差超过阈值就判定为坏点。阈值怎么定固定阈值肯定不行。暗光下噪声大正常像素的波动也可能超过阈值亮光下噪声小坏点可能漏检。我常用的方法是自适应阈值根据邻域像素的局部标准差动态调整阈值。标准差大阈值放宽标准差小阈值收紧。// 别这样写固定阈值在暗光下会误杀if(abs(pixel-median)50){pixelmedian;// 暗光下正常像素波动可能超过50}// 应该这样根据局部噪声自适应uint16_tlocal_stdcalculate_local_std(neighbors);uint16_tthresholdlocal_std*310;// 3倍标准差加基础偏移if(abs(pixel-median)threshold){pixelmedian;}一个血泪教训动态坏点校正不能对星空图做。星星在图像上就是孤立亮点算法会把它当成坏点抹掉。解决方案是在检测到高对比度边缘或孤立亮点时增加额外的判断逻辑。比如如果当前像素的亮度是邻域平均值的10倍以上且邻域像素的方差很小那它很可能是星星而不是坏点。这个逻辑在手机天文摄影模式下必须开启。镜头阴影补偿从“暗角”到“彩角”镜头阴影补偿LSC解决的是镜头光学特性导致的亮度不均匀问题。中心亮、边缘暗这是亮度阴影。更麻烦的是色彩阴影——由于不同波长光线的折射率不同镜头对不同颜色的透过率在边缘区域差异更大导致边缘偏色。亮度阴影补偿的原理很简单每个像素乘一个增益系数中心区域增益接近1边缘区域增益大于1。增益系数在产线标定时生成用均匀光源拍一张图计算每个像素相对于中心亮度的比值取倒数就是增益。但直接乘增益会放大噪声。边缘区域增益可能达到2-3倍噪声也被放大2-3倍。暗光下边缘的噪点会非常明显。我的做法是在增益系数上叠加一个噪声抑制因子增益越大抑制越强。具体实现是对增益系数做低通滤波或者对补偿后的图像做边缘保留降噪。色彩阴影补偿更复杂。不同颜色通道的阴影曲线不同需要分别标定。我见过一个案例某款广角镜头边缘区域红色通道的透过率比中心低30%蓝色通道低15%结果边缘偏青。补偿时红色增益要设得比蓝色高才能恢复白平衡。标定色彩阴影时不能用白色均匀光源要用不同色温的光源分别标定。因为镜头对不同色温的光谱响应不同色彩阴影曲线会随色温变化。我习惯标定D656500K和A光源2856K两组系数根据当前场景色温线性插值。网格插值的坑LSC增益系数不可能每个像素都存通常存一个稀疏网格比如16x16或32x32然后双线性插值得到每个像素的增益。但双线性插值在网格边界会有不连续导致图像出现块状条纹。解决方案是用双三次插值代替双线性或者对网格系数做平滑处理。// 双线性插值的边界问题网格边界可能出现跳变// 这里踩过坑网格尺寸太小插值后出现条纹// 建议网格尺寸至少32x32且系数要平滑floatgainbilinear_interp(gain_grid,row,col,grid_step);pixel(uint16_t)(pixel*gain0.5f);一个容易被忽视的问题LSC补偿后的像素值可能超过传感器最大输出比如4095或1023需要做饱和处理。但饱和处理会导致高光区域细节丢失。我的做法是在标定增益系数时确保中心区域增益不超过1.0边缘区域增益不超过2.0这样即使边缘像素原始值达到最大值的50%补偿后也不会饱和。三个模块的联动与顺序黑电平校正、坏点校正、镜头阴影补偿这三个模块的执行顺序有讲究。标准流程是先做黑电平校正再做坏点校正最后做镜头阴影补偿。为什么是这个顺序黑电平校正会改变像素的绝对亮度值如果先做坏点校正黑电平校正后坏点检测的阈值可能失效。镜头阴影补偿会乘增益如果先做补偿再做坏点校正边缘区域的噪声会被放大坏点检测的误报率会升高。但有一个例外如果坏点检测算法依赖绝对亮度阈值比如亮度超过1000判定为坏点那么黑电平校正必须在坏点检测之前否则黑电平偏移会导致阈值偏移。实际调试中我见过一个更复杂的联动问题黑电平校正的参考行采样区域如果正好落在镜头阴影严重的边缘区域参考行的平均值会偏低导致黑电平校正过度。解决方案是在采样参考行时避开边缘区域只取中心区域的OPB像素。或者在标定黑电平时用完全黑暗环境下的数据而不是依赖OPB区域。产线标定的实战经验产线标定这三个模块最怕的是标定环境不一致。我见过一个案例产线用LED均匀光源标定LSC但LED光源的色温是5000K而用户实际使用场景是3000K的暖色光结果色彩阴影补偿完全失效。标定环境要求光源色温要覆盖用户实际使用范围至少标定D65和A光源两组数据。光源均匀性要优于98%否则标定出来的LSC系数会包含光源不均匀的误差。标定距离要模拟实际使用距离手机摄像头通常标定无限远车载摄像头标定不同距离。坏点标定的陷阱产线标定时传感器温度可能还没稳定热像素还没完全显现。我建议标定前让传感器工作5分钟温度稳定后再标定。另外坏点标定要区分静态坏点和热像素热像素在低温下可能消失不能写入OTP。黑电平标定的细节完全黑暗环境很难做到产线机台总有漏光。我见过一个方案用快门帘遮挡传感器但快门帘本身可能有漏光。更好的方案是在传感器表面贴遮光胶带或者用金属盖板完全密封。个人经验性建议永远不要相信传感器的出厂标定值。不同批次、不同晶圆、不同封装黑电平和坏点分布都有差异。产线必须逐颗标定写入OTP。动态坏点校正的阈值要留余量。宁可漏检几个坏点也不要误杀正常像素。漏检的坏点可以用后续的降噪模块处理误杀会导致细节丢失无法恢复。LSC增益系数要限制最大值。增益超过3倍噪声会放大到不可接受的程度。如果镜头阴影太严重考虑换镜头而不是靠算法硬补。调试时先关掉所有自动功能。自动白平衡、自动曝光、自动增益这些都会干扰RAW域预处理的调试。先用固定参数确认每个模块正常工作再开启自动功能。保存中间结果。调试时把黑电平校正后、坏点校正后、LSC补偿后的中间图像都保存下来。哪个模块出问题一目了然。我习惯在ISP的调试接口里加一个“dump中间帧”的功能关键时刻能救命。温度补偿不是可选项是必选项。手机拍照从开机到连续录像传感器温度可能变化20度以上。不做温度补偿黑电平和坏点都会漂移。至少要做粗粒度的温度分段补偿。最后一条也是最重要的一条RAW域预处理是影像质量的基石但不要过度优化。黑电平校正差1-2个DN人眼看不出来坏点漏检几个降噪模块能处理LSC补偿有1%的误差用户不会注意到。把精力花在更影响用户体验的地方比如色彩还原、动态范围、对焦速度。那个让我抓狂三天的紫色暗角问题最终解决方案很简单在LSC标定时把参考行采样区域从边缘移到中心避开镜头阴影区域。一个参数改动问题解决。但如果没有那三天的排查我永远不会意识到一个看似独立的模块会通过参考数据污染影响另一个模块。影像系统调试就是这样问题往往不在你怀疑的地方而在你忽略的细节里。