关于索尼摇摇乐的一些测试和见解

5756 33

[1 楼] rollingdice [泡菜] 24-11-17 11:45 最近做了一个关于摇摇乐的测试，分享给大家，希望对这个功能有兴趣的朋友有帮助。摇摇乐，学名叫做像素偏移（pixel shift)，很多高端机型都有，利用机身五轴防抖模块移动传感器半个像素拍摄数张RAW再合成一张RAW，可以达到提高分辨率的目的。理论上，移动传感器的多张RAW堆栈可以实现最多2倍的空间分辨率从而实现类似光学变焦2倍数码变焦，这个之前谷歌的手持超分辨率的论文有说明。于是我做了一个小测试，我的相机是索尼A7R4，因为我只有一个索尼镜头35GM，于是使用了另外一部相机奥林巴斯EM13搭配光学变焦来衡量索尼的摇摇乐效果。所有照片统一物距，光圈统一F5.6，对于三个镜头都是最佳光圈，且三个镜头都是各系统最顶级的镜头，镜头的分辨率差别可以忽略。所有拍摄在三脚架上关闭防抖完成，室内无风。A7R4在35mm时的单张分辨率，和EM13在等效60mm的分辨率接近。这是因为A7R4的6100万像素在缩图到2000万像素时就是60mm左右，并且单个像素面积还比EM13稍微大一点。而使用16张摇摇乐并使用索尼自带软件IEDT合成的结果，分辨率和EM13在等效120mm时十分接近，甚至还有些不明显的领先。所以索尼的这套摇摇乐，是完全可以达到2倍分辨率或者2倍光学变焦的目的。这个分辨率的提升，对于商业产品拍摄提高了打印画幅，对于微距拍摄提高了放大倍率，对于风光拍摄提供了2倍的长焦，听起来非常好。但是实际上索尼官方在摇摇乐的介绍上就提到了只能用于静态拍摄，不能拍有运动的物体。于是我又做了一个对比测试。A7R4的摇摇乐合成的RAW，不放大还行，放到400%看细节，有很多红红绿绿的奇怪色带。这些诡异的颜色应该是由于索尼软件在后期堆栈的时候每张照片只取一个颜色通道的结果，移动后颜色的变化就不再均匀了。这个情况在dpreview上多被称作运动伪影(motion artifact），尼康和富士的高端相机也都会出现这样的情况。但是有意思的是，奥林巴斯的摇摇乐就没有这种情况。我的理解是，如果要用摇摇乐实现2倍分辨率，就必须各个通道分别合成，比如会出现伪影。奥林巴斯似乎对此进行了特殊处理，虽然没有伪影，但是分辨率会降低，我的静态实测，EM13的摇摇乐无法达到2倍的分辨率，同样用1245Pro测试，大概能够到1.6倍分辨率，当然这也是一个不错的效果了。所以似乎是在最大分辨率和能够拍摄运动物体中只能选一个。为了验证我的猜想，我自己写了一个程序，把A7R4输出的16张RAW先导出成JPG，再用傅立叶变换识别偏移像素值，把他们分别调整回原点再进行平均值堆栈，由于所有通道一起堆栈，相当于一个运动模糊的效果，得到了和EM13类似的结果，大概实现了1.5倍分辨率提升，和EM13的算法差距不大，并且EM13是用RAW操作的，我用JPG能实现1.5倍已经很满足了。自己堆栈有另外一个好处是，可以在RAW编辑软件（LR或者C1）里面对单张照片进行调整，再进行合成。如果在LR或者C1里面调整一张2亿4000万像素的RAW，没有独立显卡的话显示这张照片都得花一分钟。
[34 楼] yx120727 [泡菜] 6-13 18:01 牛哇老哥。问一下用傅里叶变换对齐像素点的原理，是用相差来计算吗，打算复现一下你的方法
[33 楼] rollingdice [泡菜] 24-12-25 02:34 ZYDT1024 发表于 2024-12-09 08:07 请问有没有第三方的合并工具呢？如果你能导出所有单张的raw，pixelshift2dng和rawtherapee都可以干这个事，后者还是开源免费的。但是同样的没有运动补偿，也就是说画面只要有运动就都会呈现我原文展示的五颜六色的斑点。如果需要运动补偿，一个办法是用肯塔基大学Henry Dietz开发的一个软件叫做parsek，输入所有单站raw文件，需要你会c++。另一个是我自己写的，在原文里介绍了，输入所有单站jpg文件，需要你会python，有需要可以私信我。
[32 楼] ZYDT1024 [泡菜] 24-12-23 00:12 rollingdice 发表于 2024-12-10 23:35 据我所知，除了佳能其他厂家都可以。那佳能有点……
[31 楼] rollingdice [泡菜] 24-12-10 23:35 ZYDT1024 发表于 2024-12-09 08:11 r5确实不能，其他厂商可以么？据我所知，除了佳能其他厂家都可以。
[30 楼] ZYDT1024 [泡菜] 24-12-9 08:11 rollingdice 发表于 2024-11-23 16:44 感觉细节提升不是特别明显，听说R5的摇摇乐不能拍RAW？ r5确实不能，其他厂商可以么？
[29 楼] ZYDT1024 [泡菜] 24-12-9 08:10 rollingdice 发表于 2024-11-18 22:33 索尼的A7R3和A7R4也都有像素偏移四张合成（R5估计也有但我没有这个机器），原理都是跟拜耳传感器的设计有关。拜耳传感器每个像素只识别一种颜色的光，而相邻像素的同色光是用周围像素差值来的。在4张像素偏移合成时，传感器每次向一个方向移动一个像素，覆盖... R5一代有，二代没有（只给了机内神经网络放大），我在找有没有第三方像素合并工具（photoshop按照某乎教程，感觉太麻烦）
[28 楼] ZYDT1024 [泡菜] 24-12-9 08:07 请问有没有第三方的合并工具呢？
[27 楼] 激动的心 [陈年泡菜] 24-11-26 17:38 lizhuo_1918 发表于 2024-11-26 14:53 你是两个都放大到100%对比的？相当于把4500像素的照片放大100%和放大到50%对比哪个扎实，结果也是可想而知的。回头我再拍一次对比一下，原来拍的样片找不到了。弄好发来看看。
[26 楼] lizhuo_1918 [泡菜] 24-11-26 14:53 激动的心发表于 2024-11-26 12:44 当时是翻拍的一张书画作品，第一次用索尼的多张合成，16张的那个我也不知怎么回事清晰度还不如4张的。您说的那些术语我不太懂，我的理解是4张合成的，类似于适马三色ccd的效果，所以单像素更扎实。所以放大后非常扎实。而16张是像素位移合成的，本也应该非常好... 你是两个都放大到100%对比的？相当于把4500像素的照片放大100%和放大到50%对比哪个扎实，结果也是可想而知的。 lizhuo_1918 编辑于 2024-11-26 14:54
[25 楼] 激动的心 [陈年泡菜] 24-11-26 12:44 漓江秋色发表于 2024-11-25 14:04 这个现象是不是一个假象。在采样频率符合采样定理要求时，4张合成时用的是镜头的低空间频率部分，对比度自然比较高。16张合成时用到了镜头的高空间频率，比度自然比较低，所以感觉4张合成好。调一下16张合成的，两者的差别就出来了，16张合成的更细腻些。当... 当时是翻拍的一张书画作品，第一次用索尼的多张合成，16张的那个我也不知怎么回事清晰度还不如4张的。您说的那些术语我不太懂，我的理解是4张合成的，类似于适马三色ccd的效果，所以单像素更扎实。所以放大后非常扎实。而16张是像素位移合成的，本也应该非常好的，但是我拍了两次都是不如4张的扎实。有时间我在实验一下，是否三脚架用的小了有关。
[24 楼] 漓江秋色 [泡菜] 24-11-25 14:04 激动的心发表于 2024-11-24 16:56 索尼的4张合成效果奇佳，可以玩玩。曾经试验了16张合成和4张合成，结果4张合成效果比16张要好的多，清晰度特别好，把4张合成的放大到16张合成后百分百大小，居然4张合成的的清晰度更好。这个现象是不是一个假象。在采样频率符合采样定理要求时，4张合成时用的是镜头的低空间频率部分，对比度自然比较高。16张合成时用到了镜头的高空间频率，比度自然比较低，所以感觉4张合成好。调一下16张合成的，两者的差别就出来了，16张合成的更细腻些。当采样频率低于采样定理的要求时，16张合成的优势就体现出来了。其实就是镜头的分辨率问题。漓江秋色编辑于 2024-11-25 14:05
[23 楼] 激动的心 [陈年泡菜] 24-11-24 16:56 索尼的4张合成效果奇佳，可以玩玩。曾经试验了16张合成和4张合成，结果4张合成效果比16张要好的多，清晰度特别好，把4张合成的放大到16张合成后百分百大小，居然4张合成的的清晰度更好。
[22 楼] carlfliex [泡菜] 24-11-24 16:11 rollingdice 发表于 2024-11-22 17:22 你可以试试奥巴60微，有对焦距离尺，且对焦环很顺手，我之前也用过这玩意手动对焦，每转一圈对焦距离就移近几厘米，我试过转个四五圈基本就能实现我需要的景深。实际上索尼的app也不能选对焦点，所以我也是用类似的办法对焦包围的。多谢回复！这样手动对焦会不会不如微距云台稳？我看到Sony介绍里，不同机型，App可操控功能不一样。手动操作有两点不大好把握，其一是操作手法不够柔和，可能碰歪相机，造成视角改变；其二是镜头呼吸效应，我的A口50微就比较严重，后期helicon里看运气，有可能救不回来。
[21 楼] lizhuo_1918 [泡菜] 24-11-23 17:10 rollingdice 发表于 2024-11-23 16:44 感觉细节提升不是特别明显，听说R5的摇摇乐不能拍RAW？为什么要给你RAW文件呢！佳能的摇摇乐是给摄影者用的吗？如果是的话最需要的是在R6这种低像素的相机上，或者在R5上实现2倍尺寸（1.8亿像素），为什么它只有一种选择，就是3倍尺寸、9倍像素（4亿）呢？我认为它只是展示能做到这一点。
[20 楼] lizhuo_1918 [泡菜] 24-11-23 16:52 rollingdice 发表于 2024-11-23 16:44 感觉细节提升不是特别明显，听说R5的摇摇乐不能拍RAW？你仔细看两张的纹理区别了？你觉得应该有多明显？ lizhuo_1918 编辑于 2024-11-23 16:59
[19 楼] rollingdice [泡菜] 24-11-23 16:44 lizhuo_1918 发表于 2024-11-21 16:07 佳能的3倍尺寸（9倍像素）摇摇乐效果：一个是3倍放大的，另一个是同一个镜头、相机，相同的距离摇摇乐拍的。感觉细节提升不是特别明显，听说R5的摇摇乐不能拍RAW？
[18 楼] 漓江秋色 [泡菜] 24-11-22 18:12 carlfliex 发表于 2024-11-22 15:18 是个办法，我的相机没法在APP里控制焦点，只能纯手动操作，失败率非常高这个多数是专业干活用的，只能用电※※制吧。
[17 楼] rollingdice [泡菜] 24-11-22 17:22 carlfliex 发表于 2024-11-22 15:18 是个办法，我的相机没法在APP里控制焦点，只能纯手动操作，失败率非常高你可以试试奥巴60微，有对焦距离尺，且对焦环很顺手，我之前也用过这玩意手动对焦，每转一圈对焦距离就移近几厘米，我试过转个四五圈基本就能实现我需要的景深。实际上索尼的app也不能选对焦点，所以我也是用类似的办法对焦包围的。
[16 楼] carlfliex [泡菜] 24-11-22 15:18 rollingdice 发表于 2024-11-22 12:00 奥林巴斯有对焦包围，但是对焦包围和摇摇乐不能一起用。不过我试过用奥巴的机器开摇摇乐，连接手机后触屏对焦进行手动对焦包围，相机可以完全保持不动，然后用ps或者其他类似软件进行景深合成，有些费事但能达到你说的结合的效果是个办法，我的相机没法在APP里控制焦点，只能纯手动操作，失败率非常高
[15 楼] rollingdice [泡菜] 24-11-22 12:00 carlfliex 发表于 2024-11-21 11:16 多谢解答！如果这个功能和对焦包围结合起来，拍静物摄影能上一个台阶，但相机厂家似乎都没开发这类功能。奥林巴斯有对焦包围，但是对焦包围和摇摇乐不能一起用。不过我试过用奥巴的机器开摇摇乐，连接手机后触屏对焦进行手动对焦包围，相机可以完全保持不动，然后用ps或者其他类似软件进行景深合成，有些费事但能达到你说的结合的效果
[14 楼] lizhuo_1918 [泡菜] 24-11-21 16:07 佳能的3倍尺寸（9倍像素）摇摇乐效果：一个是3倍放大的，另一个是同一个镜头、相机，相同的距离摇摇乐拍的。
[13 楼] carlfliex [泡菜] 24-11-21 11:16 rollingdice 发表于 2024-11-18 22:33 索尼的A7R3和A7R4也都有像素偏移四张合成（R5估计也有但我没有这个机器），原理都是跟拜耳传感器的设计有关。拜耳传感器每个像素只识别一种颜色的光，而相邻像素的同色光是用周围像素差值来的。在4张像素偏移合成时，传感器每次向一个方向移动一个像素，覆盖... 多谢解答！如果这个功能和对焦包围结合起来，拍静物摄影能上一个台阶，但相机厂家似乎都没开发这类功能。
[12 楼] 漓江秋色 [泡菜] 24-11-21 09:30 rollingdice 发表于 2024-11-18 22:06 我在原帖说的很清楚了，我测的是空间分辨率，不是像素。摇摇乐在一个维度上像素增加一倍，并不能保证空间分辨率也增加一倍。比如奥林巴斯的8张摇摇乐，单维像素翻倍，实测分辨率只能到1.6倍左右。又比如用单张差值提高像素数量，空间分辨率不会有任何提升。建议看看... 当时，我过于关注那些图片了，没有细看其它。细细看了之后，还是有点疑惑的。摇摇乐的合成算法不太了解，但看到老电脑对软件运行速度好象蛮快的。至于你说空间分辨率问题，我的想法是，如果不是理论上，它就是这样。就是镜头的分辨率不能满足摇摇乐的合成的要求。
[11 楼] rollingdice [泡菜] 24-11-18 22:33 carlfliex 发表于 2024-11-18 12:11 请教lz，貌似尼康和哈苏固件升级后，都可以做四张堆叠，以提升色彩，不知Sony和奥巴有没有对应选项？这个色彩强化是咋回事啊？索尼的A7R3和A7R4也都有像素偏移四张合成（R5估计也有但我没有这个机器），原理都是跟拜耳传感器的设计有关。拜耳传感器每个像素只识别一种颜色的光，而相邻像素的同色光是用周围像素差值来的。在4张像素偏移合成时，传感器每次向一个方向移动一个像素，覆盖上下左右四个方向。这样相邻像素的同色光都不用差值，色彩必然更加准确，堆栈也能降噪增加照片的细节。不过对运动物体同样会产生瑕疵，并且尼康没有任何运动补偿，索尼A7R5以后有运动补偿。我的奥巴机器也是5年前的，只有两种堆栈模式，手持16张5000万和脚架8张8000万。5000万像素后期电脑压力也不大，所以我一般上三脚架也都用手持5000万模式，16张堆起来动态范围提升很明显。
[10 楼] rollingdice [泡菜] 24-11-18 22:06 漓江秋色发表于 2024-11-18 12:28 如果要统一构图对比，用4合一的摇摇乐可能更合适。16合一的摇摇乐，本来就是高一倍的分辨率，还有必要比吗。就摇摇乐目前的情况看，只适合拍静止的物体。无论相机还是被摄物体运动，都会有瑕疵。拍摇摇乐，对镜头的要求是分辨率大于或至少等于感光器的分辨率。 ... 我在原帖说的很清楚了，我测的是空间分辨率，不是像素。摇摇乐在一个维度上像素增加一倍，并不能保证空间分辨率也增加一倍。比如奥林巴斯的8张摇摇乐，单维像素翻倍，实测分辨率只能到1.6倍左右。又比如用单张差值提高像素数量，空间分辨率不会有任何提升。建议看看原帖再讨论。
[9 楼] 漓江秋色 [泡菜] 24-11-18 12:28 rollingdice 发表于 2024-11-18 10:22 这个对比测试的目的是为了体现用像素偏移实现超分辨率能够提升多少倍分辨率，以及索尼自带的软件在没有运动补偿下会出现的瑕疵，如果不统一构图便无法对分辨的细节进行对比。另外，超分辨率这个领域的所有论文都是统一构图对比细节提升的。如果你不理解，又或者你就是喜... 如果要统一构图对比，用4合一的摇摇乐可能更合适。16合一的摇摇乐，本来就是高一倍的分辨率，还有必要比吗。就摇摇乐目前的情况看，只适合拍静止的物体。无论相机还是被摄物体运动，都会有瑕疵。拍摇摇乐，对镜头的要求是分辨率大于或至少等于感光器的分辨率。拍16合一的摇摇乐时，如果有只猫闯进画面，有（少数）几张画面有猫的影像。合成后，不会有有猫的影像出现。
[8 楼] carlfliex [泡菜] 24-11-18 12:11 请教lz，貌似尼康和哈苏固件升级后，都可以做四张堆叠，以提升色彩，不知Sony和奥巴有没有对应选项？这个色彩强化是咋回事啊？
[7 楼] rollingdice [泡菜] 24-11-18 10:22 漓江秋色发表于 2024-11-18 09:27 这样对比不好吧，要比还是原图100%才好。你看，两张图的树叶都明显不一样，一个是阔叶，一个象针叶了。这个对比测试的目的是为了体现用像素偏移实现超分辨率能够提升多少倍分辨率，以及索尼自带的软件在没有运动补偿下会出现的瑕疵，如果不统一构图便无法对分辨的细节进行对比。另外，超分辨率这个领域的所有论文都是统一构图对比细节提升的。如果你不理解，又或者你就是喜欢所有照片100%放大，不妨去看dpreview的影棚测试。
[6 楼] 漓江秋色 [泡菜] 24-11-18 09:27 rollingdice 发表于 2024-11-17 23:51 写漏了，100%放大指的是对于2亿4000万像素的100%放大，对于单张是200%，以此类推。因为要对比细节，所以保持所有截图构图统一。这样对比不好吧，要比还是原图100%才好。你看，两张图的树叶都明显不一样，一个是阔叶，一个象针叶了。