Incorrect result

[xiyunqiao]

李博，你好。
我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。



我使用的是您代码里的网络，如下。

[hli1221]

你好，感谢你的反馈。我会重新下载GitHub版本的代码进行测试，有任何变化我会及时回复。

[hli1221]

你好，我这边本地测试没有问题，可以跑出正常结果。代码就是github上的版本。
出现问题的原因也许是代码库版本问题，我目前测试适用的版本：pytorch=1.5，python=3.7
建议再测试看看。

[xiyunqiao]

李工，我又测了一遍，已经可以用了。另外，我想问您一下，我看代码的net.py中提供的是NestFuse的网络结构，和您的RFN-Nest相似但不同，如编码器的channel两者不同。如果想体验RFN-Nest的训练过程，需要我们自己去改一下？

[chenzpstar]

李博，你好。 我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。

同学你好，我最近在测试时也出现了和你相同的情况，请问你是如何解决的呢？
我的测试环境：pytorch=1.12，python=3.9

我尝试了以下操作：
（1）将融合方式更改为代码里其他的融合策略，发现输出的图像是正常的，说明代码各部分都没有问题；
（2）将融合方式换回rfn模块，然后在保存图像前，尝试打印图像像素的最大值和最小值，发现几乎都大于255（如下图所示），所以导致输出的图像是黑白的；（另外，相加的方式也会有部分图像像素的最大值超出255，导致图像整体偏亮）

print(img_fusion.max(), img_fusion.min())

（3）在保存图像前，将图像进行最大最小归一化，并乘以255，将像素值缩放为[0, 255]，之后再保存图像，得到的图像终于能够正常显示（如下图所示）。

img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max() - img_fusion.min()) * 255.0

以上是我的解决方案，不知这样做对吗？归一化后的图像是否会影响评价指标的结果呢？其他的融合方式也是否需要归一化呢？还有其他方法解决吗？ @hli1221 李导能够帮忙解答吗？期待您的答复，谢谢。

[pengjiaqil]

你好，这代码最后只生成灰度图，可见光图怎么生成？

[hli1221]

你好，有三种方式。
1 将输入RGB的3个通道和红外图像分别融合，最终在组成融合后的RGB图。
1 可以说使用颜色空间转换方式对RGB图像做转换（YCbCr），然后使用此方法对Y分量和红外分量做融合，最后再加上颜色分量。
2 自己训练一个输入和输出都是3通道的融合模型。

[pengjiaqil]

好的，谢谢。

[LZHAOFENG]

李博，你好。 我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。 我使用的是您代码里的网络，如下。

您好，请问您这个问题解决了吗我也遇到了相同的问题。请问是需要更改代码的哪些内容吗 我设置的环境与作者提供的环境一致

[pengjiaqil]

# save images img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max() - img_fusion.min()) * 255.0#改的 utils.save_image_test(img_fusion, output_path) print(output_path)我的把——test_41的109行改成这个

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2023年6月21日(星期三) 中午1:56 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [hli1221/imagefusion-rfn-nest] Incorrect result (Issue #5) 李博，你好。 我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。 我使用的是您代码里的网络，如下。 您好，请问您这个问题解决了吗我也遇到了相同的问题。请问是需要更改代码的哪些内容吗 我设置的环境与作者提供的环境一致 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[GuoWena]

保存图片 img_fusion = （img_fusion - img_fusion.min（）） / （img_fusion.max（） - img_fusion.min（）） * 255.0#改的 utils.save_image_test（img_fusion， output_path） print（output_path）我的把——test_41的109行改成这个

...
------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年6月21日(星期三) 中午1:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [hli1221/imagefusion-rfn-nest] Incorrect result (Issue #5) 李博，你好。 我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。 我使用的是您代码里的网络，如下。 您好，请问您这个问题解决了吗我也遇到了相同的问题。请问是需要更改代码的哪些内容吗 我设置的环境与作者提供的环境一致 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

同学你好，你是在test_40
for img_fusion in img_fusion_list:
file_name = 'fused_' + str(alpha) + '_' + name_ir
output_path = output_path_root + file_name
output_count += 1
# save images
# img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max()) - img_fusion.min()) *255.0
# print(img_fusion.max(), img_fusion.min())
img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max() - img_fusion.min())*255.0
utils.save_image_test(img_fusion, output_path)
print(output_path)做出的修改吗

[limyoonahh]

保存图片 img_fusion = （img_fusion - img_fusion.min（）） / （img_fusion.max（） - img_fusion.min（）） * 255.0#改的 utils.save_image_test（img_fusion， output_path） print（output_path）我的把——test_41的109行改成这个

...
------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年6月21日(星期三) 中午1:56 收件人: _@**._>; 抄送: _@.>; @._>; 主题: Re: [hli1221/imagefusion-rfn-nest] Incorrect result (Issue #5) 李博，你好。 我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。 我使用的是您代码里的网络，如下。 您好，请问您这个问题解决了吗我也遇到了相同的问题。请问是需要更改代码的哪些内容吗 我设置的环境与作者提供的环境一致 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: _@_.*>

同学你好，你是在test_40 for img_fusion in img_fusion_list: file_name = 'fused_' + str(alpha) + '_' + name_ir output_path = output_path_root + file_name output_count += 1 # save images # img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max()) - img_fusion.min()) *255.0 # print(img_fusion.max(), img_fusion.min()) img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max() - img_fusion.min())*255.0 utils.save_image_test(img_fusion, output_path) print(output_path)做出的修改吗

同学你解决了吗，我这么修改图片还是好多几乎全黑的

[GuoWena]

保存图片 img_fusion = （img_fusion - img_fusion.min（）） / （img_fusion.max（） - img_fusion.min（）） * 255.0#改的 utils.save_image_test（img_fusion， output_path） print（output_path）我的把——test_41的109行改成这个

...
------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年6月21日(星期三) 中午1:56 收件人: _@**._>; 抄送: _@.>; @._>; 主题: Re: [hli1221/imagefusion-rfn-nest] Incorrect result (Issue #5) 李博，你好。 我使用了fusion_imagefusion-rfn-nest-main\imagefusion-rfn-nest-main\test_40pairs.py这个程序，利用下图1数据集，跑出的结果却是下图2，咨询一下我这样的demo结果可能出错在哪些地方？我的图大量都是纯黑色或纯白色的。 我使用的是您代码里的网络，如下。 您好，请问您这个问题解决了吗我也遇到了相同的问题。请问是需要更改代码的哪些内容吗 我设置的环境与作者提供的环境一致 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: _@_.*>

同学你好，你是在test_40 for img_fusion in img_fusion_list: file_name = 'fused_' + str(alpha) + '_' + name_ir output_path = output_path_root + file_name output_count += 1 # save images # img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max()) - img_fusion.min()) *255.0 # print(img_fusion.max(), img_fusion.min()) img_fusion = (img_fusion - img_fusion.min()) / (img_fusion.max() - img_fusion.min())*255.0 utils.save_image_test(img_fusion, output_path) print(output_path)做出的修改吗

同学你解决了吗，我这么修改图片还是好多几乎全黑的

还没，打算忙完这几天再好好看一下

[limyoonahh]

李工，我又测了一遍，已经可以用了。另外，我想问您一下，我看代码的net.py中提供的是NestFuse的网络结构，和您的RFN-Nest相似但不同，如编码器的channel两者不同。如果想体验RFN-Nest的训练过程，需要我们自己去改一下？

请问是做了什么修改可以使用的

[hli1221]

需要修改的，这里的自编码器训练策略和过程与NestFuse完全一致。可能是在做RFN-Nest的时候我调整了结构，导致和NestFuse不同。