关于直连列表/代理列表 的困惑

[DriverFA]

版本：main分支 4.77-5
分流模式为中国列表以外，即
使用 直连列表
使用 代理列表
使用 屏蔽列表
使用 GFW 列表
中国列表 直连
TCP 默认代理模式 代理
UDP 默认代理模式 代理

直连列表中填写apple.com可以匹配它的子域名events-delivery.apple.com 实测events-delivery.apple.com可以直连
但是代理列表中填写bing.com却无法匹配它的子域名cn.bing.com 实测cn.bing.com直连，没有走代理，另一个子域名www.bing.com却可以正常走代理

猜测：chinalist中存在cn.bing.com，用户在代理列表中填写bing.com无法覆盖掉chinalist中的二级域名cn.bing.com
同样情况还有gstatic.com 因为chinalist中存在www.gstatic.com所以即使代理列表中有gstatic.com，www.gstatic.com仍然是直连。

手动删除/usr/share/passwall/rules/chnlist中的 cn.bing.com和www.gstatic.com，重启passwall，实测均可正常走代理

用户自定义代理列表的优先级应该高于中国列表吧，不知道这算不算bug。

[wtfr-dot]

对于像微软和谷歌这类巨无霸公司，单单仅靠一两个域名就控制访问路径不是那么靠谱，你输入cn.bing.com时并不只是简单的访问了这个域名，它会附带好几个相关的域名解析，我看了我这个dns解析记录确实是按代理解析的域名，但为什么还能显示国内的城市信息呢，实际上它还解析了msn.cn等几个域名，这个是国内直连，另外微软还会根据操作系统设置，比如时区语言之类的自动切换访问主页，还有像Google，我前几天chromecast提示有系统更新，结果始终无法下载，看连接也是走的代理，后来网上搜索加上抓包发现gvt1.com这个域名的解析有问题，把它加入代理就解决问题了，所以如果你要想按你的想法来，最好分析一下整个过程，将相关的环节都控制住才行，另外规则文件的制作者也因为各种原因对域名的分类是不同的，最典型的就是Google，另外还跟你分流设置等都有关系，总之比较麻烦
还有一个最大的问题，就是你的地理位置，操作系统安装时默认就会收集你的地理位置，即使你将地理位置全部关闭，但有可能其它设置和一些相关的软件等都会泄漏你的地理位置，所以你输cn.bing.com它会通过其它渠道知道你真正的访问位置，再加上这个网站本来就是归于中国区的，你强制让它走代理本身也不合理

[DriverFA]

是的，想要精确分流需要准备一堆域名

但是我认为这个案例只是说明 没考虑到代理列表中已有的一级域名和chinalist中的二级域名之间的关联和冲突。

代理列表只有bing.com 在chinalist中存在cn.bing.com ：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 202.89.233.100     中国/北京/microsoft.com
Name:   cn.bing.com
Address: 202.89.233.101     中国/北京/microsoft.com

代理列表只有bing.com 在chinalist中删除cn.bing.com之后：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200     Anycast/microsoft.com
Name:   cn.bing.com
Address: 13.107.21.200     Anycast/microsoft.com

代理列表添加cn.bing.com 同时chinalist中存在cn.bing.com ：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200     Anycast/microsoft.com
Name:   cn.bing.com
Address: 13.107.21.200     Anycast/microsoft.com

[wtfr-dot]

是的，想要精确分流需要准备一堆域名

但是我认为这个案例只是说明 没考虑到代理列表中已有的一级域名和chinalist中的二级域名之间的关联和冲突。

代理列表只有bing.com 在chinalist中存在cn.bing.com ：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 202.89.233.100     中国/北京/microsoft.com
Name:   cn.bing.com
Address: 202.89.233.101     中国/北京/microsoft.com

代理列表只有bing.com 在chinalist中删除cn.bing.com之后：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200     Anycast/microsoft.com
Name:   cn.bing.com
Address: 13.107.21.200     Anycast/microsoft.com

代理列表添加cn.bing.com 同时chinalist中存在cn.bing.com ：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200     Anycast/microsoft.com
Name:   cn.bing.com
Address: 13.107.21.200     Anycast/microsoft.com

你需要检查你的dns解析设置，我的一直都是通过代理查询的，是没有问题的。
这是smartdns的解析记录，cn.bing.com是通过代理查询的，但是跟它相关的有些域名通过直连查询的
127.0.0.1 query client.wns.windows.com, type 1, time 0ms, speed: -0.1ms, group us, result 40.83.247.108, 40.83.240.146, 13.64.180.106
127.0.0.1 query ntp.msn.com, type 1, time 0ms, speed: -0.1ms, group us, result 204.79.197.203
127.0.0.1 query ntp.msn.cn, type 1, time 0ms, speed: 22.0ms, group default, result 182.247.224.217
127.0.0.1 query assets.msn.cn, type 1, time 0ms, speed: 23.3ms, group default, result 182.247.224.217, 222.138.4.69
127.0.0.1 query img-s-msn-com.akamaized.net, type 1, time 0ms, speed: -0.1ms, group us, result 96.7.128.51, 23.199.47.149, 96.7.128.65, 166.70.146.136, 23.199.47.140, 96.7.128.78
127.0.0.1 query th.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 23.43.51.143, 23.44.175.181, 23.15.241.41, 23.43.51.146, 23.43.51.138, 23.43.51.139, 23.43.51.132, 23.43.51.142
127.0.0.1 query c.msn.cn, type 1, time 0ms, speed: 102.6ms, group default, result 20.205.115.81
127.0.0.1 query api.msn.cn, type 1, time 0ms, speed: 35.2ms, group default, result 202.89.233.96
127.0.0.1 query cn.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 204.79.197.200, 13.107.21.200
分流也走的代理：
192.168.100.229:3032 accepted tcp:204.79.197.200:443 [tcp_redir -> Proxy]
但是网页显示的是国内，估计就是因为msn.cn的原因，输www.bing.com时就不一样了
127.0.0.1 query www.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 23.43.51.143, 23.44.175.187, 23.206.229.236, 23.43.51.146, 23.44.175.181, 23.43.51.138, 23.44.175.168, 23.206.229.201
127.0.0.1 query storage.live.com, type 1, time 0ms, speed: -0.1ms, group us, result 20.135.4.166, 40.90.133.97, 40.90.133.100, 40.90.133.99
127.0.0.1 query www2.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 104.18.33.89, 172.64.154.167
127.0.0.1 query www.msn.com, type 1, time 810ms, speed: -0.1ms, group us, result 204.79.197.203
127.0.0.1 query www.msn.com, type 1, time 777ms, speed: -0.1ms, group us, result 204.79.197.203
127.0.0.1 query assets.msn.com, type 1, time 0ms, speed: -0.1ms, group us, result 184.28.146.134, 104.96.163.134, 104.96.163.143, 184.28.146.135, 23.45.46.237, 23.15.240.138, 23.15.240.137, 104.96.163.137
127.0.0.1 query aadcdn.msftauth.net, type 1, time 0ms, speed: -0.1ms, group us, result 152.195.19.97
127.0.0.1 query login.live.com, type 1, time 0ms, speed: -0.1ms, group us, result 20.190.190.194, 20.190.151.68, 20.190.190.131, 20.190.151.133, 20.190.151.6, 40.126.62.129, 20.190.151.7, 40.126.62.130
127.0.0.1 query aadcdn.msauth.net, type 1, time 1ms, speed: -0.1ms, group us, result 13.107.246.69, 13.107.246.57, 13.107.246.66
127.0.0.1 query login.microsoftonline.com, type 1, time 0ms, speed: -0.1ms, group us, result 20.190.151.68, 20.190.190.131, 20.190.151.69, 20.190.151.6, 20.190.151.134, 20.190.151.8, 20.190.151.9
可以看见相关的域名全是走代理，所以网页显示的也是美国的，但是这并不稳定，一会又会显示国内城市，因为看记录后面它又有msn.cn域名的请求
127.0.0.1 query cn.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 204.79.197.200, 13.107.21.200
127.0.0.1 query www.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 23.43.51.143, 23.44.175.187, 23.206.229.236, 23.43.51.146, 23.44.175.181, 23.43.51.138, 23.44.175.168, 23.206.229.201
127.0.0.1 query assets.msn.com, type 1, time 0ms, speed: -0.1ms, group us, result 184.28.146.155, 104.96.163.152, 104.96.163.143, 23.15.240.137, 23.15.240.138, 104.96.163.145, 104.96.163.147, 23.15.240.146
127.0.0.1 query ts3.cn.mm.bing.net, type 1, time 0ms, speed: -0.1ms, group us, result 4.79.219.74, 4.79.219.67, 4.79.219.72
127.0.0.1 query img-s.msn.cn, type 1, time 0ms, speed: 82.0ms, group default, result 23.35.111.104
127.0.0.1 query ts1.cn.mm.bing.net, type 1, time 0ms, speed: -0.1ms, group us, result 4.79.219.74, 4.79.219.67, 4.79.219.72
127.0.0.1 query ts2.cn.mm.bing.net, type 1, time 0ms, speed: -0.1ms, group us, result 4.79.219.74, 4.79.219.67, 4.79.219.72

[DriverFA]

是的，想要精确分流需要准备一堆域名
但是我认为这个案例只是说明 没考虑到代理列表中已有的一级域名和chinalist中的二级域名之间的关联和冲突。
代理列表只有bing.com 在chinalist中存在cn.bing.com ：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 202.89.233.100     中国/北京/microsoft.com
Name:   cn.bing.com
Address: 202.89.233.101     中国/北京/microsoft.com

代理列表只有bing.com 在chinalist中删除cn.bing.com之后：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200     Anycast/microsoft.com
Name:   cn.bing.com
Address: 13.107.21.200     Anycast/microsoft.com

代理列表添加cn.bing.com 同时chinalist中存在cn.bing.com ：

root@OpenWrt:~# nslookup cn.bing.com
Server:         127.0.0.1
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200     Anycast/microsoft.com
Name:   cn.bing.com
Address: 13.107.21.200     Anycast/microsoft.com

你需要检查你的dns解析设置，我的一直都是通过代理查询的，是没有问题的。 这是smartdns的解析记录，cn.bing.com是通过代理查询的，但是跟它相关的有些域名通过直连查询的 127.0.0.1 query client.wns.windows.com, type 1, time 0ms, speed: -0.1ms, group us, result 40.83.247.108, 40.83.240.146, 13.64.180.106 127.0.0.1 query ntp.msn.com, type 1, time 0ms, speed: -0.1ms, group us, result 204.79.197.203 127.0.0.1 query ntp.msn.cn, type 1, time 0ms, speed: 22.0ms, group default, result 182.247.224.217 127.0.0.1 query assets.msn.cn, type 1, time 0ms, speed: 23.3ms, group default, result 182.247.224.217, 222.138.4.69 127.0.0.1 query img-s-msn-com.akamaized.net, type 1, time 0ms, speed: -0.1ms, group us, result 96.7.128.51, 23.199.47.149, 96.7.128.65, 166.70.146.136, 23.199.47.140, 96.7.128.78 127.0.0.1 query th.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 23.43.51.143, 23.44.175.181, 23.15.241.41, 23.43.51.146, 23.43.51.138, 23.43.51.139, 23.43.51.132, 23.43.51.142 127.0.0.1 query c.msn.cn, type 1, time 0ms, speed: 102.6ms, group default, result 20.205.115.81 127.0.0.1 query api.msn.cn, type 1, time 0ms, speed: 35.2ms, group default, result 202.89.233.96 127.0.0.1 query cn.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 204.79.197.200, 13.107.21.200 分流也走的代理： 192.168.100.229:3032 accepted tcp:204.79.197.200:443 [tcp_redir -> Proxy] 但是网页显示的是国内，估计就是因为msn.cn的原因，输www.bing.com时就不一样了 127.0.0.1 query www.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 23.43.51.143, 23.44.175.187, 23.206.229.236, 23.43.51.146, 23.44.175.181, 23.43.51.138, 23.44.175.168, 23.206.229.201 127.0.0.1 query storage.live.com, type 1, time 0ms, speed: -0.1ms, group us, result 20.135.4.166, 40.90.133.97, 40.90.133.100, 40.90.133.99 127.0.0.1 query www2.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 104.18.33.89, 172.64.154.167 127.0.0.1 query www.msn.com, type 1, time 810ms, speed: -0.1ms, group us, result 204.79.197.203 127.0.0.1 query www.msn.com, type 1, time 777ms, speed: -0.1ms, group us, result 204.79.197.203 127.0.0.1 query assets.msn.com, type 1, time 0ms, speed: -0.1ms, group us, result 184.28.146.134, 104.96.163.134, 104.96.163.143, 184.28.146.135, 23.45.46.237, 23.15.240.138, 23.15.240.137, 104.96.163.137 127.0.0.1 query aadcdn.msftauth.net, type 1, time 0ms, speed: -0.1ms, group us, result 152.195.19.97 127.0.0.1 query login.live.com, type 1, time 0ms, speed: -0.1ms, group us, result 20.190.190.194, 20.190.151.68, 20.190.190.131, 20.190.151.133, 20.190.151.6, 40.126.62.129, 20.190.151.7, 40.126.62.130 127.0.0.1 query aadcdn.msauth.net, type 1, time 1ms, speed: -0.1ms, group us, result 13.107.246.69, 13.107.246.57, 13.107.246.66 127.0.0.1 query login.microsoftonline.com, type 1, time 0ms, speed: -0.1ms, group us, result 20.190.151.68, 20.190.190.131, 20.190.151.69, 20.190.151.6, 20.190.151.134, 20.190.151.8, 20.190.151.9 可以看见相关的域名全是走代理，所以网页显示的也是美国的，但是这并不稳定，一会又会显示国内城市，因为看记录后面它又有msn.cn域名的请求 127.0.0.1 query cn.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 204.79.197.200, 13.107.21.200 127.0.0.1 query www.bing.com, type 1, time 0ms, speed: -0.1ms, group us, result 23.43.51.143, 23.44.175.187, 23.206.229.236, 23.43.51.146, 23.44.175.181, 23.43.51.138, 23.44.175.168, 23.206.229.201 127.0.0.1 query assets.msn.com, type 1, time 0ms, speed: -0.1ms, group us, result 184.28.146.155, 104.96.163.152, 104.96.163.143, 23.15.240.137, 23.15.240.138, 104.96.163.145, 104.96.163.147, 23.15.240.146 127.0.0.1 query ts3.cn.mm.bing.net, type 1, time 0ms, speed: -0.1ms, group us, result 4.79.219.74, 4.79.219.67, 4.79.219.72 127.0.0.1 query img-s.msn.cn, type 1, time 0ms, speed: 82.0ms, group default, result 23.35.111.104 127.0.0.1 query ts1.cn.mm.bing.net, type 1, time 0ms, speed: -0.1ms, group us, result 4.79.219.74, 4.79.219.67, 4.79.219.72 127.0.0.1 query ts2.cn.mm.bing.net, type 1, time 0ms, speed: -0.1ms, group us, result 4.79.219.74, 4.79.219.67, 4.79.219.72

解析当然是正常的：

root@OpenWrt:~# nslookup cn.bing.com 127.0.0.1:5335
Server:         127.0.0.1:5335
Address:        127.0.0.1:5335

Non-authoritative answer:
Name:   cn.bing.com
Address: 204.79.197.200
Name:   cn.bing.com
Address: 13.107.21.200

Non-authoritative answer:

root@OpenWrt:~# nslookup cn.bing.com 127.0.0.1:53
Server:         127.0.0.1:53
Address:        127.0.0.1:53

Non-authoritative answer:
Name:   cn.bing.com
Address: 202.89.233.100
Name:   cn.bing.com
Address: 202.89.233.101

[wtfr-dot]

我把msn.cn设为代理马上就正常了，另外/usr/share/passwall/rules/chnlist这里面的域名应该并不是直接拿来用的，是通过处理后在/var/etc/passwall_tmp/dnsmasq_default/目录下的001-server.conf和ipset.conf两个文件里，比如我刚才改的就在里面
server=/.msn.cn/127.0.0.1#6553
ipset=/.msn.cn/passwall_blacklist
dns解析也走的代理：
127.0.0.1 query ntp.msn.cn, type 1, time 257ms, speed: -0.1ms, group us, result 23.63.210.128
127.0.0.1 query ntp.msn.cn, type 1, time 218ms, speed: -0.1ms, group us, result 23.63.210.128

[DriverFA]

我把msn.cn设为代理马上就正常了，另外/usr/share/passwall/rules/chnlist这里面的域名应该并不是直接拿来用的，是通过处理后在/var/etc/passwall_tmp/dnsmasq_default/目录下的001-server.conf和ipset.conf两个文件里，比如我刚才改的就在里面 server=/.msn.cn/127.0.0.1#6553 ipset=/.msn.cn/passwall_blacklist dns解析也走的代理： 127.0.0.1 query ntp.msn.cn, type 1, time 257ms, speed: -0.1ms, group us, result 23.63.210.128 127.0.0.1 query ntp.msn.cn, type 1, time 218ms, speed: -0.1ms, group us, result 23.63.210.128

最终直连的域名列表和走代理的域名列表都是由多个列表合成的，这一点我当然也懂，
我的意思就是，当代理列表中的一个域名同时出现在chinalist中时，应该以优先级更高的代理列表为准。

比如cn.bing.com在代理列表中，同时在chinalist中 实测是正常的
但是当一个优先级高的列表有一级域名时，没有考虑到优先级低的列表中是否存在对应的二级域名 并在最终合成的表中把这些二级域名剔除。
即代理列表中有bing.com ，chinalist中有cn.bing.com ，那最终合成的走代理域名列表中应该有bing.com 同时直连域名列表中应该剔除来自chinalist的cn.bing.com。
只是简单的优先级问题

[wtfr-dot]

准确的说chnlist的规则文件处理后体现在luci界面的中国列表里，包括cn.bing.com也不在里面，本身就剔除了的，bing.com是根据自定义体现在server和ipset里，就是这是符合逻辑的，你让cn.bing.com走直连和代理都没问题，实际上我的cn.bing.com默认解析就是走的代理，只是最终网页真正呈现的内容我们前面的讨论已经说明了问题，单从规则处理逻辑来说passwall这点是没有问题的

[wtfr-dot]

但是如果输cn.bing.com还是不行，这是因为它关联的域名有变化，比如多出来这个域名走的直连
127.0.0.1 query licensing.mp.microsoft.com, type 1, time 0ms, speed: 62.2ms, group default, result 52.230.59.222
不过本身cn.bing.com这是为中国准备的，没必要强制它走代理

[DriverFA]

但是如果输cn.bing.com还是不行，这是因为它关联的域名有变化，比如多出来这个域名走的直连 127.0.0.1 query licensing.mp.microsoft.com, type 1, time 0ms, speed: 62.2ms, group default, result 52.230.59.222 不过本身cn.bing.com这是为中国准备的，没必要强制它走代理

我并不关心cn.bing.com和www.gstatic.com是否真的能走代理，只是拿列表已经有的域名举个例子。

openwrt-passwall/luci-app-passwall/root/usr/share/passwall/rules/proxy_host

Line 3 in a7f56b4

bing.com

openwrt-passwall/luci-app-passwall/root/usr/share/passwall/rules/proxy_host

Line 11 in a7f56b4

gstatic.com

我关心的是#3262 (reply in thread)

[DriverFA]

版本：main分支 4.77-5 分流模式为中国列表以外，即 使用 直连列表 使用 代理列表 使用 屏蔽列表 使用 GFW 列表 中国列表 直连 TCP 默认代理模式 代理 UDP 默认代理模式 代理

直连列表中填写apple.com可以匹配它的子域名events-delivery.apple.com 实测events-delivery.apple.com可以直连 但是代理列表中填写bing.com却无法匹配它的子域名cn.bing.com 实测cn.bing.com直连，没有走代理，另一个子域名www.bing.com却可以正常走代理

猜测：chinalist中存在cn.bing.com，用户在代理列表中填写bing.com无法覆盖掉chinalist中的二级域名cn.bing.com 同样情况还有gstatic.com 因为chinalist中存在www.gstatic.com所以即使代理列表中有gstatic.com，www.gstatic.com仍然是直连。

手动删除/usr/share/passwall/rules/chnlist中的 cn.bing.com和www.gstatic.com，重启passwall，实测均可正常走代理

用户自定义代理列表的优先级应该高于中国列表吧，不知道这算不算bug。

补充：只在DNS分流为Dnsmasq+ChinaDNS-NG模式下有问题，Dnsmasq模式下没有这个问题

[wtfr-dot]

我在短暂使用了chinadns-ng后就没用了，根据我早期使用的印象，chinadns-ng是没在白名单的域名会同时向所有上游服务器发起查询，然后通过某种算法去最终选择，单从cn.bing.com这个域名来说，不管是国内还是国外解析都会是可信的结果，从速度来说肯定走直连是最符合逻辑的，现在passwall增加了默认直连和远程的选项，如果你默认选直连，那就很难说它会不会走代理了，反正我是不用chinadns-ng，我用smartdns直接将非白名单的域名给远程解析，不管它是在国内还是在国外，另外passwall后来将cn后缀的域名默认都走直连了，所以基本上国内的域名都会走直连，因为dns路由本身就没有十全十美的办法，根据自己的需要特定的域名再进行调整，这应该就是自定义直连和代理的意义所在

[wtfr-dot]

另外说到优先级的问题，有domainmatcher和fullmatcher之分，fullmatcher优先级最高，内置dns模块目前在优先级的处理上好像有点悬念，单从passwall对规则处理的逻辑来说我觉得没有什么问题，但其它地方有没有问题那就很难说，比如我遇到过在操作多次passwall后发现其它正常，就www.google.com这个域名出现过国内外同时解析的问题，还有看见它本身是走的代理，但是网页显示却提示不安全，明显被劫持了，清空ipset也没用，总之实际使用来说只要不折腾基本上没什么问题