关于爬取评论区重复问题

[linyuye]

以oid315941005，rpid:221259393840为例
（原链接https://t.bilibili.com/929802166947807250 ）
（api链接https://api.bilibili.com/x/v2/reply/main?next=1&type=11&oid=315941005&ps=20&mode=3 ）
在这条评论下面【给大家辟个谣，尘白禁区在某手平台，是没有官方账号的哈，大家别被误导！！！】的回复数是245，然而在网页看是197，造成了一定量的评论重复问题，我朋友说是二次握手导致的，有什么方法规避吗，或者只能依靠数据清洗去重？