Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

更新知网引用数时显示知网页面出现验证码 #189

Open
hjxcool opened this issue Aug 16, 2023 · 22 comments
Open

更新知网引用数时显示知网页面出现验证码 #189

hjxcool opened this issue Aug 16, 2023 · 22 comments
Assignees
Labels
bug Something isn't working CNKI capatch metadata

Comments

@hjxcool
Copy link

hjxcool commented Aug 16, 2023

更新知网引用数时显示知网页面出现验证码,但是我去知网是可以正常下载文献的
image

@l0o0
Copy link
Owner

l0o0 commented Aug 16, 2023

麻烦同学,把这篇知网 URL 贴出来让我看看

@l0o0
Copy link
Owner

l0o0 commented Aug 16, 2023

图片
上面那篇我点开之后就是这样的

@l0o0
Copy link
Owner

l0o0 commented Aug 16, 2023

你自己点开会出现这样的情形么

@hjxcool
Copy link
Author

hjxcool commented Aug 16, 2023

也是这样的

@l0o0
Copy link
Owner

l0o0 commented Aug 16, 2023

也是这样的

你都这样,那说明知网开始反制爬虫了

@hjxcool
Copy link
Author

hjxcool commented Aug 16, 2023

你那边可以正常使用嘛

@l0o0
Copy link
Owner

l0o0 commented Aug 16, 2023

你那边可以正常使用嘛

正常搜索打开没有问题,只是单独打开保存的链接,就会出现验证页面

@hjxcool
Copy link
Author

hjxcool commented Aug 16, 2023

我的意思是你zotero里的文章更新引用数可以正常使用吗

@l0o0
Copy link
Owner

l0o0 commented Aug 16, 2023

如果我的条目里,网址和你这种类似,也会出现和你一样的问题。我目前的猜测是知网更新了URL,和之前使用的知网链接不一样了。https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CMFD&dbname=CMFD201901&filename=1018821714.nh&v= 这是之类的,有dbcode dbname 这些,现在是?v= 加一串加密字串。我怀疑是抓取网页时,部分参数不匹配导致的。

@hjxcool
Copy link
Author

hjxcool commented Aug 16, 2023

好吧 麻烦你了 感谢

@paoniu-liu
Copy link

好吧 麻烦你了 感谢
这个问题好解决,你先复制URL用浏览器打开,会有一个验证,你验证成功后网页会刷新,你把刷新后的网页复制粘贴回原来的URL处,以后就能抓取引用数了

@hjxcool
Copy link
Author

hjxcool commented Aug 16, 2023

那每一篇都需要改,工作量有点大

@l0o0
Copy link
Owner

l0o0 commented Aug 18, 2023

那每一篇都需要改,工作量有点大

随着知网更新使用新URL,茉莉花插件也要更新相应的数据获取策略,到时候可能会让用户协助点击验证信息

@yzy1228682367
Copy link

随着知网更新使用新URL,茉莉花插件也要更新相应的数据获取策略,到时候可能会让用户协助点击验证信息

请问可不可以抓取搜索页面的引用量呢?我看搜索页面从来没有爬虫过。
CleanShot 2023-08-19 at 15 19 50@2x

@l0o0
Copy link
Owner

l0o0 commented Aug 20, 2023

请问可不可以抓取搜索页面的引用量呢?我看搜索页面从来没有爬虫过。

哈哈,谢谢提醒,目前是准备这个方法规避

@yzy1228682367
Copy link

好耶!感谢大佬!

@jiaojiaodubai
Copy link
Collaborator

@l0o0 @hjxcool 我了解这个情况,这是因为国内知网新版(kcms2系列)的单条目链接是在搜索完成的时候生成的cookieName,它是和时间有关的加密字符串,在超过了一定时间后再访问就会有这个验证码。KCMS系列网址的地址才是采用filenam拼的,用这个拼出来的链接访问后会跳转到现在的新版知网。

@CC-githubs
Copy link

那每一篇都需要改,工作量有点大

随着知网更新使用新的URL,茉莉花插件还要更新相应的数据获取策略,到时候用户可能会帮助点击验证信息

请问现在有更新吗TT 因为现在还是好多论文都显示有验证码,但是一个个点太麻烦了

@CC-githubs
Copy link

@l0o0 @hjxcool我了解到这个情况,这是国内因为知网新版(kcms2系列)的单边界链接是在搜索完成的时候生成的cookieName,它是和时间有关的加密字符串,在超过了一定的时间之后访问就会有验证这个码。KCMS系列网址的地址才是采用filenam拼板的,用这个拼板出来的链接访问后面会截图最近的新版知网。

这个请问是需要在zotero内手动修改网址吗

@LLLUPUP
Copy link

LLLUPUP commented Oct 19, 2024

@l0o0 @hjxcool我了解到这个情况,这是国内因为知网新版(kcms2系列)的单边界链接是在搜索完成的时候生成的cookieName,它是和时间有关的加密字符串,在超过了一定的时间之后访问就会有验证这个码。KCMS系列网址的地址才是采用filenam拼板的,用这个拼板出来的链接访问后面会截图最近的新版知网。

这个请问是需要在zotero内手动修改网址吗

请问解决了吗

@jiaojiaodubai jiaojiaodubai added the bug Something isn't working label Oct 25, 2024
@jiaojiaodubai jiaojiaodubai changed the title zotero 7 更新知网引用数 更新知网引用数时显示知网页面出现验证码 Oct 25, 2024
@jiaojiaodubai
Copy link
Collaborator

更新引用数现在似乎可用了?@l0o0

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working CNKI capatch metadata
Projects
None yet
Development

No branches or pull requests

7 participants