Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

不能获取到全部的主页作品数据 #472

Open
wick233 opened this issue Aug 27, 2024 · 14 comments
Open

不能获取到全部的主页作品数据 #472

wick233 opened this issue Aug 27, 2024 · 14 comments
Assignees
Labels
BUG Something isn't working enhancement New feature or request

Comments

@wick233
Copy link

wick233 commented Aug 27, 2024

获取用户主页作品数据/Get user homepage video data
这个接口调用的时候max_cursor传0,count传200,没有获取到所有的主页作品,主页总共有一百多个视频,获取到了33条,这个是有每页最大数量限制吗,我想获取到所有作品的话,每页数量最多是多少

@wick233 wick233 added BUG Something isn't working enhancement New feature or request labels Aug 27, 2024
@wick233 wick233 changed the title [BUG] Brief and clear description of the problem 不能获取到全部的主页作品数据 Aug 27, 2024
@Evil0ctal
Copy link
Owner

请使用翻页方式逐页获取视频,count保持默认或最大不超过30

@kiko923
Copy link

kiko923 commented Aug 28, 2024

请使用翻页方式逐页获取视频,count保持默认或最大不超过30

我的也不行 max_cursor改成1之后 返回空数据 只能为0

@Evil0ctal
Copy link
Owner

请使用翻页方式逐页获取视频,count保持默认或最大不超过30

我的也不行 max_cursor改成1之后 返回空数据 只能为0

那有可能是你的Cookie需要过验证码,max_cursor第一次请求时为0,count保持20,然后第二次请求的max_cursor需要从第一次响应的JSON中获取。

@wick233
Copy link
Author

wick233 commented Aug 30, 2024

请使用翻页方式逐页获取视频,count保持默认或最大不超过30

max_cursor为0,count为10获取到的json里面data.aweme_list.video.play_addr.url_list,只有七个视频主页数据总共一百多条数据,请问为什么没有获取到10条数据

@wick233
Copy link
Author

wick233 commented Aug 30, 2024

请使用翻页方式逐页获取视频,count保持默认或最大不超过30

我的也不行 max_cursor改成1之后 返回空数据 只能为0

那有可能是你的Cookie需要过验证码,max_cursor第一次请求时为0,count保持20,然后第二次请求的max_cursor需要从第一次响应的JSON中获取。

这个cookie过验证码是什么意思,是在谷歌浏览器里打开dy然后过一下图片验证码吗?还是需要重新登录获取一下新的cookie替换一下

@kiko923
Copy link

kiko923 commented Aug 30, 2024

请使用翻页方式逐页获取视频,count保持默认或最大不超过30

我的也不行 max_cursor改成1之后 返回空数据 只能为0

那有可能是你的Cookie需要过验证码,max_cursor第一次请求时为0,count保持20,然后第二次请求的max_cursor需要从第一次响应的JSON中获取。

这个cookie过验证码是什么意思,是在谷歌浏览器里打开dy然后过一下图片验证码吗?还是需要重新登录获取一下新的cookie替换一下

1725020377666

我已经搞明白了 第一次先传0 然后会返回max_cursor然后将这个值复制 然后 将表单中的0改为刚刚复制的值 然后重新请求 就会获取下一页的内容 然后在重新找到max_cursor这个值 重复 到最后返回空数据的时候 就说明全部视频已经输出完毕

@Evil0ctal
Copy link
Owner

是的,如果响应中的has_more为1或者True,即代表还有更多视频,继续使用max_cursor请求即可,count始终保持不变,至于为什么响应的长度与count不符合,这个是抖音服务器的问题。

@Evil0ctal
Copy link
Owner

另外如果响应空数据,即代表你的账号或cookie被风控,需要解决一次验证码再去请求,解决验证码后建议获取一个新的cookie并替换和重启项目。

@HppZ
Copy link

HppZ commented Sep 15, 2024

请教下:
用 chrome 从 web 版抖音导出 cookie 后, 修改这个文件 crawlers\douyin\web\config.yaml 里的 cookie 字段, 然后重启 docker, 然后发起请求 http://localhost/api/douyin/web/fetch_one_video?aweme_id=7414775724063640883 会报错:

{
  "detail": {
    "code": 400,
    "message": "An error occurred.",
    "support": "Please contact us on Github: https://github.com/Evil0ctal/Douyin_TikTok_Download_API",
    "time": "2024-09-15 12:02:45",
    "router": "/api/douyin/web/fetch_one_video",
    "params": {
      "aweme_id": "7414775724063640883"
    }
  }
}

@Evil0ctal
Copy link
Owner

你登录自己的抖音账号了吗

@HppZ
Copy link

HppZ commented Sep 15, 2024

update:
按照 README 里 bilibili 教程里 (不登录) 获取了 cookie 填入, 依然不行.


我在 web 页登录了抖音帐号了, 然后导出了 cookie, 试了两种导出方式:

  1. 使用 get cookie locally 插件导出, 然后按照源代码中 config.yaml 的 cookie 的格式组合了字符串填入;
  2. 在 web 页的请求中直接复制 cookie 然后填入 config.yaml.

@HppZ
Copy link

HppZ commented Sep 16, 2024

跟这个情况一样: #460 (comment)

@Evil0ctal
Copy link
Owner

面前抖音需要使用已登录的cookie才可以,你试试在浏览器控制台里抓包然后复制一样的cookie试试,不要使用插件导出cookie。

@HppZ
Copy link

HppZ commented Sep 16, 2024

对, 我使用已登录的 cookie 后, 并且是复制的请求里的.

我的情况跟 460 一样, 那 5 个接口, 1 + 3 不能用, 我看 docker 日志如下:

2024-09-16 11:21:33 WARNING  第 1 次响应内容为空, 状态码: 200,                                      
2024-09-16 11:21:33          URL:https://www.douyin.com/aweme/v1/web/aweme/detail/?device_platform=w
2024-09-16 11:21:33          ebapp&aid=6383&channel=channel_pc_web&pc_client_type=1&version_code=190
2024-09-16 11:21:33          500&version_name=19.5.0&cookie_enabled=true&screen_width=1920&screen_he
2024-09-16 11:21:33          ight=1080&browser_language=zh-CN&browser_platform=Win32&browser_name=Fi
2024-09-16 11:21:33          refox&browser_version=124.0&browser_online=true&engine_name=Gecko&engin
2024-09-16 11:21:33          e_version=122.0.0.0&os_name=Windows&os_version=10&cpu_core_num=12&devic
2024-09-16 11:21:33          e_memory=8&platform=PC&msToken=&aweme_id=7414814124917509411&a_bogus=Of
2024-09-16 11:21:33          WhQVLkdD2Pffyg51nLfY3q6-mVYmQO0SVkMD2fJ-DOAg39HMTc9exo-bsvuM6jN4%2FkIeE
2024-09-16 11:21:33          jy4hbT3ohrQ2y0Hwf9W0L%2F25ksDSkKl5Q5xSSs1X9eghgJ04qmkt5SMx2RvB-rOXmqhZH
2024-09-16 11:21:33          KRbp09oHmhK4b1dzFgf3qJLzWj%3D%3D

然后我用请求工具发起这个请求 ( 带 cookie), 结果也是 200, 但是内容为空.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
BUG Something isn't working enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

4 participants