Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Release v0.0.1.6 pw2累计更新修复 24/May/04 - 24/Jun/28 #106

Merged
merged 300 commits into from
Jun 28, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
300 commits
Select commit Hold shift + click to select a range
10cfdf8
perf: 更改douyin直播下载文件名
Johnserf-Seed May 1, 2024
44fd00d
feat: 为_dl添加获取segments的duration列表
Johnserf-Seed May 1, 2024
25fec81
perf: 修改基础下载器默认代理参数
Johnserf-Seed May 1, 2024
1c08a51
feat: 为_dl获取segments添加返回类型
Johnserf-Seed May 1, 2024
1fddf30
feat: 添加app运行模式输出
Johnserf-Seed May 1, 2024
9d04c22
fix: 修复m3u8流获取content_length时没有提供代理参数造成的访问失败
Johnserf-Seed May 1, 2024
f544fe9
feat: 添加tiktok用户直播接口端点
Johnserf-Seed May 1, 2024
f7033cb
feat: 添加tiktok用户直播接口模型
Johnserf-Seed May 1, 2024
379e4d7
feat: 添加tiktok用户直播爬虫
Johnserf-Seed May 1, 2024
1898791
feat: 添加tiktok用户直播handler方法
Johnserf-Seed May 1, 2024
ba82bb0
feat: 修改tiktok用户直播下载流地址
Johnserf-Seed May 1, 2024
ebf8dcd
feat: 添加tiktok用户直播模式
Johnserf-Seed May 1, 2024
34775d6
feat: 添加tiktok用户直播数据过滤器
Johnserf-Seed May 2, 2024
bf1f623
feat: 添加反转义 JSON 文本方法
Johnserf-Seed May 2, 2024
93cafef
feat: 更新tiktok工具类网络错误捕获
Johnserf-Seed May 2, 2024
3f143f2
fix: 修复douyin提前引发异常导致无法生成虚假的msToken
Johnserf-Seed May 2, 2024
8a941fc
fix: 修复tiktok提前引发异常导致无法生成虚假的msToken
Johnserf-Seed May 2, 2024
6a82c46
perf: 更改tiktok直播下载文件名
Johnserf-Seed May 2, 2024
e3fdada
feat: 更新base_crawler网络异常相关
Johnserf-Seed May 2, 2024
6721102
perf: 更新douyin工具类网络错误捕获
Johnserf-Seed May 2, 2024
c8f5947
style: 输出与部分代码修改
Johnserf-Seed May 2, 2024
dce66f1
docs: 更新文档QA
Johnserf-Seed May 2, 2024
840bcfc
feat: 添加douyin相关推荐模式
Johnserf-Seed May 3, 2024
f5c3325
feat: 添加douyin相关推荐数据过滤器
Johnserf-Seed May 3, 2024
3122579
perf: 更新douyin相关推荐接口模型参数
Johnserf-Seed May 3, 2024
2f1eda0
feat: 添加douyin相关推荐handler方法
Johnserf-Seed May 3, 2024
ab1a504
perf: 更新douyin主页作品过滤器
Johnserf-Seed May 3, 2024
6cf9d8e
docs: 添加douyin相关推荐
Johnserf-Seed May 3, 2024
3a4b12b
perf: 修改douyin相关推荐handler方法名
Johnserf-Seed May 3, 2024
650f1fc
Update CHANGELOG.md
Johnserf-Seed May 3, 2024
222bd16
docs: 更新✨ 新变化
Johnserf-Seed May 3, 2024
c8e0f39
feat: 添加douyin朋友作品模式
Johnserf-Seed May 3, 2024
f5e9073
feat: 添加douyin好友作品数据过滤器
Johnserf-Seed May 3, 2024
4f4d9a9
feat: 添加douyin好友作品handler方法
Johnserf-Seed May 3, 2024
cf2e3c6
perf: 更新douyin好友作品爬虫方法
Johnserf-Seed May 3, 2024
cadd51d
perf: 更新tiktok模式列表
Johnserf-Seed May 3, 2024
07a0f5c
perf: 优化douyin好友作品handler逻辑
Johnserf-Seed May 4, 2024
2fb748e
docs: 添加douyin好友作品
Johnserf-Seed May 4, 2024
30f6d18
Update CHANGELOG.md
Johnserf-Seed May 4, 2024
a8261b2
feat: 新增douyin查询用户接口
Johnserf-Seed May 6, 2024
7857496
feat: 添加douyin查询用户接口模型
Johnserf-Seed May 6, 2024
39dc441
feat: 添加douyin查询用户过滤器
Johnserf-Seed May 6, 2024
b027ccc
feat: 添加douyin查询用户爬虫
Johnserf-Seed May 6, 2024
6b782c9
feat: 添加douyin查询用户handler方法
Johnserf-Seed May 6, 2024
62680a9
perf: 添加douyin查询用户的接口状态过滤器
Johnserf-Seed May 6, 2024
d44f71f
tests: 添加douyin查询用户代码片段
Johnserf-Seed May 6, 2024
037b5da
perf: 更新conf.yaml的ua配置
Johnserf-Seed May 6, 2024
d236794
perf: 更新douyin的TokenManager
Johnserf-Seed May 6, 2024
615985a
refactor: 重构初始化self.headers的方法
Johnserf-Seed May 6, 2024
45d7d9f
feat: 添加douyin直播弹幕初始化接口
Johnserf-Seed May 6, 2024
9c6116d
feat: 添加douyin直播间基础模型
Johnserf-Seed May 6, 2024
f8919c4
feat: 添加douyin直播弹幕初始化接口模型
Johnserf-Seed May 6, 2024
9acd25b
feat: 添加douyin弹幕初始化数据过滤器
Johnserf-Seed May 6, 2024
0eb6fe9
feat: 添加douyin弹幕初始化爬虫
Johnserf-Seed May 6, 2024
47ba4ae
feat: 添加douyin弹幕初始化handler方法
Johnserf-Seed May 6, 2024
613095e
style: 换行
Johnserf-Seed May 6, 2024
61716ce
fix: 修复_dl日志输出
Johnserf-Seed May 12, 2024
454fe1d
perf: 修改tiktok的用户目录为其uniqueId
Johnserf-Seed May 12, 2024
32e51cf
fix: 修复tiktok的utils获取TokenManager ua的报错
Johnserf-Seed May 12, 2024
75fc72a
perf: 优化异常类日志输出
Johnserf-Seed May 12, 2024
162568e
perf: 更新douyin命令行参数结束后直接return
Johnserf-Seed May 12, 2024
3f619a3
perf: 更新tiktok命令行参数结束后直接return
Johnserf-Seed May 12, 2024
e6e6478
feat: 添加httpx同步客户端
Johnserf-Seed May 12, 2024
06666a4
perf: 更新base_downloader的区块下载参数
Johnserf-Seed May 12, 2024
91bc971
style: 修改日志级别与样式
Johnserf-Seed May 12, 2024
255b92b
feat: 添加douyin对短剧作品的下载支持 #91
Johnserf-Seed May 20, 2024
58581e1
perf: 重构tiktok的TokenManager方法
Johnserf-Seed May 20, 2024
47e15f9
tests: 格式化tiktok代码片段
Johnserf-Seed May 20, 2024
7c6976e
refactor: 重构tiktok的SecUserIdFetcher方法
Johnserf-Seed May 20, 2024
1ff7b80
refactor: 重构tiktok的AwemeIdFetcher方法
Johnserf-Seed May 20, 2024
f39b4ce
refactor: 重构tiktok的TokenManager方法
Johnserf-Seed May 20, 2024
848b6e6
perf: 改进tiktok的utils几个异常输出
Johnserf-Seed May 20, 2024
1a3ee2c
perf: 暂时弃用douyin扫码登录
Johnserf-Seed May 21, 2024
45459e3
style: 注释与代码格式修改
Johnserf-Seed May 21, 2024
30d5855
perf: 添加traceback输出
Johnserf-Seed May 21, 2024
4f96aaf
refactor: 重构douyin的TokenManager方法
Johnserf-Seed May 21, 2024
0f293f9
refactor: 重构douyin的SecUserIdFetcher方法
Johnserf-Seed May 23, 2024
cfbcae7
refactor: 重构douyin的AwemeIdFetcher方法
Johnserf-Seed May 23, 2024
d5fdaf7
refactor: 重构douyin的MixIdFetcher方法
Johnserf-Seed May 23, 2024
4f64590
refactor: 重构douyin的WebCastIdFetcher方法
Johnserf-Seed May 23, 2024
4266c1d
fix: 为同步客户端添加同步transport
Johnserf-Seed May 23, 2024
78eb9f0
perf: 优化tiktok的utils代码
Johnserf-Seed May 23, 2024
8ef03d4
style: 使用black格式化
Johnserf-Seed May 23, 2024
bd4eca5
docs: 补充douyin的utils类方法注释
Johnserf-Seed May 23, 2024
20a9a38
test: 添加douyin合集id获取代码片段
Johnserf-Seed May 23, 2024
bfb1d14
test: 添加tiktok集成测试
Johnserf-Seed May 23, 2024
1223543
docs: 添加开发分支与dc徽章
Johnserf-Seed May 23, 2024
ce55e3d
perf: 更新apps集成测试文件名
Johnserf-Seed May 23, 2024
582ae7b
test: 更新tiktok集成测试
Johnserf-Seed May 23, 2024
b579443
perf: 更新测试配置
Johnserf-Seed May 23, 2024
5ee158b
perf: 更新tiktok的ttwid配置
Johnserf-Seed May 23, 2024
b0002d9
build: 更新pytest==8.2.1
Johnserf-Seed May 23, 2024
b16c2f3
style: 使用black格式化
Johnserf-Seed May 23, 2024
972663e
perf: 更新tiktok接口基础模型
Johnserf-Seed May 23, 2024
b27a9e2
perf: 更新tiktok的ttwid配置
Johnserf-Seed May 23, 2024
03232f6
perf: 为ClientConfManager添加了version读取
Johnserf-Seed May 25, 2024
c4b2f74
feat: 新增tiktok模型配置
Johnserf-Seed May 25, 2024
5319713
feat: 为conf.yaml配置添加版本号
Johnserf-Seed May 25, 2024
5515cd4
feat: 新增douyin模型配置
Johnserf-Seed May 25, 2024
f48bb27
perf: 修改tiktok模型配置方法
Johnserf-Seed May 25, 2024
0bc46f5
fix: 修复ClientConfManager部分参数返回值类型
Johnserf-Seed May 25, 2024
ac20295
perf: 更新conf.yaml配置参数类型
Johnserf-Seed May 25, 2024
118cf41
fix: 修复ClientConfManager参数
Johnserf-Seed May 25, 2024
78f4cd7
fix: 更新tiktok的msToken配置
Johnserf-Seed May 25, 2024
96660ce
fix: 修复CI/CD测试TokenManager无法通过
Johnserf-Seed May 25, 2024
55b3dcb
feat: 添加SKIP_IN_CI环境变量
Johnserf-Seed May 25, 2024
20e01fa
feat: 跳过部分CICD测试
Johnserf-Seed May 25, 2024
5df41a4
Update Codecov.yml
Johnserf-Seed May 25, 2024
2b35226
Update Codecov.yml
Johnserf-Seed May 25, 2024
08ba11b
feat: 添加douyin关注用户直播接口过滤器
Johnserf-Seed May 30, 2024
cfcfa6a
feat: 添加douyin关注用户直播方法
Johnserf-Seed May 30, 2024
a5608ec
feat: 修改douyin关注用户直播方法名
Johnserf-Seed May 30, 2024
e718324
test: 添加douyin关注用户直播代码片段
Johnserf-Seed May 30, 2024
5388be0
feat: 添加douyin生成webid配置
Johnserf-Seed May 30, 2024
a8cb43b
feat: 添加douyin生成webid方法
Johnserf-Seed May 30, 2024
8c8846a
test: 添加douyin生成webid测试
Johnserf-Seed May 30, 2024
70c73bc
test: 更新测试配置文件
Johnserf-Seed May 30, 2024
be20274
perf: 更新 BaseCrawler 类以处理 httpx 中的 mounts 参数弃用问题
Johnserf-Seed May 30, 2024
ed517db
perf: 惰性初始化BaseCrawler 类客户端
Johnserf-Seed May 30, 2024
88b3450
fix: 弃用proxies改用mounts参数
Johnserf-Seed Jun 7, 2024
027251e
fix: 输出日志弃用proxies参数
Johnserf-Seed Jun 7, 2024
051691d
fix: 防止douyin直播结束时下载崩溃
Johnserf-Seed Jun 7, 2024
a9bb68d
perf: 更新获取Content-Length的方法
Johnserf-Seed Jun 8, 2024
9706f3d
perf: 将代理配置到Transport对象中
Johnserf-Seed Jun 8, 2024
79a862e
perf: 退出命令时添加换行符
Johnserf-Seed Jun 8, 2024
b0aacb0
workflow: 添加black格式化命令
Johnserf-Seed Jun 8, 2024
ae09eec
feat: 添加tiktok设备id与cookie管理类
Johnserf-Seed Jun 12, 2024
9076213
test: 添加tiktok设备id测试
Johnserf-Seed Jun 12, 2024
518fa56
docs: 添加tiktok设备id代码片段
Johnserf-Seed Jun 12, 2024
3028bbd
feat: 添加文件路径头
Johnserf-Seed Jun 12, 2024
6d0f0e7
perf: 修改tiktok设备id代码片段变量名
Johnserf-Seed Jun 16, 2024
2612b43
refactor: 为装饰器文件重命名
Johnserf-Seed Jun 16, 2024
da461d4
docs: 更新douyin的xbogus调用
Johnserf-Seed Jun 16, 2024
2b4bbe4
perf: 调整类型检查并添加自动导入
Johnserf-Seed Jun 17, 2024
5629aff
perf: 调整停止异步任务信号
Johnserf-Seed Jun 17, 2024
716ed2a
build: 添加websockets>=11.0
Johnserf-Seed Jun 17, 2024
a4ba641
perf: 更新配置与模型的ua参数
Johnserf-Seed Jun 17, 2024
c548de2
perf: 更新ClientConfManager客户端配置获取
Johnserf-Seed Jun 17, 2024
3eed3d5
perf: 取消tiktok接口数据过滤器对bool的预处理
Johnserf-Seed Jun 17, 2024
dca6cb9
feat: 添加tiktok直播间开播状态接口
Johnserf-Seed Jun 17, 2024
6aa9971
feat: 添加tiktok直播间开播状态接口模型
Johnserf-Seed Jun 17, 2024
7f6ff89
feat: 添加tiktok直播间开播状态爬虫
Johnserf-Seed Jun 17, 2024
97ce3f6
feat: 添加tiktok直播间开播状态接口数据过滤器
Johnserf-Seed Jun 17, 2024
c024563
feat: 添加tiktok直播间开播状态方法
Johnserf-Seed Jun 17, 2024
b597462
feat: 添加tiktok直播间开播状态代码片段
Johnserf-Seed Jun 17, 2024
9b71aa9
perf: 对tiktok检查直播间状态方法的说明补充
Johnserf-Seed Jun 17, 2024
fa3c5f5
feat: readme添加tiktok直播间开播状态
Johnserf-Seed Jun 17, 2024
5ec7f01
perf: 完善i18n
Johnserf-Seed Jun 17, 2024
543d198
perf: 优化command不存在的输出
Johnserf-Seed Jun 17, 2024
75083a5
feat: 添加获取pypi包版本号的工具函数
Johnserf-Seed Jun 17, 2024
e7086dc
feat: 在运行前检查F2版本
Johnserf-Seed Jun 17, 2024
4c4628f
feat: 添加pypi包地址
Johnserf-Seed Jun 17, 2024
23bfa72
feat: 添加tiktok搜索关键词帮助
Johnserf-Seed Jun 17, 2024
51e2283
perf: 优化一些帮助信息的输出
Johnserf-Seed Jun 17, 2024
ce4cc42
perf: 完善get_latest_version工具函数
Johnserf-Seed Jun 17, 2024
5cf2928
feat: 添加douyin直播间弹幕wss接口
Johnserf-Seed Jun 17, 2024
e2c492e
perf: 更新douyin直播间wss接口域名
Johnserf-Seed Jun 23, 2024
0d1f288
workflow: 关闭自动导入,会变傻
Johnserf-Seed Jun 23, 2024
6a735ec
feat: 添加douyin工具JS库webmssdk.es5-1.0.0.53
Johnserf-Seed Jun 23, 2024
b41a12e
feat: 添加生成douyin直播间wss签名类
Johnserf-Seed Jun 23, 2024
a021467
feat: 添加WebSocket爬虫客户端
Johnserf-Seed Jun 23, 2024
652ce50
perf: 更新__aexit__方法
Johnserf-Seed Jun 23, 2024
54ae893
feat: 添加基础接口模型转url类方法
Johnserf-Seed Jun 23, 2024
0e907f1
feat: 添加douyin直播间wss签名管理器
Johnserf-Seed Jun 23, 2024
636e051
test: 添加douyin直播间wss签名测试用例
Johnserf-Seed Jun 23, 2024
3671d07
feat: 添加douyin直播间弹幕protobuf文件
Johnserf-Seed Jun 23, 2024
1c45f0b
feat: 添加douyin直播间弹幕接口模型
Johnserf-Seed Jun 23, 2024
59cb941
feat: 添加douyin直播间弹幕protobuf编译文件
Johnserf-Seed Jun 23, 2024
cfae5bf
feat: 添加douyin直播间弹幕爬虫及回调函数
Johnserf-Seed Jun 23, 2024
7e37722
feat: 添加douyin直播间弹幕处理方法
Johnserf-Seed Jun 23, 2024
71543ec
feat: 添加douyin直播间弹幕接口签名代码片段
Johnserf-Seed Jun 23, 2024
0d46884
feat: 添加douyin算法切换配置
Johnserf-Seed Jun 23, 2024
cf5cbaf
feat: 开源abogus(limit ua)
Johnserf-Seed Jun 23, 2024
9df30f5
feat: ClientConfManager添加douyin切换加密算法
Johnserf-Seed Jun 23, 2024
029a40d
feat: 添加douyin ab算法管理器
Johnserf-Seed Jun 23, 2024
3f517dd
test: 添加douyin ab算法测试用例
Johnserf-Seed Jun 23, 2024
9e15604
perf: 更新douyin搜索接口模型
Johnserf-Seed Jun 23, 2024
bd8a2f4
perf: 更新douyin爬虫切换加密算法
Johnserf-Seed Jun 23, 2024
085f98a
style: 注释与代码格式修改
Johnserf-Seed Jun 23, 2024
5a0b854
feat: 添加douyin ab算法代码片段
Johnserf-Seed Jun 23, 2024
961957d
feat: 添加douyin直播间弹幕代码片段
Johnserf-Seed Jun 23, 2024
3b2c38e
feat: 添加weibo模式列表
Johnserf-Seed Jun 23, 2024
e73cb7c
feat: 添加weibo接口
Johnserf-Seed Jun 23, 2024
d6c4a47
feat: 添加微博爬虫
Johnserf-Seed Jun 23, 2024
a6e4537
feat: 添加weibo接口数据过滤器
Johnserf-Seed Jun 23, 2024
45a7a2b
feat: 添加weibo数据库模型
Johnserf-Seed Jun 23, 2024
c2eb42d
feat: 添加weibo命令行支持
Johnserf-Seed Jun 23, 2024
a80811c
feat: 添加weibo下载器
Johnserf-Seed Jun 23, 2024
58de78f
feat: 添加weibo接口模型
Johnserf-Seed Jun 23, 2024
1bcacc8
feat: 添加weibo处理方法
Johnserf-Seed Jun 23, 2024
eebbe31
feat: 添加weibo工具库
Johnserf-Seed Jun 23, 2024
c63e4e2
test: 添加weibo测试用例
Johnserf-Seed Jun 23, 2024
4ce34fc
feat: 添加weibo conf.yaml配置文件
Johnserf-Seed Jun 23, 2024
c451431
perf: 更新weibo测试配置文件
Johnserf-Seed Jun 23, 2024
4b23b10
perf: 更新weibo app.yaml配置文件
Johnserf-Seed Jun 23, 2024
af7cf82
feat: 添加x模式列表
Johnserf-Seed Jun 23, 2024
0460e7d
feat: 添加weibo用户信息代码片段
Johnserf-Seed Jun 23, 2024
bb6bd79
feat: 添加weibo数据代码片段
Johnserf-Seed Jun 23, 2024
7e17835
feat: 添加x应用配置
Johnserf-Seed Jun 23, 2024
a248b41
Update CHANGELOG.md
Johnserf-Seed Jun 23, 2024
1b93395
perf: 更新ua参数
Johnserf-Seed Jun 26, 2024
d59c08e
docs: 更新douyin代码片段
Johnserf-Seed Jun 26, 2024
6cad327
perf: 更新douyin handler注释
Johnserf-Seed Jun 26, 2024
9e1b43b
perf: 更新douyin 直播签名管理器自定义ua
Johnserf-Seed Jun 26, 2024
d331928
perf: 更新tiktok handler方法名
Johnserf-Seed Jun 26, 2024
4b87826
docs: 更新douyin 开发者文档
Johnserf-Seed Jun 26, 2024
b88b375
docs: 添加x的开发者文档
Johnserf-Seed Jun 26, 2024
0dc3a9e
docs: 添加weibo的开发者文档
Johnserf-Seed Jun 26, 2024
b1e4709
docs: 更新tiktok代码片段
Johnserf-Seed Jun 26, 2024
2061c63
style: 注释与代码格式修改
Johnserf-Seed Jun 26, 2024
bd0860b
docs: 更新tiktok开发者文档
Johnserf-Seed Jun 26, 2024
a8ad2a6
perf: 不使用sys退出
Johnserf-Seed Jun 26, 2024
295d852
feat: 添加x的api接口
Johnserf-Seed Jun 26, 2024
12e5556
feat: 添加x的命令行
Johnserf-Seed Jun 27, 2024
e7e8403
feat: 添加x的爬虫
Johnserf-Seed Jun 27, 2024
ad7b43d
feat: 添加x的orm
Johnserf-Seed Jun 27, 2024
e041f28
feat: 添加x下载器
Johnserf-Seed Jun 27, 2024
b05b61e
feat: 添加x的数据过滤器
Johnserf-Seed Jun 27, 2024
023b4d5
feat: 添加x处理方法
Johnserf-Seed Jun 27, 2024
409785a
feat: 添加x接口数据模型
Johnserf-Seed Jun 27, 2024
4062fe0
test: 添加x继承测试
Johnserf-Seed Jun 27, 2024
fbdb47c
docs: 更新douyin文档
Johnserf-Seed Jun 27, 2024
3d81eaf
docs: 更新tiktok文档
Johnserf-Seed Jun 27, 2024
863c045
feat: 添加x工具类
Johnserf-Seed Jun 27, 2024
58e7cf7
perf: 更新tiktok设备id参数
Johnserf-Seed Jun 27, 2024
859120c
feat: 添加x配置文件
Johnserf-Seed Jun 27, 2024
2565c77
test: 添加pytest配置
Johnserf-Seed Jun 27, 2024
e5dbd35
build: 添加依赖
Johnserf-Seed Jun 27, 2024
5c06f74
Update CHANGELOG.md
Johnserf-Seed Jun 27, 2024
b7007f3
feat: 添加weibo默认配置
Johnserf-Seed Jun 27, 2024
3f5905a
docs: 添加tiktok 403错误的解决办法
Johnserf-Seed Jun 27, 2024
72c99b5
perf: 调整mix为合集
Johnserf-Seed Jun 27, 2024
069b72f
feat: 添加x的默认配置
Johnserf-Seed Jun 27, 2024
ba16e2d
perf: 更新测试配置文件
Johnserf-Seed Jun 27, 2024
116fccd
build: 更新sm3算法库
Johnserf-Seed Jun 27, 2024
1075389
fix: 修复同步客户端的关闭方法
Johnserf-Seed Jun 27, 2024
22719ac
test: 更新tiktok设备id注册测试断言长度
Johnserf-Seed Jun 27, 2024
139c6df
perf: 默认置空防止httpx无法读取headers
Johnserf-Seed Jun 27, 2024
7abd4ac
perf: 删除tiktok设备id注册测试cookie断言
Johnserf-Seed Jun 27, 2024
e1b86c9
perf: 移除暂不支持的cli命令
Johnserf-Seed Jun 27, 2024
5eb0081
docs: 添加应用的命令行指引
Johnserf-Seed Jun 27, 2024
e935280
feat: 添加x帮助说明
Johnserf-Seed Jun 27, 2024
edd6f52
feat: 添加weibo帮助说明
Johnserf-Seed Jun 27, 2024
3570d10
perf: 更新本地化翻译
Johnserf-Seed Jun 27, 2024
82a5a47
perf: 更新readme
Johnserf-Seed Jun 27, 2024
87d842f
release: v0.0.1.6-pw2
Johnserf-Seed Jun 27, 2024
772579c
fix: 修复douyin接口更新导致的过滤器失效
Johnserf-Seed Jun 27, 2024
cb58ffc
perf: 更新中文翻译
Johnserf-Seed Jun 27, 2024
a0b0c70
feat: 添加赞助商ad
Johnserf-Seed Jun 28, 2024
467b49f
Update CHANGELOG.md
Johnserf-Seed Jun 28, 2024
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 8 additions & 0 deletions .github/workflows/Codecov.yml
Original file line number Diff line number Diff line change
Expand Up @@ -19,12 +19,20 @@ jobs:
pip install pytest-cov
pip install -e .

- name: Print environment variable
run: echo $SKIP_IN_CI
env:
SKIP_IN_CI: ${{ secrets.SKIP_IN_CI }}

- name: Run tests and collect coverage
env:
SKIP_IN_CI: ${{ secrets.SKIP_IN_CI }}
run: pytest --cov=./ --cov-report=xml

- name: Run ATS
uses: codecov/codecov-ats@v0
env:
SKIP_IN_CI: ${{ secrets.SKIP_IN_CI }} # 从GitHub Secrets中获取环境变量
CODECOV_STATIC_TOKEN: ${{ secrets.CODECOV_STATIC_TOKEN }}
CODECOV_TOKEN: ${{ secrets.CODECOV_TOKEN }}

Expand Down
31 changes: 31 additions & 0 deletions .vscode/launch.json
Original file line number Diff line number Diff line change
@@ -0,0 +1,31 @@
{
// 使用 IntelliSense 了解相关属性。
// 悬停以查看现有属性的描述。
// 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Black 格式化代码",
"type": "debugpy",
"request": "launch",
"module": "black",
"args": [
"${input:pythonPath}",
"--exclude",
"venv/*",
],
"env": {
"PYTHONDEVMODE": "1",
"PYDEVD_DISABLE_FILE_VALIDATION": "1"
}
}
],
"inputs": [
{
"id": "pythonPath",
"type": "promptString",
"description": "输入需要格式化的目录",
"default": "**/*.py"
}
]
}
3 changes: 2 additions & 1 deletion .vscode/settings.json
Original file line number Diff line number Diff line change
Expand Up @@ -4,5 +4,6 @@
],
"python.testing.unittestEnabled": false,
"python.testing.pytestEnabled": true,
"python.analysis.typeCheckingMode": "off"
"python.analysis.typeCheckingMode": "off",
"python.analysis.autoImportCompletions": false
}
107 changes: 106 additions & 1 deletion CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,112 @@

## [Unreleased]

- `0.0.1.6`版本中添加对`weibo`,`x`的支持
- `0.0.1.7`版本中将会添加接口本地转发的支持,添加更多`douyin`,`tiktok`,`weibo`和`x`的接口。


## [0.0.1.6] - 2024-05-04

### Added

- 添加`weibo`应用
- 添加`abogus(limit ua)`加密
- 添加`douyin`加密算法切换配置
- 添加基础接口模型转url类
- 添加`WebSocket`爬虫客户端
- 添加`douyin`直播wss签名管理器
- 添加`douyin`直播wss签名生成类
- 添加`douyin`工具JS库`webmssdk.es5-1.0.0.53`
- 添加`douyin`直播间弹幕wss接口
- 添加`F2`版本检测
- 添加`tiktok`直播间开播状态
- 添加`PyExecJS==1.5.1`依赖
- 添加`protobuf==4.23.0`依赖
- 添加`websockets>=11.0`依赖
- 添加`tiktok`的`device_id注册`与`cookie`管理类
- 添加`douyin`生成`webid`配置
- 添加`douyin`关注用户直播
- 添加`douyin`,`tiktok`模型配置
- 添加`conf.yaml`配置版本号
- 添加`tiktok`集成测试
- 添加`traceback`输出
- 添加`douyin`短剧作品
- 添加同步客户端的同步`transport`
- 添加同步客户端
- 添加`douyin`直播弹幕初始化
- 添加`douyin`合集`mix_id`获取方法
- 添加`douyin`查询用户
- 添加时间戳转换的默认时区设置(`UTC/GMT+08:00`)
- 添加`ClientConfManager`为每个应用提供方便的配置读取
- 添加`uniqueId`查询`tiktok`的`user_db`
- 添加获取`segments`的`duration`列表方法
- 添加应用运行模式的输出
- 新增`tiktok`作品搜索
- 新增`tiktok`用户直播
- 添加反转义`JSON`方法
- 新增`douyin`相关推荐
- 新增`douyin`好友作品

### Changed

- 更新`__aexit__`方法
- 更新`douyin`加密算法代码片段
- 更新`weibo`测试用例
- 优化命令不存在的输出
- 取消接口数据过滤器对`bool`的预处理
- 调整停止异步任务信号
- 更新`douyin`的`xbogus`调用
- 为装饰器文件重命名
- 更新获取`Content-Length`的方法
- 防止`douyin`直播结束时下载崩溃
- 更新`BaseCrawler`类处理`httpx`即将弃用`proxies`参数
- 更新`tiktok`的`msToken`配置
- 修复`ClientConfManager`参数
- 更新了所有应用配置
- 重构了所有工具类方法
- 更新`base_downloader`的区块下载参数
- 修改`douyin`生成的`ttwid`将绑定`ua`
- 修改`tiktok`用户直播下载流地址
- 修改`douyin`,`tiktok`获取用户信息方法名
- 完善时间戳转换类型,支持30位
- 修改应用的代理配置名(`http: https: -> http://: https://:`)
- 更新`xb`算法示例部分
- 更新`base_crawler`异常捕获与输出
- 更新应用初始化配置文件后退出 (#70)
- 更新应用使用`--auto-cookie`命令后退出
- 更新`douyin`过滤器,将`video_play_addr`返回完整视频列表便于下载失败轮替
- 更改`douyin`图集文件名(`jpg -> webp`)
- 更改应用直播下载文件名(`mp4 -> flv`)
- 更新应用工具类网络错误捕获

### Deprecated

- 弃用`douyin`SSO扫码登录
- 类`BaseModel`中的`dict`方法已弃用(`pydantic>=2.6.4`)
- 类`datetime`中的`utcnow`方法已弃用
- 弃用`douyin`,`tiktok`获取用户名方法

### Removed

- 删除`tiktok`基础请求模型的无用参数
- 删除`f2\utils\utils.py`无效导入

### Fixed

- 修复`douyin`接口更新导致的错误 #104
- 修复`_dl`日志输出
- 修复`douyin`下载合集时合集链接无法识别的情况
- 修复`tiktok`下载播放列表(合集)的错误
- 修复`m3u8`流下载时会重复下载`ts`片段的问题
- 修复`m3u8`流获取`content_length`时没有提供代理参数造成的访问失败
- 修复`douyin`,`tiktok`因提前引发异常导致无法生成虚假的msToken

### Security

- 更新`pytest`版本到`8.2.1`
- 更新`pydantic`版本到`2.6.4`
- 更新`httpx`版本到`0.27.0`
- 更新`aiosqlite`版本到`0.20.0`


## [0.0.1.5] - 2024-04-04

Expand Down
Loading
Loading