Skip to content

Latest commit

 

History

History
50 lines (42 loc) · 1.89 KB

README.md

File metadata and controls

50 lines (42 loc) · 1.89 KB

bilibili mad crawler

rename to bilibili-partition-crawler?

bilibili 分区视频的爬虫设计与实现。| A crawler design and implementation for bilibili partition video。

爬虫

  • 《论爬虫演员的自我修养》
  • 爬虫时间成本分析
  • bilibili MAD api分析:分页搜索和热度搜索
  • chrome 请求分析
  • 强悍的恢复能力:爬虫进度上下文的保存,随时中断和恢复
  • 数据库事务分析,
    • 鸵鸟算法:忽略重复插入,不进行rollback
    • 事务:mongodb 需要开启replica set才能支持。
  • 多线程并行请求的分析
    • 使用初始化-标记法。
  • HTTP请求异常(超时,或者错误)的重试机制
  • TCP 连接池 by request.Session()
  • 衍生教程,讲述爬虫的设计和原理分析(notes/)
  • 爬虫机制
    • 单线程-按页(仅供学习参考,爬取效率很低)
    • 单线程-按日期(不会被实现)
    • 多线程-按页
    • 多线程-按日期

统计

  • 年度MAD总投稿量 => number
  • 年度MADer总数 => number
  • 年度MAD投稿数量分段区间 => result {}
  • 年度MAD日均投稿数 => number
  • 年度每个月的MAD投稿数量 => result {}
  • 年度MAD投稿数最高的up TOP 20 => result[]
  • 年度MAD稿件播放量TOP 20 => result[]
  • 年度MAD稿件弹幕数TOP 20 => result[]
  • 年度MAD稿件评论数TOP 20 => result[]
  • 年度MAD稿件收藏数TOP 20 => result[]
  • 年度MAD稿件硬币数TOP 20 => result[]
  • 年度MAD稿件分享数TOP 20 => result[]
  • 年度MAD稿件点赞数TOP 20 => result[]
  • 年度MAD原创投稿数/占比 => number,number
  • 年度MAD转载投稿数/占比 => number,number
  • 年度MAD联合投稿数 => number

数据挖掘

  • 年度MAD投稿最具潜力的新up TOP 20: result[]
  • 年度MAD的BGM排行