Skip to content

微博数据采集,微博爬虫,微博网页解析,完整代码(主体内容+评论内容)

Notifications You must be signed in to change notification settings

SellWatermelonMan/WeiBoCrawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

介绍

该项目用来爬取 微博平台 数据

环境

  • python>=3.8
  • pandas>=2.0.3
  • parsel>=1.9.1
  • Requests>=2.32.3
  • rich>=13.7.1

功能

获取主题内容

q = "#姜萍中考621分却上中专的原因#"  # 话题
kind = "综合"  # 综合,实时,热门,高级
cookie = "" # 输入cookie
wbparser = WBParser(cookie)
wbparser.get_main_body(q, kind)

获取一级评论

q = "#姜萍中考621分却上中专的原因#"  # 话题
kind = "综合"  # 综合,实时,热门,高级
cookie = "" # 输入cookie
wbparser = WBParser(cookie)
wbparser.get_comments_level_one()

获取二级评论

q = "#姜萍中考621分却上中专的原因#"  # 话题
kind = "综合"  # 综合,实时,热门,高级
cookie = "" # 输入cookie
wbparser = WBParser(cookie)
wbparser.get_comments_level_two()

使用

安装依赖

pip install -r requirements.txt

设置

话题

话题需要用两个 ## 间隔,例子如下

#姜萍中考621分却上中专的原因#

类型

类型有 综合,实时,热门,高级 四种方式,对应微博的四种检索方式

cookie

cookie 的 获取方式如下

获取cookie

运行

python main.py

About

微博数据采集,微博爬虫,微博网页解析,完整代码(主体内容+评论内容)

Topics

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages