- 首先在微博开发者平台注册登录,并申请,申请流程点这里。
- 获取到开发者接口的App Key及App Secret(无需开发者认证及高级接口申请)
- 在应用接口管理页面的
应用信息>高级信息>OAuth2.0 授权设置
中的授权回调页
填写http://api.weibo.com/oauth2/default.html
- 获取
accessoken
:
将得到的App Key及App Secret值填入本程序./weiboApi/weiboApi.py
中对应的值,运行后将自动打开浏览器的微博OAuth2.0
页面,在url中,包含一个code=*****
,复制code值,回到本程序,将code的值填入程序运行后的输入栏,运行后输出accesstoken
- 根据开发者文档的评论接口页面的接口说明,使用获得的accesstoken及相关微博文章的ID构造API链接,访问,并复制cookie,将
./start.py
中链接及cookie替换。 - 执行
pip3 install -r requirements.txt
安装引用到的库,或直接安装Anaconda - 运行
./start.py
,数据会自动格式化并保存至./outPut/评论.csv
- 创建项目
- 分析微博手机端H5页面,得到地址爬取评论
- 太难了,地址得手动获取,每页50条,且反扒机制TQL!
- 申请了微博API
- 添加了通过AppKey及AppSecret获取access_token的程序(./weiboAPI):olwolf/sinaweibopy3
- 根据开发者文档构建获取评论的链接
https://api.weibo.com/2/comments/show.json?access_token=[your_access_token]&id=[微博的ID]&count=[1~200]200&page=1
- 更新README.md,增加运行过程说明
- 爬取香港相关微博的评论,数据保存为
./outPut/getInfo.json
及评论内容./outPut/评论.csv