- 创建crawler.yml 格式为
crawler:
cookie: 填入你的cookie
userAgent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36
firstUrl: /dashboard/xx/xxx //第一页
maxPage: 101
-
第一次firstUrl获取方法，打开tumblr首页，打开开发者工具 找到request 为 https://www.tumblr.com/svc/dashboard/x/xxxx?nextAdPos=2&stream_cursor.....的URL 复制其中的/dashboard/x/xxxx即为第一次url
-
同上 复制request中的cookie
-
maxPage为本次程序运行的最大页数，并将保存结束时的下次 firstURL，方便再次运行
-
运行main.js