毕业设计的爬虫实现

实现

所用框架为python+scrapy，前期使用的测试平台为这个(需要注册)，之后打算在本地跑，存入MySQL数据库中，方便进行数据分析。

关于middlewares（中间件）的使用

pipelines.py的定义

mysql数据库实现异步存储

使用

以后再说。

• 如果需要在网上平台进行测试，需要在 scrapy.cfg 同一目录，使用 shub deploy 命令

This is scrapy中文教程.

目前的问题

• 在本地跑的时候仍然会出现跑200多次就被被禁ip的情况。

• 年前（2015）爬取airbnb好像user-agent不做修改并没有问题，年后直接被封，已经将源码的downloadmiddleware中修改useragent的插件进行修改，可以顺利爬取。

• 想在后续加入代理池进行尝试

• 控制爬取速率，时间，看能不能分时进行爬取