#programmableweb spider

##Installation: 近日，API通用资源网站ProgrammableWeb宣布，该网站目录中的API已突破5,000大关，并预言最终所有公司都将拥有自己的API，其中甚至还包括政府官网。 信息来源时间：2012-02-07

依赖包:

• scrapy 安装 pip install scrapy
• MySQLdb 安装 pip install MySQL-python

Now 2015.1 ##Usage: scrapy crawl [spider_name]

因为ProgrammableWeb网站好像并没有反爬虫限制，所以应该会爬得比较顺利。

##problems: 之前的版本这几天重新拿出来跑的时候发现一开始的入口url不对，可能是pw网站存在定时更新api的情况，网站所提供的api信息的url有所变化，需要再次修改。

v0.1 Second release of pw 2016 Mar