note on spider learning project
一、/doubanmovie:爬取豆瓣上电影相关信息
- movie_tag_dict() 存入爬虫字典-标签
- do_spider() 爬虫处理方法
- main_spider() 根据标签进行抓取数据
- movie_spider() 根据电影的id获取电影详细信息
- save_as_Excel() 保存结果到excel
二、/music163:爬取网易云音乐相关信息
- /music163.py入口文件 一个目录下的一个分类爬取大约需要1hour 整个大约需要15*28hour
- /artists.py根据根据歌曲分类、歌手分类 查询所有歌手信息-artist_id
- /albums.py根据歌手id查询专辑信息-album_id
- /musics.py根据专辑中的专辑id查询歌曲信息-music_id
- /comments.py根据歌曲id查询评论信息
- /mysql.py 用户pymysql（pip install pymysql）连接数据库
三、/chunsheng:智能日程提醒和聊天工具
程序的主要思想来自网友的开源项目：shengqiangzhang/examples-of-web-crawlers/4.每天不同时间段通过微信发消息提醒女友/ 然后经过改造，在早安提醒中加入天气、当前周几、早安问候，排班信息（她的上班周期为四天）等内容；设置特定时间智能聊天机器人（主要使用的是图灵免费机器人） 使用方法：安装依赖包，Windows下当前目录运行chunsheng.exe，微信扫码登录即可。 也可以在当前目录使用 pyinstaller -F chunsheng.py 打包此程序
（/chunsheng.py）
- get_message() 获取每日励志精句英文
- get_week_day(date) 获取当前是周几
- get_weather(py_name="china") 获取当前城市的天气默认是上海
- remind_schedule(now_week, scheduling_message) 周几提醒 now_week 排班提醒 scheduling_message 天气提醒 get_weather() 早安问候语 choice(str_list_good_jitang)
- holiday_greetings(now_time) 节日问候语
- time_reminder(now_time, now_week, scheduling_message) 每日早中晚睡前随机提醒语
- scheduling_reminder(delta_time) 设置上班开始日期 如：2019-5-19，则2019-5-20为白班，2019-5-21为夜班，2019-5-22、2019-5-23为休息日，四天一个轮回，设置为2099时取消设置
- start_care() 线程调用的主程序
- print_others(msg) 设置每天0点到6点智能聊天机器人
- get_content(py_name="china") 获取中国所有省份的天气数据 xml
- get_data(xml_data, flag=True) 获取中国所有省份及市区的天气数据
里面都是一些问候语
（/config.ini）
程序的主要配置