课程简介
通过 详尽的实例, 带领学员学习python爬取相关的知识. 通过workshop的形式, 以实践的方式让学员上手python爬取项目. 同时关注新的爬取技术, 高并发与分布式, 机器学习等技术, 并灌输以敏捷开发, 持续集成的思想, 全面提升学院的战斗力.
目标收益
a) 熟悉python的使用
b) 了解现有python爬取框架的使用
c) 培养解决问题能力,通过workshop的形式,完成python爬取项目
d) 敏捷开发,持续集成思想的灌输
培训对象
a) 在校大学生
b) 刚实用python进入职场的小白学员
c) 从业三五年且对python爬取依然有兴趣pythoner
课程大纲
| python开发基础 |
1.1 python介绍 1.1.1 python的起源 1.1.2 python介绍 1.2 基础语法 1.2.1 选择,条件控制语句 1.2.2 内置类型 1.2.3 函数与类 1.2.4 异常捕获 1.3 进阶语法 1.3.1 链表解析 1.3.2 with语句 1.3.2 装饰器 1.3.3 异步语法 1.4 高效开发 1.4.1 开发环境的搭建 1.4.2 pycharm, vim, vscode等的使用与快捷键 1.4.3 版本管理, 虚拟环境管理 1.4.4 git使用 |
| 爬虫开发入门 |
2.1 何为爬虫 2.1.1 爬虫的定义与用途 2.1.2 爬虫的几个部分: 爬取，存储, 分析，通告，展示 2.2 搭建测试站点 2.2.1 html, css, js基础 2.2.2 flask基础 2.3 爬虫起步 2.3.1 urlib使用 2.3.2 requests使用 2.3.3 beautifulsoup使用 2.3.4 文件读写 |
| 爬虫进阶 |
3.1 主流python框架介绍 3.1.1 scrapy的使用 3.1.2 selenium的使用 3.2 使用数据库来存储 3.2.1 postgres介绍 3.2.2 redis介绍 3.2.3 elasticsearch介绍 3.3 高性能与分布式 3.3.1 python的并发与并行 3.3.2 多进程,多线程,多协程 3.3.3 消息队列 3.3.4 docker 3.4 其它相关 3.4.1 邮件发送 3.4.2 数据分析 3.4.3 数据展示 |
| 爬虫实战 | 以workershop的形式,带领学员,利用学到的知识,完成一个或多个(视时间而定)python爬取项目 |
| 爬取展望 | 新的方式与方法: 介绍新的的有意思的爬取方式,如使用chrome的headless模式进行爬取, 使用及其学习的方式识别图片中的内容等 |
|
python开发基础 1.1 python介绍 1.1.1 python的起源 1.1.2 python介绍 1.2 基础语法 1.2.1 选择,条件控制语句 1.2.2 内置类型 1.2.3 函数与类 1.2.4 异常捕获 1.3 进阶语法 1.3.1 链表解析 1.3.2 with语句 1.3.2 装饰器 1.3.3 异步语法 1.4 高效开发 1.4.1 开发环境的搭建 1.4.2 pycharm, vim, vscode等的使用与快捷键 1.4.3 版本管理, 虚拟环境管理 1.4.4 git使用 |
|
爬虫开发入门 2.1 何为爬虫 2.1.1 爬虫的定义与用途 2.1.2 爬虫的几个部分: 爬取，存储, 分析，通告，展示 2.2 搭建测试站点 2.2.1 html, css, js基础 2.2.2 flask基础 2.3 爬虫起步 2.3.1 urlib使用 2.3.2 requests使用 2.3.3 beautifulsoup使用 2.3.4 文件读写 |
|
爬虫进阶 3.1 主流python框架介绍 3.1.1 scrapy的使用 3.1.2 selenium的使用 3.2 使用数据库来存储 3.2.1 postgres介绍 3.2.2 redis介绍 3.2.3 elasticsearch介绍 3.3 高性能与分布式 3.3.1 python的并发与并行 3.3.2 多进程,多线程,多协程 3.3.3 消息队列 3.3.4 docker 3.4 其它相关 3.4.1 邮件发送 3.4.2 数据分析 3.4.3 数据展示 |
|
爬虫实战 以workershop的形式,带领学员,利用学到的知识,完成一个或多个(视时间而定)python爬取项目 |
|
爬取展望 新的方式与方法: 介绍新的的有意思的爬取方式,如使用chrome的headless模式进行爬取, 使用及其学习的方式识别图片中的内容等 |
近期公开课推荐