零基础学员必看的python课程大纲

Python是一种面向对象的解释型计算机程序设计语言，纯粹的自由软件，适合没有编程基础的学员，其常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。想要学python首先你要知道都学哪些内容！

　　python课程大纲分为四个部分pythom爬虫入门、Python爬虫之Scrapy框架、Python爬虫进阶操作、分布式爬虫及实训项目。

　　第一部分：Python 爬虫入门
　　（1）什么是爬虫
　　网址构成和翻页机制
　　网页源码结构及网页请求过程
　　爬虫的应用及基本原理

　　（2）初识Python爬虫
　　Python爬虫环境搭建
　　创建第一个爬虫：爬取百度首页
　　爬虫三步骤：获取数据、解析数据、保存数据

　　（3）使用Requests爬取豆瓣短评
　　Requests的安装和基本用法
　　用Requests?爬取豆瓣短评信息
　　一定要知道的爬虫协议

　　（4）使用Xpath解析豆瓣短评
　　解析神器Xpath的安装及介绍
　　Xpath的使用：浏览器复制和手写
　　实战：用?Xpath?解析豆瓣短评信息

　　（5）使用Pandas保存豆瓣短评数据
　　pandas?的基本用法介绍
　　pandas文件保存、数据处理
　　实战：使用pandas保存豆瓣短评数据

　　（6）浏览器抓包及headers设置
　　爬虫的一般思路：抓取、解析、存储
　　浏览器抓包获取Ajax加载的数据
　　设置headers?突破反爬虫限制
　　实战：爬取知乎用户数据

　　（7）数据入库之MongoDB
　　MongoDB及RoboMongo的安装和使用
　　设置等待时间和修改信息头
　　实战：爬取拉勾职位数据
　　将数据存储在MongoDB中
　　补充实战：爬取微博移动端数据

　　8、Selenium爬取动态网页
　　动态网页爬取神器Selenium搭建与使用
　　分析淘宝商品页面动态信息
　　实战：用Selenium?爬取淘宝网页信息

　　第二部分：Python爬虫之Scrapy框架

　　（1）爬虫工程化及Scrapy框架初窥
　　html、css、js、数据库、http协议
　　Scrapy调度器、下载中间件、项目管道等
　　常用爬虫工具：数据库、抓包工具等

　　（2）Scrapy安装及基本使用
　　Scrapy安装
　　Scrapy的基本方法和属性
　　开始第一个Scrapy项目

　　（3）Scrapy选择器的用法
　　常用选择器：css、xpath、re、pyquery
　　css、xpath的使用方法
　　re的使用方法
　　pyquery的使用方法

　　（4）Scrapy的项目管道
　　Item Pipeline的主要函数
　　实战举例：将数据写入文件
　　实战举例：在管道里过滤数据

　　（5）Scrapy的中间件
　　下载中间件和蜘蛛中间件
　　下载中间件的三大函数
　　系统默认提供的中间件

　　（6）Scrapy的Request和Response详解
　　Request对象基础参数和高级参数
　　Response对象参数和方法
　　Response对象方法的综合利用详解

　　第三章：Python爬虫进阶操作

　　（1）网络进阶之谷歌浏览器抓包分析
　　http请求详细分析
　　网络面板结构
　　过滤请求的关键字方法
　　复制、保存和清除网络信息
　　查看资源发起者和依赖关系

　　（2）数据入库之去重与数据库
　　如何进行数据去重
　　MongoDB数据入库

　　第四章：分布式爬虫及实训项目

　　（1）大规模并发采集——分布式爬虫的编写
　　Scrapy分布式爬取原理
　　Scrapy-Redis的使用
　　Scrapy分布式部署详解

　　（2）实训项目（一）——58同城二手房监控
　　58同城抓取流程分析
　　网站抓取代码块示例，搭建工程框架
　　各流程详细操作及代码实现

　　（3）实训项目（二）——去哪儿网模拟登陆
　　模拟登陆的原理及实现方式
　　cookie及session
　　去哪儿模拟登陆问题思考及方案准备
　　流程拆解及具体代码实现

　　（4）实训项目（三）——京东商品数据抓取
　　Spider类和CrawlSpider类
　　京东商品信息抓取分析，确定方案流程
　　抓取详细操作及代码实现