Python培訓

階段一：Python基礎知識和高級特性

階段名稱	技術名稱	技術內容	學習目標
Python 基礎階段	Python 語法基礎	1)基礎數據類型 2)變量本質 3)簡單函數 4)輸入輸出函數 5)局部變量和全局變量 6)算術表達式 7)邏輯表達式 8)關系表達式 9)位運算 10)語法格式 11)分支語句 12)循環語句 13)break 14)continue 15)list列表-增刪改查截取操作 16)tuple元祖-查和截取操作 17)dictionary字典-增刪改查操作 18)函數高級 19)函數的參數詳解 20)函數調用關系 21)按值傳遞參數和按引用傳遞參數 22)匿名函數 23)return語句 24)變量作用域 25)數字類型轉換 26)數學函數 27)內建range函數 28)隨機數函數	可掌握的核心能力： 1. 掌握Python基礎編程語法 2. 建立起編程思維和面向對象思想 3. 掌握常用的設計模式 4. 掌握常見的排序算法學習的目的：這階段目的很明顯，帶領大家進入Python的世界，為了完成后面的項目，讓大家打好一個Python的基礎可解決的現實問題及價值所在： Python基礎語法的掌握 1. Python基礎語法的掌握是必備技能，認識到了Python語言的優雅，即使你之前用過其他開發語言，也會轉到Python的行列中 2. 掌握字符串的解析 3. 未來你會意識到各種各樣的程序直接就是把字符串傳來傳去，包括海量日志分析，日志即字符串，所以字符串操作就是未來做項目的基礎對文件的操作 4. Linux中一切皆文件，對文件的操作掌握了那么你會發現在此時你有能力將之前的Linux中的Shell腳本改寫成Python腳本，至于為啥要改寫？腳本更加簡潔、易讀嘛！ 5. 掌握面向對象的思想 6. 面向對象思想對于開發程序員來說，不管未來你選擇做哪一方面，使用什么語言開發，都是必須要掌握的，對于一個開發企業級的持續可擴展的項目至關重要 7. 掌握常見設計模式和排序算法 8. 設計模式的掌握可以讓你的項目變得更好維護，是一種經驗的總結，排序算法很多種，項目經常會有取TopN的需求，所以常見設計模式和算法排序面試官們很喜歡問，也是為后面的項目打好一個扎實的基礎
Python 字符串解析	1)Python訪問字符串中的值 2)Python字符串更新 3)Python字符串運算符 4)Python字符串格式化
Python 時間和日歷	1)時間和日期 2)獲取格式化的時間 3)獲取某月日歷 4)Time模塊的內置函數 5)日歷（Calendar）模塊
Python 文件操作	1)終端輸入和輸出 2)打開和關閉文件 3)File對象的屬性 4)close()方法 5)write()方法 6)read()方法 7)seek()方法 8)重命名和刪除文件 9)Python里的目錄 10)chdir()方法 11)getcwd()方法 12)rmdir()方法 13)文件、目錄相關的方法 14)Linux和Windows平臺下的差異性
Python 面向對象	1)面向對象思想 2)類和對象 3)類的繼承 4)多態 5)類屬性和實例屬性 6)靜態方法和類方法
并發編程	1)并發技術介紹 2)多線程并發技術相關接口 3)線程同步與互斥鎖死鎖介紹 4)多進程并發技術 5)進程間通信 6)進程池概念及應用協程并發協程greenlet、gevent 7)常用異步IO庫原理與使用
函數式編程	1)高價函數 2)柯里化 3)閉包 4)匿名函數 5)生成器 6)迭代器 7)Itertools 8)組合生成器等
正則表達式	1)正則表達式理論知識 2)正則表達式語法規則 3)re模塊的使用
設計模式	1)工廠模式 2)單例模式等
排序算法	1)冒泡排序 2)快速排序 3)堆排序等
異常	1)異常作用 2)捕獲異常 3)異常的傳遞 4)拋出自定義異常 5)嵌套處理異常
模塊	1)模塊制作 2)模塊發布 3)模塊安裝 4)模塊使用 5)import 語句 6)from…import 語句 7)from…import* 語句
學以致用	我們來做一個傳統的飛機大戰，讓大家把Python基礎貫穿起來，可以舉一反三地開發自己的游戲關卡

階段名稱

技術名稱

技術內容

學習目標

Python
基礎階段

Python
語法基礎

1)基礎數據類型 2)變量本質 3)簡單函數 4)輸入輸出函數 5)局部變量和全局變量 6)算術表達式 7)邏輯表達式 8)關系表達式 9)位運算 10)語法格式 11)分支語句 12)循環語句 13)break 14)continue 15)list列表-增刪改查截取操作 16)tuple元祖-查和截取操作 17)dictionary字典-增刪改查操作 18)函數高級 19)函數的參數詳解 20)函數調用關系 21)按值傳遞參數和按引用傳遞參數 22)匿名函數 23)return語句 24)變量作用域 25)數字類型轉換 26)數學函數 27)內建range函數 28)隨機數函數

可掌握的核心能力：

1. 掌握Python基礎編程語法
2. 建立起編程思維和面向對象思想
3. 掌握常用的設計模式
4. 掌握常見的排序算法

學習的目的：

這階段目的很明顯，帶領大家進入Python的世界，為了完成后面的項目，讓大家打好一個Python的基礎

可解決的現實問題及價值所在：

Python基礎語法的掌握
1. Python基礎語法的掌握是必備技能，認識到了Python語言的優雅，即使你之前用過其他開發語言，也會轉到Python的行列中
2. 掌握字符串的解析
3. 未來你會意識到各種各樣的程序直接就是把字符串傳來傳去，包括海量日志分析，日志即字符串，所以字符串操作就是未來做項目的基礎對文件的操作
4. Linux中一切皆文件，對文件的操作掌握了那么你會發現在此時你有能力將之前的Linux中的Shell腳本改寫成Python腳本，至于為啥要改寫？腳本更加簡潔、易讀嘛！
5. 掌握面向對象的思想
6. 面向對象思想對于開發程序員來說，不管未來你選擇做哪一方面，使用什么語言開發，都是必須要掌握的，對于一個開發企業級的持續可擴展的項目至關重要
7. 掌握常見設計模式和排序算法
8. 設計模式的掌握可以讓你的項目變得更好維護，是一種經驗的總結，排序算法很多種，項目經常會有取TopN的需求，所以常見設計模式和算法排序面試官們很喜歡問，也是為后面的項目打好一個扎實的基礎

Python
字符串解析

1)Python訪問字符串中的值 2)Python字符串更新 3)Python字符串運算符 4)Python字符串格式化

Python
時間和日歷

1)時間和日期 2)獲取格式化的時間 3)獲取某月日歷 4)Time模塊的內置函數 5)日歷（Calendar）模塊

Python
文件操作

1)終端輸入和輸出 2)打開和關閉文件 3)File對象的屬性 4)close()方法 5)write()方法 6)read()方法 7)seek()方法 8)重命名和刪除文件 9)Python里的目錄 10)chdir()方法 11)getcwd()方法 12)rmdir()方法 13)文件、目錄相關的方法 14)Linux和Windows平臺下的差異性

Python
面向對象

1)面向對象思想 2)類和對象 3)類的繼承 4)多態 5)類屬性和實例屬性 6)靜態方法和類方法

并發編程

1)并發技術介紹 2)多線程并發技術相關接口 3)線程同步與互斥鎖死鎖介紹 4)多進程并發技術 5)進程間通信

6)進程池概念及應用協程并發協程greenlet、gevent
7)常用異步IO庫原理與使用

函數式編程

1)高價函數 2)柯里化 3)閉包 4)匿名函數 5)生成器 6)迭代器 7)Itertools 8)組合生成器等

正則表達式

1)正則表達式理論知識 2)正則表達式語法規則 3)re模塊的使用

設計模式

1)工廠模式 2)單例模式等

排序算法

1)冒泡排序 2)快速排序 3)堆排序等

異常

1)異常作用 2)捕獲異常 3)異常的傳遞 4)拋出自定義異常 5)嵌套處理異常

模塊

1)模塊制作 2)模塊發布 3)模塊安裝 4)模塊使用 5)import 語句 6)from…import 語句 7)from…import* 語句

學以致用

我們來做一個傳統的飛機大戰，讓大家把Python基礎貫穿起來，可以舉一反三地開發自己的游戲關卡

階段二：Linux基礎

階段名稱	技術名稱	技術內容	學習目標
Linux 基礎	shell操作	1)文件和目錄 2)文件屬性修改命令 3)查找與檢索命令	可掌握的核心能力：掌握基本的Linux系統操作學習的目的：企業中不管是開發的Web項目，還是使用的SQL數據庫，以及部署的爬蟲，更不要說大數據，甚至是人工智能，無一例外的運行在Linux系統內，所以打好一個Linux基礎可謂是必備技能可解決的現實問題及價值所在： 1. 安裝虛擬機云計算的時代，你們未來在公司里用的服務器也很有可能是虛擬化技術虛擬出來的 2. 服務器中安裝Linux操作系統公司里新買來服務器，你很有可能就是要去安裝一個Linux操作系統 3. 對應Linux系統的管理維護公司很多員工使用Linux系統，怎么更好的對系統管理也是一個工程師要懂的，服務器里面運行一個系統，就像你有一個家，你得勤收拾吧！ 4. 掌握服務器遠程登陸和常用Linux命令接著上面的例子，就是收拾家也得有工具輔助不是嘛，常用Linux命令是日常工作和筆試經常會用的 5. Shell腳本的編寫 Shell腳本也是日常工作和筆試經常會使用的，原因顯而易見就是收拾家如果能自動化那你自己不也就解放出來可以干更重要的事情去了嘛
系統管理	1)磁盤管理 2)壓縮包管理 3)進程管理 4)用戶管理 5)網絡管理
	1)常用Linux命令 2)常用服務器ftp/ssh 3)編輯器 vi/vim 4)Awk、Sed 5)Shell的使用
常見Linux系統	1)CentOS軟件安裝與卸載 2)RedHat軟件安裝與卸載 3)Ubuntu軟件安裝與卸載
HDFS搭建	搭建分布式文件系統
學以致用	通過帶領大家搭建一個分布式文件系統來將我們所學常見Linux命令和Shell腳本實際應用

階段名稱

技術名稱

技術內容

學習目標

Linux
基礎

shell操作

1)文件和目錄
2)文件屬性修改命令
3)查找與檢索命令

可掌握的核心能力：

掌握基本的Linux系統操作

學習的目的：

企業中不管是開發的Web項目，還是使用的SQL數據庫，以及部署的爬蟲，更不要說大數據，甚至是人工智能，無一例外的運行在Linux系統內，所以打好一個Linux基礎可謂是必備技能

可解決的現實問題及價值所在：

1. 安裝虛擬機
云計算的時代，你們未來在公司里用的服務器也很有可能是虛擬化技術虛擬出來的
2. 服務器中安裝Linux操作系統
公司里新買來服務器，你很有可能就是要去安裝一個Linux操作系統
3. 對應Linux系統的管理維護
公司很多員工使用Linux系統，怎么更好的對系統管理也是一個工程師要懂的，服務器里面運行一個系統，就像你有一個家，你得勤收拾吧！
4. 掌握服務器遠程登陸和常用Linux命令
接著上面的例子，就是收拾家也得有工具輔助不是嘛，常用Linux命令是日常工作和筆試經常會用的
5. Shell腳本的編寫
Shell腳本也是日常工作和筆試經常會使用的，原因顯而易見就是收拾家如果能自動化那你自己不也就解放出來可以干更重要的事情去了嘛

系統管理

1)磁盤管理
2)壓縮包管理
3)進程管理
4)用戶管理
5)網絡管理

1)常用Linux命令
2)常用服務器ftp/ssh
3)編輯器 vi/vim
4)Awk、Sed
5)Shell的使用

常見Linux系統

1)CentOS軟件安裝與卸載
2)RedHat軟件安裝與卸載
3)Ubuntu軟件安裝與卸載

HDFS搭建

搭建分布式文件系統

學以致用

通過帶領大家搭建一個分布式文件系統來將我們所學常見Linux命令和Shell腳本實際應用

階段名稱	技術名稱	技術內容	學習目標
Python 數據庫階段	Linux下 MySQL數據庫	1)Mysql5.5/5.6數據庫 2)Navicat、workbench客戶端軟件 3)業界常見問題設計 4)數據庫表的設計范式 5)SQL 語言 6)序列、索引、視圖對象 7)數據備份與移植 8)多表連接難題詳解	可掌握的核心能力： 1. 關系型數據庫表的設計 2. 各種數據庫增、刪、改、查所有操作SQL語句的編寫。 3. SQL和NoSQL數據庫的使用場景和設計難點。 4. Python對各種數據庫連接和操作代碼便攜。學習的目的：在企業中一定會用到關系型數據庫或者NoSQL數據庫，我們必須掌握各種數據庫的各種操作方法。可解決的現實問題及價值所在： 1. 在后面的項目中、或者以后的企業中，根據項目的需求可以設計出所有的表。 2. 針對項目中的需求業務可以編寫完成該業務的SQL語句。 3. 針對復雜的查詢業務，可以編寫聯表、子查詢等SQL語句。并對SQL進行優化 4. 當項目運行過程中速度較慢?？梢詫祿?，表，SQL進行優化。
數據庫設計和 SQL標準	1)設計的三大范式 2)SQL語句調優 3)DDL 4)DML 5)SELECT 6)PowerDesigner的使用
Python 數據庫操作的庫	1)Python DB-API 2)Mysqldb 3)cx_Oracle等
Linux下MongoDB 非關系型數據庫	1)NoSQL 2)安裝 3)pymongo 4)企業應用案例
SQL優化和數據庫優化
ORM對象關系映射基本思想
學以致用	設計12306等網站的數據庫和表結構

階段名稱

技術名稱

技術內容

學習目標

Python
數據庫階段

Linux下
MySQL數據庫

1)Mysql5.5/5.6數據庫 2)Navicat、workbench客戶端軟件 3)業界常見問題設計 4)數據庫表的設計范式 5)SQL 語言 6)序列、索引、視圖對象 7)數據備份與移植 8)多表連接難題詳解

可掌握的核心能力：

1. 關系型數據庫表的設計
2. 各種數據庫增、刪、改、查所有操作SQL語句的編寫。
3. SQL和NoSQL數據庫的使用場景和設計難點。
4. Python對各種數據庫連接和操作代碼便攜。

學習的目的：

在企業中一定會用到關系型數據庫或者NoSQL數據庫，我們必須掌握各種數據庫的各種操作方法。

可解決的現實問題及價值所在：

1. 在后面的項目中、或者以后的企業中，根據項目的需求可以設計出所有的表。
2. 針對項目中的需求業務可以編寫完成該業務的SQL語句。
3. 針對復雜的查詢業務，可以編寫聯表、子查詢等SQL語句。并對SQL進行優化
4. 當項目運行過程中速度較慢?？梢詫祿?，表，SQL進行優化。

數據庫設計和
SQL標準

1)設計的三大范式 2)SQL語句調優 3)DDL 4)DML 5)SELECT 6)PowerDesigner的使用

Python
數據庫操作的庫

1)Python DB-API
2)Mysqldb
3)cx_Oracle等

Linux下MongoDB
非關系型數據庫

1)NoSQL 2)安裝 3)pymongo 4)企業應用案例

SQL優化和數據庫優化

ORM對象關系映射基本思想

學以致用

設計12306等網站的數據庫和表結構

階段名稱	技術名稱	技術內容	學習目標
Python前端和移動開發	Html	1)基礎元素 2)布局 3)表單	可掌握的核心能力： 1. 掌握HTML超文本標記語言的使用方法 2. 掌握CSS 層疊樣式表的使用方法 3. 了解HTML5新特性及CSS3動畫 4. 掌握JavaScript的基礎知識和高級知識 5. 掌握前端構建頁面的方式及面向對象思想 6. 掌握Bootstrap框架 7. 掌握JQuery的基本用法學習的目的：學習前端的HTML,CSS,JavaScript和框架, 使大家在開發網站時更快速上手,也更容易實現時下流行的網頁風格和特效, 是作為一個WEB Python全棧程序員的必備技能! 可解決的現實問題及價值所在： 1．學習HTML, CSS 2．可以根據設計圖獨立實現頁面的技能, 能夠獨立完成頁面制作 3．學習 HTML5, CSS3, JavaScript 4．可以制作網頁上的各種特效, 能獨立實現網頁上常見的功能 5．學習面向對象思想 6．提升代碼質量, 降低項目的耦合性, 減少維護成本, 是在企業中升職的必備技能 7．學習Bootstrap, JQuery 8．掌握Bootstrap和JQuery可以實現前端快速開發, 更快的實現頁面功能, 同時學習這兩個框架的設計理念, 可以運用到自己封裝框架/類庫上
CSS	1)類選擇器 2)Id選擇器 3)元素選擇器 4)屬性選擇器 5)關系選擇器 6)偽類選擇器 7)偽元素選擇器 8)選擇器優先級 9)基礎樣式 10)盒子模型 11)浮動, 定位
PC端頁面開發實戰流程
Bootstrap
html5和css3	1)柵格系統 2)常用布局效果 3)常用特效組件
JavaScript
JQuery	1)基礎語法 2)駝峰命名規則 3)數據類型 4)控制語句 5)Math類 6)Date類 7)String類 8)Array類 9)函數 10)DOM操作 11)事件對象 12)事件流 13)BOM對象 14)作用域, 閉包, 預解釋, this關鍵字, call, apply 15)原型和原型鏈 16)面向對象 17)AJAX, 跨域 18)HTML5本地存儲
學以致用	用HTML+CSS實現頁面布局; 用Vue + Bootstrap 快速實現整個網站的前端功能

階段名稱

技術名稱

技術內容

學習目標

Python前端
和移動開發

Html

1)基礎元素 2)布局 3)表單

可掌握的核心能力：

1. 掌握HTML超文本標記語言的使用方法
2. 掌握CSS 層疊樣式表的使用方法
3. 了解HTML5新特性及CSS3動畫
4. 掌握JavaScript的基礎知識和高級知識
5. 掌握前端構建頁面的方式及面向對象思想
6. 掌握Bootstrap框架
7. 掌握JQuery的基本用法

學習的目的：

學習前端的HTML,CSS,JavaScript和框架, 使大家在開發網站時更快速上手,也更容易實現時下流行的網頁風格和特效, 是作為一個WEB Python全棧程序員的必備技能!

可解決的現實問題及價值所在：

1．學習HTML, CSS
2．可以根據設計圖獨立實現頁面的技能, 能夠獨立完成頁面制作
3．學習 HTML5, CSS3, JavaScript
4．可以制作網頁上的各種特效, 能獨立實現網頁上常見的功能
5．學習面向對象思想
6．提升代碼質量, 降低項目的耦合性, 減少維護成本, 是在企業中升職的必備技能
7．學習Bootstrap, JQuery
8．掌握Bootstrap和JQuery可以實現前端快速開發, 更快的實現頁面功能, 同時學習這兩個框架的設計理念, 可以運用到自己封裝框架/類庫上

CSS

1)類選擇器 2)Id選擇器 3)元素選擇器 4)屬性選擇器 5)關系選擇器 6)偽類選擇器 7)偽元素選擇器 8)選擇器優先級 9)基礎樣式 10)盒子模型 11)浮動, 定位

PC端頁面開發實戰流程

Bootstrap

html5和css3

1)柵格系統 2)常用布局效果 3)常用特效組件

JavaScript

JQuery

1)基礎語法 2)駝峰命名規則 3)數據類型 4)控制語句 5)Math類 6)Date類 7)String類 8)Array類 9)函數 10)DOM操作 11)事件對象 12)事件流 13)BOM對象
14)作用域, 閉包, 預解釋, this關鍵字, call, apply
15)原型和原型鏈 16)面向對象 17)AJAX, 跨域 18)HTML5本地存儲

學以致用

用HTML+CSS實現頁面布局; 用Vue + Bootstrap 快速實現整個網站的前端功能

階段名稱	技術名稱	技術內容	學習目標
Python Web 全棧開發	Django 框架開發	1)概述 2)模型層 3)ORM 4)視圖層 5)MTV 6)Django表單 7)管理員工具 8)Django網站部署 9)Redis數據庫	可掌握的核心能力： 1. 掌握Django框架, 掌握模型的使用, 掌握視圖的使用, 掌握xadmin模塊 2. 掌握Flask框架, 掌握模版應用, 掌握接口的開發學習的目的：通過學習Python主流框架掌握如何開發一個完備的企業級網站可解決的現實問題及價值所在： 1. 根據產品原型圖, 使用Django框架實現快速開發一個電商系統 2. 根據產品需求, 開發高并發功能網站
Nginx配置和uWSGI部署
RESTful接口開發
Flask框架開發	1)概述 2)模型層 3)用戶身份驗證框架 4)SQLAlchemy應用 5)Flask網站部署 6)Web開發項目
電商平臺項目
BBS論壇系統
學以致用	使用Django框架構建后端項目, 利用Django-admin快速開發后臺管理系統; 使用Tornado框架構建能夠支持高并發的Web項目

階段名稱

技術名稱

技術內容

學習目標

Python Web
全棧開發

Django
框架開發

1)概述 2)模型層 3)ORM 4)視圖層 5)MTV 6)Django表單 7)管理員工具 8)Django網站部署 9)Redis數據庫

可掌握的核心能力：

1. 掌握Django框架, 掌握模型的使用, 掌握視圖的使用, 掌握xadmin模塊
2. 掌握Flask框架, 掌握模版應用, 掌握接口的開發

學習的目的：

通過學習Python主流框架掌握如何開發一個完備的企業級網站

可解決的現實問題及價值所在：

1. 根據產品原型圖, 使用Django框架實現快速開發一個電商系統
2. 根據產品需求, 開發高并發功能網站

Nginx配置和uWSGI部署

RESTful接口開發

Flask框架開發

1)概述 2)模型層 3)用戶身份驗證框架 4)SQLAlchemy應用 5)Flask網站部署 6)Web開發項目

電商平臺項目

BBS論壇系統

學以致用

使用Django框架構建后端項目, 利用Django-admin快速開發后臺管理系統; 使用Tornado框架構建能夠支持高并發的Web項目

階段名稱	技術名稱	技術內容	學習目標
爬蟲與數據分析	第一個Python 網絡爬蟲	1)什么是爬蟲 2)一起編寫第一個爬蟲	可掌握的核心能力： 1. 掌握各類HTTP調試器用法 2. 理解網絡爬蟲編寫的基本套路 3. 了解網絡爬蟲編寫的各種陷阱 4. 能夠應對動態網站爬取 5. 能夠應對帶有驗證碼的網站 6. 能夠應對需要瀏覽器渲染的網站 7. 能夠應對分布式抓取需要 8. 能夠應對反爬蟲技術 9. 能夠應對無界面抓取 10. 能夠利用爬蟲平臺學習的目的： 1. 讓大家掌握現實中編寫Python爬蟲會遇到的方方面面的問題，讓大家以后在實際爬蟲工作中，不懼任何挑戰。可解決的現實問題及價值所在： 1. 掌握各類HTTP調試器用法 HTTP調試器是網絡爬蟲編寫的基礎。 2. 理解網絡爬蟲編寫的基本套路經過長期時間，爬蟲編寫其實已經形成了一些基本的套路，掌握這些套路不僅有助于大家快速編寫爬蟲程序，也有助于大家理解前人的代碼。這些套路也是一些爬蟲框架所使用的架構基礎。 3. 了解網絡爬蟲編寫的各種坑這些坑是實踐中的經驗，非理論。這些坑也是消耗程序員時間較多的地方，解決這些坑需要的很多技巧和經驗，這些往往是初級程序員所欠缺的，但是老師會把這些都告訴大家。 4. 能夠應對動態網站爬取當前，越來越多的網站使用JS的動態技術加載某些內容，甚至無須使用動態方式生成的信息也因為某些原因使用動態的方式生成。而這些信息是我們繼續爬取所需要的，這個時候，我們就需要解決這些動態性問題。 5. 能夠應對帶有驗證碼的網站現在大部分信息檢索網站都會使用驗證碼技術保護自己的信息，免遭大規模的抓取，驗證碼識別技術已經成為一個爬蟲程序員必須掌握的基本功。 6. 能夠應對需要瀏覽器渲染的網站當前反爬蟲技術花樣繁多，有的網站如果不渲染出結果，只依靠網頁文本，則無從獲取到我們想要的信息，比如有的網站，我們所關注的信息是使用CSS拼接而來的，經過瀏覽器的渲染，人可以輕松看懂網頁內容，但是對于傳統的HTML爬蟲而言，則無法獲得自己想要的信息。 7. 能夠應對分布式抓取需要對于企業級的爬取需求來說，分布式爬取是一個基本要求，因為單一爬蟲的爬取效率畢竟受到網絡交互速度的限制，但是分布式爬蟲，可以高效地利用網站服務器的服務能力，獲取信息。 8. 能夠應對反爬蟲技術由于各個企業都有外部數據需求，因而爬蟲盛行。很多時候，網站的40%以上的流量是被爬蟲占據的，在這種情況下，業內發展出了各式各樣的反爬蟲技術。應對這些反爬蟲技術也是我們工作內容的一部分。 9. 能夠應對無界面抓取對于我們開發者來說，有些網頁必須獲取它被JavaScript和CSS渲染之后的結果。通常來講我們可以使用瀏覽器驅動，來驅動Chrome等瀏覽器完成這項任務。但是對于大規模爬取任務來說，我們需要將我們的爬蟲部署到Linux服務器上，帶界面的Chrome瀏覽器并不是合適的選擇，因為它非常消耗計算資源。所以我們會選擇使用無界面的抓取方式對已經成熟的代碼進行服務器端部署。 10. 能夠利用爬蟲平臺無論國內國外，都有很多的爬蟲平臺可以直接使用，有些甚至可以部署企業級爬蟲，并根據需要購買計算能力和存儲能力，甚至代理服務器ip也可以購買，同時有的平臺提供可視化和報警服務，這些內容對于中小企業來說，并不是容易建立的資源環境，這時選擇一個合適爬蟲平臺，將自己編寫的爬蟲托管到爬蟲平臺上不失為一個合理的選擇。
專業HTTP分析工具Fiddler的使用	1)Fiddler 用戶界面 2)Fiddler 主菜單 3)Fiddler 工具欄 4)信任 Fiddler 證書 5)Inspector 6)保存\導入\導出數據流 7)使用Fiddler檢測手機流量 8)Fiddler自動生成爬蟲代碼
實際爬蟲 Python編碼問題	1)vim中如何查看文件編碼 2)str編碼轉換 3)print函數如何處理編碼 4)瀏覽器如何推斷網頁編碼 5)使用Python推測一個文件的編碼并給出推斷概率 6)Windows 命令行編碼查看與設置 7)如何解決Windows命令行的亂碼問題
urllib2 的使用	1)urllib2請求返回網頁 2)urllib2使用代理訪問網頁 3)urllib2修改header
TesseractOCR語言模型爬取使用帶驗證碼登錄的網站	1)Tesseract 使用介紹 2)Tesseract 語言模型訓練 3)帶驗證碼網站登錄示例
Beautiful Soup	1)bs4解析器選擇 2)lxml解析器安裝與使用
XPath & CSS 選擇器	1)XPath語法講解 2)XPath 選擇示例 3)瀏覽器對XPath的支持 4)CSS選擇器原理 5)CSS選擇器使用實例
PhantomJS	1)安裝 2)腳本傳參 3)頁面加載 4)Code Evaluation 5)DOM 操作 6)網絡請求及響應
Selenium Webdriver	1)元素的定位 2)添加等待時間 3)打印信息 4)瀏覽器的操作 5)瀏覽器前進后退 6)鍵盤事件
Scrapy 大型框架使用代理服務器爬取	1)鼠標事件 2)定位一組元素 3)上傳文件 4)下拉框處理 5)調用JavaScript腳本 6)控制瀏覽器滾動條 7)原理解析 8)代理ip的獲取 9)代理ip的使用 10)架構概覽 11)Spider 12)Selector 13)Item 14)Scrapy Shell 15)Item Pileline
Scrapy 分布式集群多代理爬蟲Redis 分布式集群Redis MongoDB在爬蟲里的應用	1)Requests and Responses 2)Link Extractor 3)Logging 4)編寫應用MongoDB的Scrapy-Redis 爬蟲 5)應用之前講過的多代理技術\分布式爬蟲技術\Redis集群技術, 編寫一個大型房源網站整站遍歷抓取爬蟲項目
數據分析工具與模塊	1)Numpy 2)Pandas 3)Scipy 4)Matplotlib 5)Seaborn 6)Scikit-Learn
學以致用	爬蟲：我們會對一個房源網站進行分布式、多代理、可暫?；謴偷呐廊?，讓大家在實戰中體會各種技術的綜合運用。

階段名稱

技術名稱

技術內容

學習目標

爬蟲
與數據分析

第一個Python
網絡爬蟲

1)什么是爬蟲 2)一起編寫第一個爬蟲

可掌握的核心能力：

1. 掌握各類HTTP調試器用法
2. 理解網絡爬蟲編寫的基本套路
3. 了解網絡爬蟲編寫的各種陷阱
4. 能夠應對動態網站爬取
5. 能夠應對帶有驗證碼的網站
6. 能夠應對需要瀏覽器渲染的網站
7. 能夠應對分布式抓取需要
8. 能夠應對反爬蟲技術
9. 能夠應對無界面抓取
10. 能夠利用爬蟲平臺

學習的目的：

1. 讓大家掌握現實中編寫Python爬蟲會遇到的方方面面的問題，讓大家以后在實際爬蟲工作中，不懼任何挑戰。

可解決的現實問題及價值所在：

1. 掌握各類HTTP調試器用法
HTTP調試器是網絡爬蟲編寫的基礎。
2. 理解網絡爬蟲編寫的基本套路
經過長期時間，爬蟲編寫其實已經形成了一些基本的套路，掌握這些套路不僅有助于大家快速編寫爬蟲程序，也有助于大家理解前人的代碼。這些套路也是一些爬蟲框架所使用的架構基礎。
3. 了解網絡爬蟲編寫的各種坑
這些坑是實踐中的經驗，非理論。這些坑也是消耗程序員時間較多的地方，解決這些坑需要的很多技巧和經驗，這些往往是初級程序員所欠缺的，但是老師會把這些都告訴大家。
4. 能夠應對動態網站爬取
當前，越來越多的網站使用JS的動態技術加載某些內容，甚至無須使用動態方式生成的信息也因為某些原因使用動態的方式生成。而這些信息是我們繼續爬取所需要的，這個時候，我們就需要解決這些動態性問題。
5. 能夠應對帶有驗證碼的網站
現在大部分信息檢索網站都會使用驗證碼技術保護自己的信息，免遭大規模的抓取，驗證碼識別技術已經成為一個爬蟲程序員必須掌握的基本功。
6. 能夠應對需要瀏覽器渲染的網站
當前反爬蟲技術花樣繁多，有的網站如果不渲染出結果，只依靠網頁文本，則無從獲取到我們想要的信息，比如有的網站，我們所關注的信息是使用CSS拼接而來的，經過瀏覽器的渲染，人可以輕松看懂網頁內容，但是對于傳統的HTML爬蟲而言，則無法獲得自己想要的信息。
7. 能夠應對分布式抓取需要
對于企業級的爬取需求來說，分布式爬取是一個基本要求，因為單一爬蟲的爬取效率畢竟受到網絡交互速度的限制，但是分布式爬蟲，可以高效地利用網站服務器的服務能力，獲取信息。
8. 能夠應對反爬蟲技術
由于各個企業都有外部數據需求，因而爬蟲盛行。很多時候，網站的40%以上的流量是被爬蟲占據的，在這種情況下，業內發展出了各式各樣的反爬蟲技術。應對這些反爬蟲技術也是我們工作內容的一部分。
9. 能夠應對無界面抓取
對于我們開發者來說，有些網頁必須獲取它被JavaScript和CSS渲染之后的結果。通常來講我們可以使用瀏覽器驅動，來驅動Chrome等瀏覽器完成這項任務。但是對于大規模爬取任務來說，我們需要將我們的爬蟲部署到Linux服務器上，帶界面的Chrome瀏覽器并不是合適的選擇，因為它非常消耗計算資源。所以我們會選擇使用無界面的抓取方式對已經成熟的代碼進行服務器端部署。
10. 能夠利用爬蟲平臺
無論國內國外，都有很多的爬蟲平臺可以直接使用，有些甚至可以部署企業級爬蟲，并根據需要購買計算能力和存儲能力，甚至代理服務器ip也可以購買，同時有的平臺提供可視化和報警服務，這些內容對于中小企業來說，并不是容易建立的資源環境，這時選擇一個合適爬蟲平臺，將自己編寫的爬蟲托管到爬蟲平臺上不失為一個合理的選擇。

專業HTTP分析工具Fiddler的使用

1)Fiddler 用戶界面 2)Fiddler 主菜單 3)Fiddler 工具欄 4)信任 Fiddler 證書 5)Inspector 6)保存\導入\導出數據流 7)使用Fiddler檢測手機流量 8)Fiddler自動生成爬蟲代碼

實際爬蟲
Python編碼問題

1)vim中如何查看文件編碼 2)str編碼轉換 3)print函數如何處理編碼 4)瀏覽器如何推斷網頁編碼
5)使用Python推測一個文件的編碼并給出推斷概率
6)Windows 命令行編碼查看與設置
7)如何解決Windows命令行的亂碼問題

urllib2 的使用

1)urllib2請求返回網頁
2)urllib2使用代理訪問網頁
3)urllib2修改header

TesseractOCR語言模型爬取使用帶驗證碼登錄的網站

1)Tesseract 使用介紹
2)Tesseract 語言模型訓練
3)帶驗證碼網站登錄示例

Beautiful Soup

1)bs4解析器選擇 2)lxml解析器安裝與使用

XPath & CSS
選擇器

1)XPath語法講解 2)XPath 選擇示例 3)瀏覽器對XPath的支持 4)CSS選擇器原理 5)CSS選擇器使用實例

PhantomJS

1)安裝 2)腳本傳參 3)頁面加載 4)Code Evaluation 5)DOM 操作 6)網絡請求及響應

Selenium
Webdriver

1)元素的定位 2)添加等待時間 3)打印信息 4)瀏覽器的操作 5)瀏覽器前進后退 6)鍵盤事件

Scrapy
大型框架使用代理服務器爬取

1)鼠標事件 2)定位一組元素 3)上傳文件 4)下拉框處理 5)調用JavaScript腳本 6)控制瀏覽器滾動條 7)原理解析 8)代理ip的獲取 9)代理ip的使用 10)架構概覽 11)Spider 12)Selector 13)Item 14)Scrapy Shell 15)Item Pileline

Scrapy
分布式集群多代理爬蟲Redis
分布式集群Redis MongoDB在爬蟲里的應用

1)Requests and Responses
2)Link Extractor
3)Logging
4)編寫應用MongoDB的Scrapy-Redis 爬蟲
5)應用之前講過的多代理技術\分布式爬蟲技術\Redis集群技術, 編寫一個大型房源網站整站遍歷抓取爬蟲項目

數據分析
工具與模塊

1)Numpy 2)Pandas 3)Scipy 4)Matplotlib 5)Seaborn 6)Scikit-Learn

學以致用

爬蟲：我們會對一個房源網站進行分布式、多代理、可暫?；謴偷呐廊?，讓大家在實戰中體會各種技術的綜合運用。

階段名稱	技術名稱	技術內容	學習目標
Python 人工智能階段	機器學習	1)機器學習概述與定義 2)數據預處理 3)線性回歸算法 4)KNN K近鄰算法 5)邏輯回歸算法 6)梯度下降算法 7)牛頓法與擬牛頓法 8)決策樹算法 9)Bagging集成算法 10)Adaboost算法 11)GBDT算法 12)XGboost和lightGBM算法 13)支持向量機 14)聚類算法 15)PCA主成分分析算法 16)LDA降維 17)樸素貝葉斯算法 18)神經網絡	可掌握的核心能力： 1. 線性回歸算法 2. KNN K近鄰算法 3. 邏輯回歸算法 4. 梯度下降算法 5. 牛頓法與擬牛頓法 6. 決策樹算法 7. Bagging集成算法 8. Adaboost算法 9. 以及機器學習常規算法等學習的目的：讓大家掌握人工智能常規算法，以方便數據的分析與AI的使用。
深度學習	1)深度學習Tensorflow基礎 2)深度神經網絡DNN 3)卷積神經網絡CNN 4)深度學習基于GPU運算搭建 5)深度學習TensorFlow框架high-level API Slim庫 6)深度學習Tensorboard訓練可視化 7)深度學習框架Keras 8)詞向量模型Word2Vec深度學習版 9)對抗神經網絡GAN 10)卷積經典模型AlexNet 11)卷積經典模型VGG-16 12)卷積經典模型Google InecptionV3 13)遷移學習fine-tuning 14)高維空間繪圖T-SNE 15)梯度消失的解決 16)梯度消失的解決 17)optimizer的調優

階段名稱

技術名稱

技術內容

學習目標

Python
人工智能階段

機器學習

1)機器學習概述與定義 2)數據預處理 3)線性回歸算法 4)KNN K近鄰算法 5)邏輯回歸算法 6)梯度下降算法 7)牛頓法與擬牛頓法 8)決策樹算法 9)Bagging集成算法 10)Adaboost算法 11)GBDT算法 12)XGboost和lightGBM算法 13)支持向量機 14)聚類算法 15)PCA主成分分析算法 16)LDA降維 17)樸素貝葉斯算法 18)神經網絡

可掌握的核心能力：

1. 線性回歸算法
2. KNN K近鄰算法
3. 邏輯回歸算法
4. 梯度下降算法
5. 牛頓法與擬牛頓法
6. 決策樹算法
7. Bagging集成算法
8. Adaboost算法
9. 以及機器學習常規算法等

學習的目的：

讓大家掌握人工智能常規算法，以方便數據的分析與AI的使用。

深度學習

1)深度學習Tensorflow基礎 2)深度神經網絡DNN 3)卷積神經網絡CNN 4)深度學習基于GPU運算搭建
5)深度學習TensorFlow框架high-level API Slim庫
6)深度學習Tensorboard訓練可視化 7)深度學習框架Keras 8)詞向量模型Word2Vec深度學習版 9)對抗神經網絡GAN 10)卷積經典模型AlexNet 11)卷積經典模型VGG-16 12)卷積經典模型Google InecptionV3 13)遷移學習fine-tuning 14)高維空間繪圖T-SNE 15)梯度消失的解決 16)梯度消失的解決 17)optimizer的調優

大型電商網站項目
某知名公司家裝飾網
商店外賣項目
企業內訓平臺項目
多家房源信息數據爬蟲
中國裁判文書網大數據采集、清洗、分析
租房信息數據分析
NBA常規賽結果預測-比賽數據分析
客戶流失分析
推薦系統
小額貸款

項目簡介
某電商公司的在線購物平臺項目, 主要方便廣大用戶在線購物的需求, 快速下單, 在家就可享受到愉快購物的便捷, 產品類別包括家居家紡,食品酒水,男裝,女裝,數碼家電,母嬰玩具等產品. 為了方便管理商品, 此項目還有一套完善的后臺管理功能, 支持對貨品的增刪改查功能.
項目特色
掌握使用 HTML, CSS,BootStrap等技術實現靜態網站的制作，掌握使用JavaScript, JQuery 等框架實現動態頁面, 使網頁更具交互性，后端使用Django框架構建，大大增加開發效率，采用Redis集群作為緩存和Session服務器, 加快響應速度，使用Git來管理企業級項目的代碼，系統支持在線支付功能。

項目簡介
國內某知名公司的家裝飾網站，該項目支持用戶通過訪問網站了解企業經營范圍，提供公司簡介，裝修課堂，案例作品，熱裝樓盤，優惠活動，設計團隊，施工工藝以及支持用戶在線計算裝修費用。
項目特色
掌握Bootstrap +django，由瀏覽器控制頁面的跳轉，掌握Django 框架進行后端開發，掌握Django-admin 快速構建后臺系統的增刪改查，使用分布式MySQL存儲海量數據，掌握網頁優化相關知識，掌握haystack+whoosh實現系統的搜索功能。

項目簡介： 某商店的外賣平臺項目, 主要是滿足用戶在手機上就能快速下單的需求, 隨時隨地就可享受到愉快購物的便捷。為了方便管理該商店的商品以及該商店的用戶，此項目還有一套完善的后臺管理功能, 支持對商品、用戶模塊等的增刪改查功能。
項目特色： 掌握使用 HTML, CSS, Bootstrap,Vue等技術實現靜態網站的制作，掌握使用JavaScript語言, JQuery技術等實現頁面動態, 使網頁更具交互性，掌握使用輕量級框架Flask實現項目。前臺前端使用Bootstrap構建頁面,前臺后端使用Flask構建，支持高并發的請求，項目整體采用前后端分離的架構模式, 采用Restful風格接口實現前后端通信, 使用json數據格式進行傳輸, 方便后期擴展到App, 實現代碼復用，采用Redis集群作為緩存和Session服務器, 加快響應速度。后臺前端使用Vue構建頁面，后臺后端還是用Flask框架。前臺系統和后臺系統都使用Mysql數據庫存儲數據。

項目簡介： 某公司的企業內部培訓平臺系統, 剛入職的新員工可通過該平臺完成公司的各種培訓要求。該平臺即能檢驗員工的專業技能水平，又能幫助員工快速成長。新員工的領導基于該平臺能對新員工的各項培訓成果進行評分。公司的管理人員可以登錄后臺管理系統進行各個模塊數據的管理, 支持完善的增刪改查功能。

項目特色： 掌握HTML + CSS + JavaScript + jQuery開發系統頁面，掌握Flask 框架進行后端開發,使用MySQL存儲數據，掌握SQL優化相關知識，掌握富文本編輯器UEditor插件的使用，UEditor具有格式化數據和美化數據的功能。掌握AJAX技術實現局部頁面刷新功能。項目采用Restful風格接口實現前后端通信, 使用json數據格式進行傳輸, 方便后期擴展到App, 實現代碼復用，采用Redis集群作為緩存和Session服務器, 加快響應速度。

項目簡介
該項目主要利用Python項目采集公開數據，做數據分析，并通過圖表做可視化展示也可實現操作自動化，代替手工操作，提高業務效率目前項目采集數據量在幾百萬。
項目特色
使用Python語言，通過該項目可以掌握Scrapy框架，以及編寫各類中間件；掌握scrapy-redis分布式框架，了解各組件工作機制，并熟悉海量數據的抓取方式；通過Echarts以圖表的形式展示數據。

項目簡介
該項目采集中國裁判文書網法律文書大數據，采集獲取中文裁判文書網判決書相關法律文書，并對數據進行清洗、提取、分析得出大數據相關結論；
項目特色
項目是眾多公司需要的數據，使用當前最熱的Python 、Scrapy、MySQL數據庫等技能實現數據的抓取，該項目給常見的JavaScript反爬策略做了解決方案

項目簡介
該項目可以深刻理解數據本質，挖掘不同業務場景下用戶體驗的數據洞察，驅動客戶服務支持平臺運營核心策略的制定和優化；并基于海量用戶行為數據，研究底層數據表的邏輯關系，發現客戶服務支持運營中的問題，產生應用價值；通過數據分析挖掘，分析功能使用場景、用戶畫像特征，發現潛在的缺陷與機會，為業務決策提供數據支撐
項目特色
項目會使用真實的數據。采用Python、echarts、numpy、與pandas采集了各個地區租房信息，并通過該技術分析出市場占比和分布，以及房屋特點。

項目簡介
用該項目通過往年數據，如何使用 Python 分析 NBA 比賽以往的統計數據，來判斷每個球隊的戰斗力，及預測某場比賽結果。項目實例是利用 NBA 在 2015~2016 年的比賽統計數據進行回歸模型建立，最終預測 2016~2017 的常規賽中每場比賽的輸贏情況
項目特色
根該項目使用pandas模塊、numpy模塊、sklearn模塊以及一些Python自帶的?？?，并用boruta算法模型+回歸預測比賽情況

項目簡介
該項目是對于移動通信，根據已有的數據做出評測哪些用戶可能要流失，運營商可根據數據分析做出相應的應對方案
項目特色
根該項目使用pandas模塊、numpy模塊、matplotlib模塊、Series模塊以及一些Python自帶的?？?，鍛煉通過建立邏輯回歸模型，篩選特征數據來訓練模型。并使用了多種技術決策樹模型、Scikit-Learn、貝葉斯等，做到學以致用，知行合一

項目簡介
該項目通過數據，想用戶推薦用戶可能喜歡的音樂
項目特色
根該項目使用pandas模塊、numpy模塊、matplotlib模塊、Series模塊以及一些Python自帶的?？?，做出推薦方案，做到學以致用，知行合一

項目簡介
該項目以分數的形式來衡量風險幾率的一種手段，是對未來一段時間內違約/逾期/失聯概率的預測，有一個明確的（正）區間，以數據驅動分出推薦評分卡、流失評分卡
項目特色
根該項目使用的模型邏輯回歸、決策樹、其他元模型、組合模型與numpy,pandas等技術做出評分卡，做到學以致用，知行合一

李老師

于老師

馬老師

階段一：Python基礎知識和高級特性

可掌握的核心能力：

學習的目的：

可解決的現實問題及價值所在：

階段二：Linux基礎

可掌握的核心能力：

學習的目的：

可解決的現實問題及價值所在：

可掌握的核心能力：

學習的目的：

可解決的現實問題及價值所在：

可掌握的核心能力：

學習的目的：

可解決的現實問題及價值所在：

可掌握的核心能力：

學習的目的：

可解決的現實問題及價值所在：

可掌握的核心能力：

學習的目的：

可解決的現實問題及價值所在：

可掌握的核心能力：

學習的目的：

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

項目簡介

項目特色

關于我們

學習資源

線下課程

線上課程