課程內(nèi)容:
01章概述 爬蟲與文本分析概述
01-01結(jié)構(gòu)化數(shù)據(jù)/文本數(shù)據(jù)的獲取方法概述
01-02高效的編程語言實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)處理與文本分析的價(jià)值
02章編程基礎(chǔ)
02-01python編程基礎(chǔ)(標(biāo)準(zhǔn)數(shù)據(jù)類型,控制流,自定義函數(shù),類,os文件處理模塊)
02-02python重要數(shù)據(jù)科學(xué)計(jì)算庫(Numpy,Pandas,Matplotlib,Pyecherts,wordcloud)
03章數(shù)據(jù)獲取
03-01爬蟲基礎(chǔ)(網(wǎng)絡(luò)爬蟲簡介,爬蟲的基本原理,HTML 簡介,數(shù)據(jù)存儲(chǔ))
03-02網(wǎng)頁抓取(使用 Urllib網(wǎng)頁抓取,requests實(shí)戰(zhàn))
03-03BeautifulSoup4(簡介,安裝,BS 對象的種類,遍歷文檔樹,搜索文檔樹)
03-04Xpath(什么是Xpath,Xpath開發(fā)工具,Xpath常用規(guī)則)
03-05動(dòng)態(tài)渲染頁面抓取(Selenium的安裝,基本使用,聲明瀏覽器對象,訪問頁面,定位元素,節(jié)點(diǎn)交互,動(dòng)作鏈,執(zhí)行 JavaScript,獲取節(jié)點(diǎn)信息,延時(shí)等待,前進(jìn)后退,Cookies,選項(xiàng)卡管理,異常處理)
03-06爬蟲實(shí)戰(zhàn)(網(wǎng)站的爬取,基電商評價(jià)文本爬取)
04章數(shù)據(jù)存儲(chǔ)與讀取
04-01可供讀取數(shù)據(jù)類型介紹(excel、pdf、txt、html、mysql數(shù)據(jù)庫文件介紹)
04-02數(shù)據(jù)的存儲(chǔ)(將數(shù)據(jù)存儲(chǔ)到excel表,txt文本,word文檔)
04-03數(shù)據(jù)的讀取(python批量讀取多個(gè)多子表excel,python讀取txt文件,word文檔)
05章數(shù)據(jù)處理
05-01正則表達(dá)式(什么是正則表達(dá)式,正則表達(dá)式匹配規(guī)則,re模塊的使用)
05-02文本處理常用方法(字符串的不變性,排序行,段落格式化,二進(jìn)制轉(zhuǎn)化為ASCII,重復(fù)字詞過濾,提取郵件地址,提取URL地址,大寫轉(zhuǎn)換,符號化,刪除停用詞,同義詞與反義詞處理,文本翻譯,單詞替換,拼寫檢查,WordNet接口,語料訪問,標(biāo)記單詞,塊和裂口,塊分類,文本分類,雙字母組,文字改寫,文字換行,頻率分布,文字摘要,詞干算法,約束搜索)
05-03結(jié)構(gòu)化數(shù)據(jù)處理--數(shù)據(jù)清洗(numpy數(shù)值計(jì)算要點(diǎn)串講,Pandas數(shù)據(jù)處理串講,python統(tǒng)計(jì)圖表展示)
06章文本分析實(shí)戰(zhàn)
06-01重要的庫(jieba庫簡介)
06-02關(guān)鍵詞提取(關(guān)鍵詞任務(wù)概述,TF-IDF算法原理,相似文章推薦原理介紹,實(shí)例:紅樓夢文本分析的實(shí)現(xiàn),文件與詞庫的讀取,完成分詞與詞云圖的繪制)
06-03文本分類(新聞素材介紹,新聞內(nèi)容的關(guān)鍵詞提取,詞向量轉(zhuǎn)化與ngram模型,樸素貝葉斯算法完成新聞分類)