先前曾發過一篇透過 Selenium 的版本 爬蟲_104人力銀行工作清單 ，但隨著爬蟲技術的提升，就想要來更新一下爬蟲的程式 xD
註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔
MOMO購物網 網路爬蟲
發表於
|
更新於:
|
閱讀次數:
最近梅雨季讓房間變得好潮濕，為了避免衣服發霉就決定要來採購一台除濕機，
但是除濕機的品牌又多又雜，在網站上總是看的頭昏眼花，不如就來寫個爬蟲程式自動幫我們整理出結構化的資料吧!(咦!這句話怎麼這麼熟悉?)
註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔
PChome 網路爬蟲
發表於
|
更新於:
|
閱讀次數:
PChome 的網路爬蟲程式並不難寫，但是如何寫得簡潔又有效率就不容易了! 在這篇文章我將簡介在開發 Pchome 的爬蟲程式時需要注意的事項與解決方法，並於最後附上程式碼提供參考。
註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔
台灣博碩士論文網爬蟲v2
發表於
|
更新於:
|
閱讀次數:
前幾天記錄了一篇完全透過 Selenium 來爬博碩士論文網的文章 台灣博碩士論文網爬蟲，但有沒有辦法透過 requests 更快速的完成呢?
這篇簡單記錄了如何透過 request 的 post來保存當前的 Session，再藉由這個 Session 的狀態來 get 我們需要的資料，另方面也優化部分的程式碼，讓程式變得更簡潔些!
文本分類大亂鬥_文本特徵處理與機器學習模型綜合分析
發表於
|
更新於:
|
閱讀次數:
當我們在進行自然語言處理(NLP)中的文本分類任務時，我們常常會看到文本特徵有相當多種的處理方式，如詞頻、TF-IDF、word2vec…；而在處理完特徵後的建模階段也有相當多的機器學習與深度學習的演算法。你是不是也跟我一樣好奇這些文本特徵處理與機器學習模型各自組合在一起的時候會有怎樣的結果呢?
這篇文章將嘗試分析 5 萬篇 聯合新聞網站 的新聞，利用新聞的內文來預測新聞的類型(共 10分類)，在此感謝 聯合新聞網站 提供這些豐富的資料!
Facebook粉絲專頁爬蟲筆記
發表於
|
更新於:
|
閱讀次數:
先前曾發表過 網路爬蟲_Facebook粉絲團貼文與留言 的文章，可以透過 Selenium 來抓取 Facebook 粉絲專頁的貼文與留言，但由於 Selenium 的效率實在太慢了，因此這篇文章是記錄我嘗試用 request 抓取資料的筆記，並且於文末附上台灣的2020總統大選 3位候選人從 2019年 1 月至 2020 年 2 月間的貼文與留言資料~
台灣政治人物 Facebook 粉絲專頁清單
發表於
|
更新於:
|
閱讀次數:
最近想要做Facebook上有關政治的社群網絡分析，所以寫了一個 Facebook粉絲專頁的網絡爬蟲程式。但是當我寫完程式後又出現了下個問題，就是「政治人物有這麽多，要怎麼收集這些人的粉絲頁連結清單呢?」