Journey

Parsing Raw JSON into a Python Dictionary

Posted on 2022-04-23

There are many tricks if we want to parse Raw JSON content into a python dictionary.
Here is the example when crawling data from Facebook:

Posted on 2020-12-23 Edited on 2021-10-13

從小到大我一直認為自己在學習上是個很遲鈍的人，不明白很多很多的事情。例如小時候在學計算兩個時間點間的差距時，老師跟我們說時間是每 60 分鐘就進位，接著示範幾個例子後就讓我們開始練習。當然同學們都能很快速的就算出答案，而我則還在思考著為什麼是 60, 而不是 50 或 70…

Posted on 2020-12-01 Edited on 2021-10-12

Posted on 2020-09-12 Edited on 2021-10-13

PyConTW2020 在上週（9/5-9/6）結束了，來記錄和分享一下從自行提案到上台演講的心路歷程～

Posted on 2020-08-02 Edited on 2021-10-13

當我們在對特定網站進行網路爬蟲的任務時，經常會遇到鎖定IP 的反爬蟲機制，這時候透過代理伺服器來向網站請求資料就是對應的解決方式!

*本文接受深智數位出版社贊助撰寫而成

Posted on 2020-06-19 Edited on 2021-10-13

先前曾發過一篇透過 Selenium 的版本爬蟲_104人力銀行工作清單，但隨著爬蟲技術的提升，就想要來更新一下爬蟲的程式 xD

註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔

Posted on 2020-06-15 Edited on 2021-10-13

最近梅雨季讓房間變得好潮濕，為了避免衣服發霉就決定要來採購一台除濕機，
但是除濕機的品牌又多又雜，在網站上總是看的頭昏眼花，不如就來寫個爬蟲程式自動幫我們整理出結構化的資料吧!(咦!這句話怎麼這麼熟悉?)

註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔

Posted on 2020-06-14 Edited on 2021-10-13

最近想要購買新的筆記型電腦，但是筆記型電腦的品牌/規格又多又複雜，在網站上總是看的頭昏眼花，不如就來寫個爬蟲程式自動幫我們整理出結構化的資料吧!

註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔

Posted on 2020-06-13 Edited on 2021-10-13

PChome 的網路爬蟲程式並不難寫，但是如何寫得簡潔又有效率就不容易了! 在這篇文章我將簡介在開發 Pchome 的爬蟲程式時需要注意的事項與解決方法，並於最後附上程式碼提供參考。
註：本篇文章僅供研究使用，請勿惡意大量爬取資料造成對方公司的負擔

Posted on 2020-06-11 Edited on 2021-10-13

「真正重要的東西，只用眼睛是看不見的。」