20240207-dcard-crawler

20240207-dcard-crawler

February 7, 2024

https://github.com/alanhc/dcard_crawler.git

Backgorund

有些反爬蟲會針對selenium偵測,因此使用 undetected-chromedriver

先去 chrome://settings/help 確定chrome是最新版本

playwright 比 seleium 快

DrissionPage vs playwright

  • DrissionPage 比較快
    • 0.844653 秒 vs 3.023822 秒
  • 不會觸發一些反爬蟲措施

斷詞

https://www.fontpalace.com/font-download/SimHei/

文字雲

ckip-transformers

文字雲

jieba 比較 ckip-transformers


ckip-transformersjieba

Result

爬蟲時間:DrissionPage < Playwright < seleium

段詞: ckip-transformers > jieba

Ref