20240207-dcard-crawler
20240207-dcard-crawler
February 7, 2024
https://github.com/alanhc/dcard_crawler.git
Backgorund
有些反爬蟲會針對selenium偵測，因此使用 undetected-chromedriver
先去 chrome://settings/help 確定chrome是最新版本
playwright 比 seleium 快
DrissionPage vs playwright
- DrissionPage 比較快
- 0.844653 秒 vs 3.023822 秒
- 不會觸發一些反爬蟲措施
斷詞
https://www.fontpalace.com/font-download/SimHei/
文字雲
ckip-transformers
文字雲
jieba 比較 ckip-transformers
|  |
|---|---|
| ckip-transformers | jieba |