PTT職涯區 / Soft_Job (軟體人)

Re: [請益] 大家爬蟲都爬什麼好玩？

看板Soft_Job (軟體人)作者 (UoU)時間4年前 (2021/02/04 20:28), 編輯推噓26(28推 2噓 16→)
留言46則, 37人參與, 4年前最新討論串5/5 (看更多)
不好意思，想藉這個標題問一下 如果爬商業網站的話 寫通知信或是告知信需要給哪個部門? 還是寫給客服信箱才可以? 不然到時候我怕實驗爬蟲程式 搞到最後被反制或是列為黑名單ip就糟糕了 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.136.209.27 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1612441694.A.92E.html
推
02/04 21:00, 4年前 , 1F
幹嘛寫 難道人家會為了你去申請這個 ip 列白名單嗎
02/04 21:00, 1F
噓
02/04 21:04, 4年前 , 2F
寫什麼，太閒
02/04 21:04, 2F
推
02/04 21:35, 4年前 , 3F
告知後直接進黑名單
02/04 21:35, 3F
推
02/04 21:58, 4年前 , 4F
小夫我要進來了
02/04 21:58, 4F
推
02/04 22:01, 4年前 , 5F
怕的話也可以買 IP
02/04 22:01, 5F
推
02/04 23:04, 4年前 , 6F
你可以反制他的反制啊 寫爬蟲就是這樣 見不得光
02/04 23:04, 6F
推
02/05 00:30, 4年前 , 7F
XD 金勾追
02/05 00:30, 7F
推
02/05 00:47, 4年前 , 8F
XD 怪盜基德嗎 我晚上9點要進來囉
02/05 00:47, 8F
→
02/05 00:53, 4年前 , 9F
推三樓
02/05 00:53, 9F
→
02/05 01:05, 4年前 , 10F
可能就看一下robots.txt吧?
02/05 01:05, 10F
→
02/05 02:23, 4年前 , 11F
定時間換ip就可以解決這個問題了
02/05 02:23, 11F
推
02/05 06:55, 4年前 , 12F
先爬500個代理ip之後隨便你玩
02/05 06:55, 12F
推
02/05 07:02, 4年前 , 13F
爬蟲的樂趣不就是攻防嗎
02/05 07:02, 13F
→
02/05 07:51, 4年前 , 14F
現在還能看到請謝謝對不起的有禮鄉民真的少見
02/05 07:51, 14F
推
02/05 09:44, 4年前 , 15F
寫了你直接被吉
02/05 09:44, 15F
推
02/05 09:46, 4年前 , 16F
怪盜基德www
02/05 09:46, 16F
推
02/05 10:02, 4年前 , 17F
我通常request前都sleep一下，不要造成人家主機負擔
02/05 10:02, 17F
→
02/05 10:02, 4年前 , 18F
，當個友善的網路公民
02/05 10:02, 18F
推
02/05 10:32, 4年前 , 19F
從此在暗網的角落，流傳著現代怪盜基德的傳說……
02/05 10:32, 19F
→
02/05 11:07, 4年前 , 20F
不會在黑名單太久，防火牆記憶體有限
02/05 11:07, 20F
→
02/05 11:11, 4年前 , 21F
不要同時平行跑太多工作，對方都沒什麼感覺
02/05 11:11, 21F
→
02/05 11:13, 4年前 , 22F
最暴力的爬蟲是 Google Bot，你很難像他那麼兇狠
02/05 11:13, 22F
推
02/05 13:00, 4年前 , 23F
把爬的速度放慢到跟user差不多然後放著做別的事
02/05 13:00, 23F
推
02/05 13:02, 4年前 , 24F
你直接請他給你database 帳密比較快
02/05 13:02, 24F
推
02/05 13:15, 4年前 , 25F
發個request 睡個五秒，然後你去睡一覺
02/05 13:15, 25F
→
02/05 14:34, 4年前 , 26F
fb的我覺得也很兇...
02/05 14:34, 26F
推
02/05 15:47, 4年前 , 27F
太溫良恭儉讓了吧
02/05 15:47, 27F
推
02/05 16:41, 4年前 , 28F
寫個random sleep阿，防止ban ip也有很多方法吧
02/05 16:41, 28F
推
02/05 17:16, 4年前 , 29F
大哥你也太可愛了吧XD
02/05 17:16, 29F
推
02/05 18:55, 4年前 , 30F
目前爬蟲遇到無法克服的障礙就是captcha, 有人知道
02/05 18:55, 30F
→
02/05 18:55, 4年前 , 31F
有什麼工具嗎？
02/05 18:55, 31F
推
02/05 20:53, 4年前 , 32F
回樓上 OCR
02/05 20:53, 32F
→
02/05 21:39, 4年前 , 33F
captcha是大坑喔 要學openCV ML 看圖片難易度
02/05 21:39, 33F
→
02/05 21:48, 4年前 , 34F
V3現在不用了不是?
02/05 21:48, 34F
→
02/05 22:32, 4年前 , 35F
現在不都是滑塊？還有驗證碼喔
02/05 22:32, 35F
→
02/06 02:31, 4年前 , 36F
ocr無用，我試過很多 ocr 方案，他們都只能對印刷字
02/06 02:31, 36F
→
02/06 02:31, 4年前 , 37F
體有辨識力，手寫字和扭曲的captcha無法辨識
02/06 02:31, 37F
推
02/06 07:41, 4年前 , 38F
看過有人寫程式產生資料集然後訓練一個 ocr model 來解決
02/06 07:41, 38F
推
02/06 10:45, 4年前 , 39F
自幹的OCR應該也很難堪用吧
02/06 10:45, 39F
噓
02/06 12:34, 4年前 , 40F
笑死 你有聽過小偷偷東西前還先告知屋主我要偷了哦？
02/06 12:34, 40F
→
02/06 12:35, 4年前 , 41F
被黑單掛個vpn再戰
02/06 12:35, 41F
推
02/06 20:53, 4年前 , 42F
captcha隨便套個cnn model就可以了
02/06 20:53, 42F
推
02/06 22:59, 4年前 , 43F
怪盜基德超好笑哈哈哈哈
02/06 22:59, 43F
推
02/07 06:09, 4年前 , 44F
有禮貌爬蟲
02/07 06:09, 44F
推
02/07 15:29, 4年前 , 45F
你應該有長鬍子
02/07 15:29, 45F
推
02/08 19:38, 4年前 , 46F
推有禮貌蟲蟲
02/08 19:38, 46F
‣ 更多 mejichoco 的文章
文章代碼(AID): #1W6-XUak (Soft_Job)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 mejichoco 的文章
文章代碼(AID): #1W6-XUak (Soft_Job)