Re: [請益] 大家爬蟲都爬什麼好玩？已刪文

看板Soft_Job (軟體人)作者SIMD (丹丹指令流)時間4年前 (2020/08/20 00:08)推噓1(1推 0噓 0→)

留言1則, 1人參與討論串4/5 (看更多)

這個主題真的蠻吸引人的XD 小弟我第一個程式就是在爬/串銀行的個人網銀會了些奇怪的爬蟲姿勢，跟解驗證碼的能力XD 每天能不寫有功能的程式，但幾乎都會寫爬蟲或更新 (搞得github空空的) 搶券(我這邊對不起正常人類，已經退坑更新太累) 用Python寫requests做測試，到後面為了跟其他人競爭 python後端做任務分發 golang寫類似wrk的工具跟抓任務執行在包docker大量部署這裡真的進步神速，為了趕在下一個檔期上線也能認識到一些資料格式的設計一年下來省了10幾萬有，那段時間價值觀整個怪怪的等待整點的時候真的刺激，看log湧進來的感覺商品補貨通知不用多說了，這應該最簡單了，串Telegram給通知真的方便我認為最好玩的爬各類O片網站，會學到很多不是ReCAPTCHA的反機器人方式還有解JS混淆等等，或是找到各種繞過的方式這些網站走過一輪，在噁心的網站我相信都能解了 (最近還看過用websocket傳影片，HTTP/2.0都有的) 爬影片網址(確認對方允許不同IP下載) 分發給機器下載自動上傳到Google drive 現在也存了3TB多(X 線上遊戲的網頁登入器，串接+驗證碼辨識用requests，才能體會那有趣的感覺 Selenium會輸，所以沒在用XD 有時候爬一爬別人網站可以去反思對方API為什麼這樣設計，一個另類收穫 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.242.7.133 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1597853306.A.F11.html ※ 編輯: SIMD (27.242.7.133 臺灣), 08/20/2020 00:09:26