看板 [ Soft_Job ]
討論串請益Request爬蟲
共 3 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
請益Request爬蟲
推噓10(13推 3噓 38→)留言54則，0人參與, 1年前最新作者andy22543 (andy22543)時間1年前 (2023/01/19 20:03), 編輯資訊
1
0
1
內容預覽:
最近接到一個專案要爬購物網站存mySQL. 爬分類裡面各產品資訊+內頁詳細資訊. 目前已經使用selenium+multithreading寫完. 可惜速度不夠快. 所以正改用request改寫. 但發現不管用什麼方法(session、cookie、payload)都沒辦法取得首頁的商品資訊. 已經
(還有385個字)
#2
Re: 請益Request爬蟲
推噓20(20推 0噓 25→)留言45則，0人參與, 1年前最新作者s25g5d4 (function(){})()時間1年前 (2023/01/25 15:28), 編輯資訊
0
0
0
內容預覽:
手機打字不想打太多. 一般瀏覽器打開頁面可以分成幾個步驟：. 1. 請求 HTML. 2. 解析 HTML 並下載 assets (img, css, js). 3. 執行 js. 4. 渲染 DOM. 之後就是一直 3 4 按需執行，有動態內容可能還會有 2. 當然，實際上的渲染執行步驟比這複雜的
(還有863個字)
#3
Re: 請益Request爬蟲
推噓1(1推 0噓 0→)留言1則，0人參與, 1年前最新作者lovdkkkk (dk)時間1年前 (2023/01/27 22:00), 1年前編輯資訊
0
0
5
內容預覽:
追了一天動漫來回點東西，. 轉生公主天才千金好香，槍神畫面好屌. 遇到問題時除了試著使用其它工具或做法，. 還能做的 - 或許也是應該先做的 - 是瞭解問題。. 或許你是後端工程師，對前端不熟，那看看你們公司有沒有前端工程師可以問，. 不然試著到前端社群上請益看看。. 要爬 https://www.
(還有893個字)
首頁
上一頁
1
下一頁
尾頁