[請益] 自動更新且備份網頁

看板Soft_Job (軟體人)作者 (不隨便的人)時間9年前 (2016/10/26 06:52), 編輯推噓13(13027)
留言40則, 19人參與, 最新討論串1/1
個人工作室目前預計進行一種類似網路虛擬遊戲幣選擇權、寶物的小筆買賣生意 該交易方式全部都藉由網頁上的討論區執行 類似8591 但今天只要是買賣方刊登商品,不論成交或刪除下架等,該討論區完全不會留下任何資料 ,所以即便可能討論區前後2小時文章完全一樣不變,其中卻早已成交了數十筆交易,假如 要設計一款可以人不用在電腦前,只要有人刊登新的文章,就可以自動進入該文章且儲存 那篇文章的網頁內容的軟體。 (最好可以在背景程式下作業,讓電腦可以同時做別的事) 請問假如程設底子是零,想做到以上這樣內容的軟體會不會很困難? 是想藉機讓自己碰觸一些這類的領域卻又不知如何下手 還請神人大大指點迷津,該研究那一方面的開發程式 另外想請問這樣的軟件,若請人設計,報價大約在多少範疇才會不失禮數? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 115.43.34.201 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1477435970.A.D39.html

10/26 09:02, , 1F
初學要研究的話我會說去看python requests api,這種
10/26 09:02, 1F

10/26 09:02, , 2F
程度的程式估計幾千就會有人接了。
10/26 09:02, 2F

10/26 10:47, , 3F
網路爬蟲可以做到
10/26 10:47, 3F

10/26 10:49, , 4F
每一分鐘掃一下 之前做過PTT GAMESALE版的爬蟲
10/26 10:49, 4F

10/26 10:50, , 5F
我大概12hr寫完初版 又多花20hr寫完整
10/26 10:50, 5F

10/26 12:19, , 6F
python 找程式碼湊一湊不用多少時間
10/26 12:19, 6F

10/26 13:06, , 7F
說真的 加入哩哩拉拉小細節 至少5000up
10/26 13:06, 7F

10/26 13:08, , 8F
如果要弄的很好其實到萬也有可能
10/26 13:08, 8F

10/26 13:53, , 9F
每分鐘掃 那每分鐘中間交易的不就沒抓到
10/26 13:53, 9F

10/26 14:10, , 10F
說幾千的快點接阿0.0
10/26 14:10, 10F

10/26 14:37, , 11F
爬的太頻繁 有些網站也會踢吧
10/26 14:37, 11F

10/26 14:47, , 12F
如果討論區沒有防範爬蟲 寫起來很快
10/26 14:47, 12F

10/26 17:09, , 13F
感覺淺在要求很多 應該要破萬
10/26 17:09, 13F

10/26 21:30, , 14F
阿就爬蟲阿..如果目標網站會擋頻率過高的 換IP或多機器
10/26 21:30, 14F

10/26 21:30, , 15F
10/26 21:30, 15F

10/26 21:33, , 16F
沒潛在需求真的幾千能搞定啦,但遇到各種block棘手的
10/26 21:33, 16F

10/26 21:33, , 17F
話自然加價了
10/26 21:33, 17F

10/26 22:47, , 18F
很簡單 大概一千二就可以了 XD (但找我決對不接的 科科
10/26 22:47, 18F

10/26 23:31, , 19F
原來這樣只要幾千塊@@
10/26 23:31, 19F

10/26 23:40, , 20F
設定每幾秒一個request看網頁有沒有多新文章或舊文章
10/26 23:40, 20F

10/26 23:40, , 21F
有沒有update過,有就進去存檔,這樣的需求幾千不意外
10/26 23:40, 21F

10/26 23:40, , 22F
吧。就怕上面說的隱藏的需求或block出現自然價格就不
10/26 23:40, 22F

10/26 23:40, , 23F
一樣了。
10/26 23:40, 23F

10/27 00:41, , 24F
我感覺估幾千的都沒估UI製作耗時
10/27 00:41, 24F

10/27 00:41, , 25F
只有算到資料存下來沒估後續怎麼有效瀏覽
10/27 00:41, 25F

10/27 00:49, , 26F
其實我只想到log沒去想UI XD不過同篇文章同log也不難
10/27 00:49, 26F

10/27 00:49, , 27F
讀啦,要更好瀏覽的UI自然一分錢一分貨了
10/27 00:49, 27F

10/27 08:40, , 28F
https://scrapinghub.com/pricing/ 直接參考現成的吧
10/27 08:40, 28F

10/27 08:42, , 29F
http://bit.ly/2fhiZGe Quora 上還有很多家
10/27 08:42, 29F

10/27 09:53, , 30F
這幾千塊誰要接阿,現在流行亂報價嗎
10/27 09:53, 30F

10/27 10:19, , 31F
單純只爬完資料,吐json之類的序列化結果
10/27 10:19, 31F

10/27 10:20, , 32F
不負責後續blocking、其他UI視覺化等等的話
10/27 10:20, 32F

10/27 10:20, , 33F
或許可以找缺錢的學生寫看看
10/27 10:20, 33F

10/27 10:23, , 34F
上述python的話用scrapy或urllib+美麗湯兜一下湊活用
10/27 10:23, 34F

10/27 12:14, , 35F
這種的不用想UI吧,直接爬HTML+CSS下來
10/27 12:14, 35F

10/27 12:47, , 36F
Chrome裝自動重整的插件 設定每10秒重整
10/27 12:47, 36F

10/27 12:48, , 37F
然後再把螢幕畫面錄製下來 選我選我
10/27 12:48, 37F

11/12 19:14, , 38F
如果只是要把網頁爬來當然容易,可是我沒有看到你之後打
11/12 19:14, 38F

11/12 19:14, , 39F
算怎麼運用資料?
11/12 19:14, 39F

11/12 19:14, , 40F
你要人工看的話幾千塊ok吧
11/12 19:14, 40F
文章代碼(AID): #1O3-92qv (Soft_Job)
文章代碼(AID): #1O3-92qv (Soft_Job)