PTT職涯區 / Trading (金融交易)

[問題] 期交所選擇權每日行情爬蟲

看板Trading (金融交易)作者 (BG蔚)時間5年前 (2019/07/01 16:07), 5年前編輯推噓3(3推 0噓 12→)
留言15則, 5人參與, 5年前最新討論串1/1
各位大大午安 不曉得有沒有人有在期交所爬選擇權每日行情資料 從今天開始發現沒有辦法爬到歷史資料 不管怎麼改Form Data裡面的參數都只能爬到今天的 想請問有沒有人遇到相同的問題 謝謝！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.251.48.211 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Trading/M.1561968461.A.2E8.html
推
07/01 18:29, 5年前 , 1F
證交所也是從前幾天開始。期交 證交常常一直改網頁
07/01 18:29, 1F
推
07/01 21:28, 5年前 , 2F
你要爬明細還是？
07/01 21:28, 2F
我想爬的是在https://www.taifex.com.tw/cht/3/optDailyMarketReport 的歷史資 料，用的語言是python ※ 編輯: interwise613 (114.32.162.16 臺灣), 07/02/2019 00:13:07
→
07/02 09:03, 5年前 , 3F
用chrome按F12可以看到formdata
07/02 09:03, 3F
→
07/02 09:04, 5年前 , 4F
network
07/02 09:04, 4F
我有去看但我程式碼打我指定的日期他卻爬到最新的日期，怎麼改日期都一樣 ※ 編輯: interwise613 (60.251.48.211 臺灣), 07/02/2019 09:41:42
→
07/02 12:19, 5年前 , 5F
07/02 12:19, 5F
→
07/02 12:20, 5年前 , 6F
先試試吧 不行的話看要不要貼一下你程式 或晚上我回家後再
07/02 12:20, 6F
→
07/02 12:20, 5年前 , 7F
試
07/02 12:20, 7F
→
07/02 13:30, 5年前 , 8F
07/02 13:30, 8F
→
07/02 13:30, 5年前 , 9F
lyMarketReport.py
07/02 13:30, 9F
→
07/02 13:31, 5年前 , 10F
07/02 13:31, 10F
感謝totte大大，問題解決了，原因出在我是用http不是https,以前用http是沒問題的， 可能最近網站有改版 ※ 編輯: interwise613 (60.251.48.211 臺灣), 07/02/2019 14:04:14
→
07/02 14:28, 5年前 , 11F
是 我上禮拜五也抓很久的錯 證交所也是改https
07/02 14:28, 11F
推
07/04 08:57, 5年前 , 12F
一直改版很討厭
07/04 08:57, 12F
→
07/05 02:29, 5年前 , 13F
最好還是自己每天把資料抓回來存db不要每次去網站上query
07/05 02:29, 13F
是 但有時沒辦法每天做 所以還是有抓歷史資料的需求 ※ 編輯: interwise613 (39.8.39.89 臺灣), 07/05/2019 11:18:56
→
07/05 16:10, 5年前 , 14F
先寫好updater之後，用一個bat檔丟在windows排程工作
07/05 16:10, 14F
→
07/05 16:11, 5年前 , 15F
把on error給寫好來，每天就會自己去更新了
07/05 16:11, 15F
‣ 更多 interwise613 的文章
文章代碼(AID): #1T6RzDBe (Trading)
Trading 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 interwise613 的文章
文章代碼(AID): #1T6RzDBe (Trading)