[請益] 資料庫速度問題

看板Soft_Job (軟體人)作者 (hippo泡)時間10年前 (2016/05/05 21:25), 10年前編輯推噓16(16010)
留言26則, 16人參與, 最新討論串1/1
最近遇到一個狀況 有4000萬筆select and insert sql指令要跑 本來是開一隻程式在跑 但看處理速度來說會花太久時間 因此改成10隻一起跑(懶得寫成multi thread QQ) 速度提升2~3倍 請問還有甚麼方式可以再加快資料庫的速度呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.58.64 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1462454745.A.B48.html

05/05 21:27, , 1F
Index 建partition
05/05 21:27, 1F
index有建了 partition..忘記以前上課有上過了 謝謝>< ※ 編輯: stevekevin10 (111.241.58.64), 05/05/2016 21:30:42

05/05 21:33, , 2F
去查大量新增的語法
05/05 21:33, 2F
他的順序是...先select得到結果 做些處理再insert>< ※ 編輯: stevekevin10 (111.241.58.64), 05/05/2016 21:39:25

05/05 21:40, , 3F
Sqlserver 找 bcp in
05/05 21:40, 3F
這...沒聽過我google一下 謝謝

05/05 22:32, , 4F
bulk insert,每秒幾千筆不是問題
05/05 22:32, 4F
目前每秒6000左右不知道能不能再快點..

05/05 22:34, , 5F
Merge
05/05 22:34, 5F
merge??

05/05 22:41, , 6F
學會變通阿..甚麼叫做他先怎樣怎樣..又不是定死的
05/05 22:41, 6F

05/05 22:46, , 7F
Hive
05/05 22:46, 7F
※ 編輯: stevekevin10 (111.241.58.64), 05/05/2016 22:53:49

05/05 23:43, , 8F
先把Select的結果 先暫存在陣列裡面 比如Select 有一
05/05 23:43, 8F

05/05 23:44, , 9F
萬筆資料 透過陣列取出資料 組出一次性 insert 在一次
05/05 23:44, 9F

05/05 23:45, , 10F
寫入 絕對比使用多程式去執行Insert快好幾倍
05/05 23:45, 10F

05/05 23:46, , 11F
會慢 主要是insert一次資料 就必須更新索引一次
05/05 23:46, 11F

05/06 08:35, , 12F
換一座storage
05/06 08:35, 12F

05/06 14:22, , 14F
只select要的,很多人無腦select *
05/06 14:22, 14F

05/06 16:11, , 15F
先掃一遍select串成insert sql存檔 然後開檔bulk insert
05/06 16:11, 15F

05/06 19:20, , 16F
才4000萬筆根本不用上面一堆人講那麼複雜,你只要安裝hp ve
05/06 19:20, 16F

05/06 19:20, , 17F
rtica , 把資料匯進去就行了,sql照跑薪水照領,哪來那麼多
05/06 19:20, 17F

05/06 19:20, , 18F
事,又不是吃飽太閒研究這些幹嘛
05/06 19:20, 18F

05/06 19:53, , 19F
比較簡單付錢 想要免費比較複雜 有些公司想要免費
05/06 19:53, 19F

05/07 01:29, , 20F
推hp vertica
05/07 01:29, 20F

05/07 12:33, , 21F
先把index的更新關掉,全部跑完再一次更新
05/07 12:33, 21F

05/07 13:42, , 22F
真的要快,就不要用sql了
05/07 13:42, 22F

05/07 14:21, , 23F
elasticsearch
05/07 14:21, 23F

05/08 13:44, , 24F
好像再描述清楚一點比較好
05/08 13:44, 24F

05/08 13:45, , 25F
什麼DB, insert 跟select 都是4K w?
05/08 13:45, 25F

05/08 13:46, , 26F
有沒有可能卡硬體速度
05/08 13:46, 26F
文章代碼(AID): #1NAqdPj8 (Soft_Job)
文章代碼(AID): #1NAqdPj8 (Soft_Job)