PTT職涯區 / Tech_Job (科技人)

Re: [討論] 群聯買不起三台nvdia dgx?

看板Tech_Job (科技人)作者 (lalacoa)時間5月前 (2024/05/29 21:20), 5月前編輯推噓15(16推 1噓 31→)
留言48則, 24人參與, 5月前最新討論串2/2 (看更多)
我也看了這個訪談 所以故事應該是.. 幾個工程師想在公司弄LLM fine tune去跟老闆要三台DGX 老闆一看跟公司業務八竿子打不著拒絕了 工程師拿自家SSD變成4090的VRAM自幹LLM 老闆知道後發現自家產品居然也能跟AI沾上邊，開始大量宣傳新發明 這故事是不是告訴我們...養閒人還是很重要的 (但不是普通的閒人) 夠閒才會激發創意 整天趕進度是不會有新發明的 ※ 引述《myis8787 (white)》之銘言： : 來源： https://www.youtube.com/watch?v=mD6IZBnfJWU
: 標題：市值從零到一千億的創業過程！群聯電子如何成為台灣晶片設計傳奇？協助台灣 企 : 國際盃？專訪群聯電子創辦人潘健成董事長！ : -------- : 訪談裡面提到群聯同事要求潘董購入三台NV : 總價六千萬的DGX來訓練公司自己用的LLM : 潘董直接回答最近市場不好 沒錢！ : 台灣一線IC廠真的買不起嗎？ : 還是潘董覺得沒那個價值呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 185.213.82.243 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1716988837.A.35E.html ※ 編輯: lalacoa (185.213.82.243 臺灣), 05/29/2024 21:21:08
推
05/29 21:26, 5月前 , 1F
這種故事真實性有多高XD
05/29 21:26, 1F
推
05/29 21:26, 5月前 , 2F
規模大一點的公司都會有 沒做產品 純研發的部門
05/29 21:26, 2F
→
05/29 21:46, 5月前 , 3F
像gg的pathfinding阿 上班就是看機票跟股票
05/29 21:46, 3F
推
05/29 22:00, 5月前 , 4F
這故事你會信？
05/29 22:00, 4F
推
05/29 22:09, 5月前 , 5F
可以跟董事長說得上話的都是長官了
05/29 22:09, 5F
推
05/29 22:23, 5月前 , 6F
給潘蛇15分鐘
05/29 22:23, 6F
→
05/29 22:42, 5月前 , 7F
gg PFD都在看機票和股票？笑死唬爛不打草稿
05/29 22:42, 7F
→
05/29 23:11, 5月前 , 8F
XD
05/29 23:11, 8F
→
05/30 00:40, 5月前 , 9F
NV是有錢人的AI,這個是窮人版AI
05/30 00:40, 9F
推
05/30 01:53, 5月前 , 10F
給潘蛇跟皮衣刀客講15分鐘，群聯就起飛了
05/30 01:53, 10F
推
05/30 03:53, 5月前 , 11F
SSD 當vram 還跑LLM ？ 一個月內就報廢了 來搞笑
05/30 03:53, 11F
→
05/30 05:51, 5月前 , 12F
跑LLM當壓力測試新工具沒問題啦XD
05/30 05:51, 12F
推
05/30 07:13, 5月前 , 13F
改成ssd慢很多
05/30 07:13, 13F
→
05/30 07:56, 5月前 , 14F
先不談ssd當vram的真實性啦,但的確要夠閒才會開始搞
05/30 07:56, 14F
→
05/30 07:57, 5月前 , 15F
事,如果每天忙到連睡覺都沒時間,累都累死了搞事只是
05/30 07:57, 15F
→
05/30 07:57, 5月前 , 16F
在搞自己而已
05/30 07:57, 16F
→
05/30 08:55, 5月前 , 17F
很簡單的一個邏輯 假如是你自己當side proj作來玩
05/30 08:55, 17F
→
05/30 08:55, 5月前 , 18F
的 沒資源時拿什麼理由開口跟你老闆要資源？
05/30 08:55, 18F
→
05/30 08:55, 5月前 , 19F
除非是你跟你老闆有私交 或是這side proj本身就是
05/30 08:55, 19F
→
05/30 08:55, 5月前 , 20F
你老闆job assignment的一部分 不然我想不太到這種
05/30 08:55, 20F
→
05/30 08:55, 5月前 , 21F
情況下能跟老闆開口要資源的合理性
05/30 08:55, 21F
推
05/30 12:29, 5月前 , 22F
其實好像很多IC設計這樣幹ㄏ
05/30 12:29, 22F
推
05/30 13:03, 5月前 , 23F
群聯發明的？確定不是別人研究成果拿來用
05/30 13:03, 23F
→
05/30 13:03, 5月前 , 24F
05/30 13:03, 24F
推
05/30 13:19, 5月前 , 25F
他們手上ssd很多啊,拿一些來當消耗品還好啦
05/30 13:19, 25F
推
05/30 15:37, 5月前 , 26F
問題是誰當閒人啊，給我爽，副總下去做？
05/30 15:37, 26F
推
05/30 16:40, 5月前 , 27F
這個故事是真的，因為開口要的是他們現任技術長
05/30 16:40, 27F
推
05/30 22:23, 5月前 , 28F
台灣玩不起高階設備，AI都使用錢堆錢
05/30 22:23, 28F
→
05/30 23:40, 5月前 , 29F
SSD當Vram跑LLM 阿不就只是用時間換取空間
05/30 23:40, 29F
→
05/30 23:40, 5月前 , 30F
當然還是可以train阿 阿你finetune完別人都出
05/30 23:40, 30F
→
05/30 23:40, 5月前 , 31F
下一代模型了 這"發明"是有什麼鳥用
05/30 23:40, 31F
→
05/30 23:41, 5月前 , 32F
阿你如果是拿來infer 你不offload到GPU本來就是
05/30 23:41, 32F
→
05/30 23:42, 5月前 , 33F
在RAM上 滿了就swap到SSD kv cache也放ssd
05/30 23:42, 33F
→
05/30 23:43, 5月前 , 34F
阿這不就標準操作 啥發明
05/30 23:43, 34F
→
05/30 23:43, 5月前 , 35F
老闆看起來是真的不懂才會想到要把這拿來吹
05/30 23:43, 35F
不過潘董有提到說這個是用在公司或家庭內部的模型訓練，不是跟那些巨頭AI相比，這個 概念倒是挺前衛的
→
05/30 23:44, 5月前 , 36F
基層工程師大概也在苦笑 不就開源兜一兜結果被當寶
05/30 23:44, 36F
→
05/31 00:26, 5月前 , 37F
有時候老闆幹些工程師覺得很無聊的事 股東卻會高潮
05/31 00:26, 37F
→
05/31 00:26, 5月前 , 38F
然後股價就噴起來
05/31 00:26, 38F
→
05/31 00:27, 5月前 , 39F
蹭AI是現在的主流風向
05/31 00:27, 39F
※ 編輯: lalacoa (1.161.163.57 臺灣), 05/31/2024 01:14:23
推
05/31 01:22, 5月前 , 40F
花個半年微調模型 效果好不好要半年後才知道 這觀念
05/31 01:22, 40F
→
05/31 01:22, 5月前 , 41F
的確是挺前衛的
05/31 01:22, 41F
噓
05/31 03:11, 5月前 , 42F
前衛個屁，家裡用買個GPU啊，誰閒來沒事用SSD搞這個
05/31 03:11, 42F
→
05/31 03:11, 5月前 , 43F
，費時又麻煩
05/31 03:11, 43F
→
05/31 03:13, 5月前 , 44F
就概念是有人說可以徒手蓋房子不用工具，當然做得到
05/31 03:13, 44F
→
05/31 03:13, 5月前 , 45F
，但是意義何在？
05/31 03:13, 45F
→
05/31 03:14, 5月前 , 46F
單純是蹭AI的噱頭新聞罷了
05/31 03:14, 46F
推
05/31 20:06, 5月前 , 47F
臉書 谷歌都在放出模型了，主要是要練公司內部資
05/31 20:06, 47F
→
05/31 20:06, 5月前 , 48F
料吧
05/31 20:06, 48F
‣ 更多 lalacoa 的文章
文章代碼(AID): #1cLokbDU (Tech_Job)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 2 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共2篇)
Tech_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 lalacoa 的文章
文章代碼(AID): #1cLokbDU (Tech_Job)