PTT職涯區 / Stock (股票)

Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據

看板Stock (股票)作者 (溫一壺月光作酒)時間22小時前 (2025/01/29 23:20), 21小時前編輯推噓23(29推 6噓 116→)
留言151則, 44人參與, 5小時前最新討論串4/12 (看更多)
※ 引述《mangle (mangle123)》之銘言： : 比較好奇這段： : 儘管蒸餾是AI業界常見做法，但DeepSeek若利用蒸餾技術來打造自家模型，並與OpenAI競 爭，將違反OpenAI服務條款，因此產生疑慮。 : OpenAI的服務，或是「利用輸出結果，來開發與OpenAI競爭的模型」。 : 各個ai 大語言模型不是都會互相參照比較和訓練嗎？ 我以為這是業界常識… : 不過要怎麼定義「與openai 競爭的模型」？ 因為deepseek 也沒盈利而且也開源學習，他也承認他不只從chatgpt訓練也參照不少，deep seek 也認為自己是chatgpt : 所以是真有盜竊疑慮，還是業界常識的互相學習使用？ 如何定義這部分 各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強 自從OpenAI爆紅以來, 大公司的LLM模型都是遵循OpenAI的訓練方法 預先訓練: 拿大量文本讓AI模型學習基本語言能力、基本知識 監督微調: 有了基本能力之後, 模型開始有推理能力 這時候由人類介入, 告訴模型怎麼想是對的, 怎麼想是錯的 之前所謂的貼標籤, 就是這個階段 獎勵建模: 把對錯的判斷建立模型, AI想對了, 這個模型就獎勵他 強化學習: AI自己跟自己練習 不管是meta還是google, 之前都是照OpenAI這個成功模式做 所以這些公司能做的就是拚算力, 透過更大量的訓練, 希望最終可以暴力超車 但蒸餾就不同, 蒸餾是直接拿另一個模型的推理結果, 讓另一個模型照著得到同樣結果 譬如我要我剛剛問ChatGPT, 要他給舉例說明什麼是擬人法 他的回答是這樣 https://i.imgur.com/ey5mX61.png
ChatGPT要回答這個問題, 中間要經過很多推理, 譬如他要先理解我的問題 這裡面就牽涉到, 他要理解我講的擬人法是修辭當中的擬人法 然後再從這一個理解, 去思考擬人法的意思是甚麼, 最後再想出一個符合範例 蒸餾的話, 就是學生模型已經預先知道這個問題的答案是甚麼 有頭有尾, 要生出中間的推理就會比較容易 但這裡有個問題 你要用蒸餾讓一個模型得到另一個模型類似的能力 通常就是需要老師模型產生極大量的練習後結果 才能傳授畢生功力給學生模型 如果ChatGPT是開源模型, 可以自己部署在自己平台上 要做這樣大規模訓練是有可能 但ChatGPT無法部署在自己平台 (剛剛有人說ChatGPT 2可以, 但蒸餾頂多只能逼近老師, 用ChatGPT 2只能蒸出垃圾) 所以要做蒸餾只能透過API, 而要透過API做幾千萬甚至幾億規模的蒸餾訓練 這難度極高啊.... (ChatGPT剛剛教我另一個方法 就是拿一個原本就有ChatGPT4能力的模型 這樣只要少量訓練, 就能超越ChatGPT 4 但原本就有ChatGPT 4能力的新模型難道自己會生出來嗎XD 你還是得先得到這個模型啊...就是V3 那V3怎麼來?) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.68.61 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738164035.A.04B.html
→
01/29 23:23, 22小時前 , 1F
你先讓美吹上車完再焊死車門好嗎
01/29 23:23, 1F
推
01/29 23:25, 22小時前 , 2F
支那粉蛆說好的重擊美股呢?? 怎又開始自卑了???????
01/29 23:25, 2F
→
01/29 23:25, 22小時前 , 3F
deepseek已經不重要 openai原本商法已經沒用 市場
01/29 23:25, 3F
→
01/29 23:25, 22小時前 , 4F
投資都要重新估值
01/29 23:25, 4F
→
01/29 23:26, 22小時前 , 5F
接下來怎麼圈錢才是問題
01/29 23:26, 5F
推
01/29 23:27, 22小時前 , 6F
學生只要念會考試的範圍就好了
01/29 23:27, 6F
大規模使用的LLM平台, 會考的範圍就是全部了
→
01/29 23:27, 22小時前 , 7F
題庫就在那裡了
01/29 23:27, 7F
大規模LLM平台的題庫, 差不多就是全世界所有問題了..
→
01/29 23:31, 22小時前 , 8F
openAI不是說有兩個可疑帳號大量使用API
01/29 23:31, 8F
→
01/29 23:31, 22小時前 , 9F
你ban我算力我直接偷抄答案 很符合對岸的邏輯
01/29 23:31, 9F
→
01/29 23:32, 22小時前 , 10F
LLM沒辦法只抄答案 LLM必須具備推理能力才能應付
01/29 23:32, 10F
→
01/29 23:32, 22小時前 , 11F
01/29 23:32, 11F
→
01/29 23:32, 22小時前 , 12F
18
01/29 23:32, 12F
→
01/29 23:33, 22小時前 , 13F
所有問題 只能說 有頭有尾 要生出推理比較容易
01/29 23:33, 13F
推
01/29 23:33, 22小時前 , 14F
所以蒸餾可以讓學生得到比老師還口語化的結果?
01/29 23:33, 14F
→
01/29 23:33, 22小時前 , 15F
就像計算題已經知道答案要寫算式 總是比較容易
01/29 23:33, 15F
→
01/29 23:34, 22小時前 , 16F
學生比老師厲害不是很正常嗎 人類社會不就這樣@@a
01/29 23:34, 16F
→
01/29 23:34, 22小時前 , 17F
蒸餾通常沒辦法比老師厲害
01/29 23:34, 17F
→
01/29 23:35, 22小時前 , 18F
蒸餾就是讓學生模仿老師 逼近老師
01/29 23:35, 18F
→
01/29 23:35, 22小時前 , 19F
如果ai模型 沒辦法做到學生比老師強 那不就廢了@@?
01/29 23:35, 19F
→
01/29 23:35, 22小時前 , 20F
目前用的蒸餾法沒辦法
01/29 23:35, 20F
→
01/29 23:35, 22小時前 , 21F
目前的蒸餾法會劣化
01/29 23:35, 21F
推
01/29 23:35, 22小時前 , 22F
chatgpt 全名generative pre-trained transformer
01/29 23:35, 22F
噓
01/29 23:35, 22小時前 , 23F
等等…….股點勒 現在也要把股版蒸餾成柵欄版喔？
01/29 23:35, 23F
→
01/29 23:35, 22小時前 , 24F
一直蒸下去 會越來越笨
01/29 23:35, 24F
→
01/29 23:36, 22小時前 , 25F
越練越笨 那就不叫ai好嗎 =.=a
01/29 23:36, 25F
→
01/29 23:36, 22小時前 , 26F
我好奇 deepseek也是transformer architecture嗎?
01/29 23:36, 26F
→
01/29 23:38, 21小時前 , 27F
deekseek的呈現方式 沒理由不是transformer
01/29 23:38, 27F
→
01/29 23:39, 21小時前 , 28F
transformer指的是 理解輸入資訊->推理->轉成輸出
01/29 23:39, 28F
推
01/29 23:40, 21小時前 , 29F
蒸的丸子
01/29 23:40, 29F
→
01/29 23:40, 21小時前 , 30F
應該這樣 輸入資訊->理解+推理->轉成輸出
01/29 23:40, 30F
推
01/29 23:41, 21小時前 , 31F
openai裡面有中國的內鬼 外洩機密給中國公司
01/29 23:41, 31F
→
01/29 23:41, 21小時前 , 32F
中間的理解跟推理 是用數學模型 利用大量文本訓練
01/29 23:41, 32F
推
01/29 23:41, 21小時前 , 33F
deepseek 的 weights 也是公開的阿
01/29 23:41, 33F
→
01/29 23:42, 21小時前 , 34F
找出自然語言每個片段意義之間的關聯性
01/29 23:42, 34F
→
01/29 23:42, 21小時前 , 35F
估狗到有針對一般蒸餾法做改良的，可以用更少的資料
01/29 23:42, 35F
→
01/29 23:43, 21小時前 , 36F
達到舊有的蒸餾效果，像google有開發個Distilling
01/29 23:43, 36F
→
01/29 23:43, 21小時前 , 37F
Step-by-Step技術
01/29 23:43, 37F
還有 74 則推文
還有 1 段內文
→
01/30 00:39, 20小時前 , 112F
openAI現在是要收錢的阿 你要叫它們也課個關稅嗎
01/30 00:39, 112F
推
01/30 00:39, 20小時前 , 113F
有一說一，openai自己也是搜刮網路上別人的智財當
01/30 00:39, 113F
→
01/30 00:40, 20小時前 , 114F
基底訓練的，他好意思說吃豆腐? 第二，訓練花錢也是
01/30 00:40, 114F
→
01/30 00:41, 20小時前 , 115F
各個巨頭把毛利擴張到50%以上以近壟斷方式堆出來的
01/30 00:41, 115F
→
01/30 00:41, 20小時前 , 116F
，拿證實體公司，毛利給你15-25%，訓練成本會高到哪
01/30 00:41, 116F
噓
01/30 00:42, 20小時前 , 117F
01/30 00:42, 117F
推
01/30 00:55, 20小時前 , 118F
可以蒸芝麻包ㄇ？芝麻包豪好粗
01/30 00:55, 118F
噓
01/30 01:02, 20小時前 , 119F
拿別人的蒸餾酒來提煉自己的酒，大概是這概念吧
01/30 01:02, 119F
推
01/30 01:04, 20小時前 , 120F
人真好 解釋給一堆笨蛋聽
01/30 01:04, 120F
推
01/30 01:05, 20小時前 , 121F
剛剛OpenAI說去年下半有超大量API請求啊,
01/30 01:05, 121F
→
01/30 01:05, 20小時前 , 122F
他以此推論的
01/30 01:05, 122F
推
01/30 01:07, 20小時前 , 123F
想也知道怎麼可能靠call api 很貴的
01/30 01:07, 123F
推
01/30 01:16, 20小時前 , 124F
也不需要解釋這麼多，投資就是靠認知的落差賺錢，
01/30 01:16, 124F
→
01/30 01:16, 20小時前 , 125F
看好看衰選一台車上，讓時間來決定勝者就是了
01/30 01:16, 125F
推
01/30 01:27, 20小時前 , 126F
所以openai說有call api就知道人家有抄襲？這只有
01/30 01:27, 126F
→
01/30 01:27, 20小時前 , 127F
智障青鳥會信
01/30 01:27, 127F
→
01/30 01:38, 19小時前 , 128F
以AI 模型來說，公開推理計算方式不是什麼新聞。大
01/30 01:38, 128F
→
01/30 01:38, 19小時前 , 129F
部分AI “系統” 比得是前處理功力，要先生出夠有意
01/30 01:38, 129F
→
01/30 01:38, 19小時前 , 130F
義的邊境資料，後段訓練才有意義。而訓練資料的清理
01/30 01:38, 130F
→
01/30 01:38, 19小時前 , 131F
/篩選的成本，則不一定會被算進所謂的“訓練成本”
01/30 01:38, 131F
→
01/30 01:38, 19小時前 , 132F
。至於 針對特定，處理過的資料來源，以另一套系統
01/30 01:38, 132F
→
01/30 01:38, 19小時前 , 133F
的推演結果，直接當第二套的來源，在實務上不算罕見
01/30 01:38, 133F
→
01/30 01:38, 19小時前 , 134F
，實作上很多跨領域系統都這樣搞。但，學術上一般是
01/30 01:38, 134F
→
01/30 01:38, 19小時前 , 135F
不認可這種應用方式就是。
01/30 01:38, 135F
→
01/30 01:52, 19小時前 , 136F
一般是把第一套系統當成前處理，第二套系統的範圍比
01/30 01:52, 136F
→
01/30 01:52, 19小時前 , 137F
前套小但針對特定領域更細分的預測系統。整體訓練成
01/30 01:52, 137F
→
01/30 01:52, 19小時前 , 138F
本會更低，特定小範圍的結果品質會比的第一套系統好
01/30 01:52, 138F
→
01/30 01:52, 19小時前 , 139F
。這種算是特化架構，缺點是：擴張困難。處理的問題
01/30 01:52, 139F
→
01/30 01:52, 19小時前 , 140F
，領域數目增加到一個程度，整體效能（結果的品質）
01/30 01:52, 140F
→
01/30 01:52, 19小時前 , 141F
會比原系統差...
01/30 01:52, 141F
推
01/30 03:13, 18小時前 , 142F
思考步驟可以用prompt，看回答不能判斷
01/30 03:13, 142F
→
01/30 03:53, 17小時前 , 143F
讚耶 拿openAI來開源 叫蒸餾 簡直是改包裝加12道功
01/30 03:53, 143F
→
01/30 03:53, 17小時前 , 144F
法
01/30 03:53, 144F
噓
01/30 05:11, 16小時前 , 145F
不會去科技版討論?
01/30 05:11, 145F
噓
01/30 07:32, 14小時前 , 146F
模型是程式碼？？18124你可以不要LLM問幾個問題就出
01/30 07:32, 146F
→
01/30 07:32, 14小時前 , 147F
來造謠了嗎？我建議你先去了解pytorch跟transformer
01/30 07:32, 147F
→
01/30 07:32, 14小時前 , 148F
不然一知半解出來發文真的讓人不忍直視…
01/30 07:32, 148F
推
01/30 09:06, 12小時前 , 149F
科技版當年嘲笑Chatgpt的現在質疑DeepSeek 水準低
01/30 09:06, 149F
→
01/30 16:11, 5小時前 , 150F
推文是不是有文盲，哪個字看到模型是程式碼
01/30 16:11, 150F
→
01/30 16:13, 5小時前 , 151F
模型的程式碼跟模型是程式碼天差地遠好不好
01/30 16:13, 151F
‣ 更多 IBIZA 的文章
文章代碼(AID): #1dcaT31B (Stock)
討論串 (同標題文章)
本文引述了以下文章的的內容：
以下文章回應了本文：
完整討論串 (本文為第 4 之 12 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共12篇)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 IBIZA 的文章
文章代碼(AID): #1dcaT31B (Stock)