PTT職涯區 / Stock (股票)

[新聞] 蘋果 AI 終於來了！誠意滿滿，4 種版本開源生成式 AI 模型 OpenELM

看板Stock (股票)作者 (′・ω・`)時間1周前 (2024/04/27 08:57), 編輯推噓117(129推 12噓 108→)
留言249則, 154人參與, 1周前最新討論串1/2 (看更多)
原文標題：蘋果 AI 終於來了！誠意滿滿，4 種版本開源生成式 AI 模型 OpenELM 原文連結：https://tinyurl.com/478tzuy4 發布時間：2024-04-26 記者署名：鉅亨網 原文內容： 蘋果 (AAPL-US) 因在生成式 AI 領域的腳步太慢，遭微軟、OPenAI、Google 等科技公司 狠甩幾條街，即使執行長庫克表示，今年稍晚就會有生成式 AI 的新進展，仍無法挽回部 分投資人信心，今年迄今股價仍跌逾 12%。如今，蘋果總算有生成式 AI 的新舉措。 為了在加速生成式 AI 的發展，蘋果在開源 AI 平台 Hugging Face 上發布一個具有開源 訓練和推理框架的高效語言模型，名為 OpenELM。 據了解，OpenELM 有四種尺寸：2.7 億、4.5 億、11 億和 30 億個參數版本，定位於超 小規模模型，而微軟 Phi-3 模型為 38 億。 這種小模型運行成本更低，可在手機和筆記 型電腦等設備上運行。 同時，在 WWDC24 開發者大會之前，蘋果徹底開源了 OpenELM 模型權重和推理程式碼， 資料集和訓練日誌等。 而且，蘋果還開源了神經網路庫 CoreNet。 早在今年 2 月，庫克就表示，蘋果生成式 AI 功能將於「今年稍後」推出，有消息稱即 將在 6 月發布 iOS 18 可能是蘋果 iOS 史上 「最大」的更新，而 9 月也將推出首款 AI iPhone 設備。 如今，蘋果似乎在新一輪 AI 浪潮快到尾聲的時刻追趕上了產業腳步。 隨著 ChatGPT 風靡全球，近幾個月來，三星、谷歌、小米等手機廠商全面推進大語言模 型在手機、平板等端側上的使用，包括照片處理、文字處理增強等，並形成一大賣點 。 而蘋果很少透露且極少有類似的自備功能，主要是用第三方工具做到類似效果。 今年 2 月財報會議上，庫克首次公佈生成式 AI 計劃，並將在今年稍後將 AI 技術整合 到其軟體平台（iOS、iPadOS 和 macOS）中。 庫克表示，「我只想說，我認為蘋果在生成式 AI 和 AI 方面存在著巨大的機會，無需透 露更多細節，也無需超出自己的預期。展望未來，我們將繼續投資於這些和其他 將塑造 未來的技術。 其中包括 AI，我們繼續在 AI 領域花費大量時間和精力，我們很高興能在 今年晚些時候分享我們在該領域正在進行的工作的細節。」 事實上，自年初至今，蘋果在生成式 AI 領域動作不斷。 今年 3 月，蘋果技術團隊發表 論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》，首 次披露蘋果大模型 MM1，涵蓋 300 億參數、支援多模態、支援 MoE 架構，超半數作者屬 於 華人。 如今，針對手機、平板等端側領域，蘋果真正的開源模型終於來了。 根據論文顯示，蘋果開源了大語言模型 OpenELM，有指令微調和預訓練兩種模型版本，共 有 2.7 億、4.5 億、11 億和 30 億 4 種參數，提供生成文本、代碼、翻譯、總結摘要 等功能。 雖然最小的參數只有 2.7 億，但蘋果使用了包括 RefinedWeb、去重的 PILE、 RedPajama 的子集和 Dolma v1.6 的子集在內的公共資料集，一共約 1.8 萬億 tokens 資料進行了預訓練 ，這也是其能以小參數表現出超強性能的主要原因之一。 例如，11 億參數的 OpenELM，比 12 億參數的 OLMo 模型的準確率高出 2.36%，而使用 的預訓練資料卻只有 OLMo 的一半。 在訓練流程中，蘋果採用了 CoreNet 作為訓練框架，並使用了 Adam 優化演算法進行了 35 萬次迭代訓練。 而蘋果的 MobileOne、CVNets、MobileViT、FastVit 等知名研究都 是基於 CoreNet 完成的。 蘋果在論文中也表示，與以往只提供模型權重和推理程式碼並在私有資料集上進行預訓練 的做法不同，蘋果發布的版本包含了在公開資料集上訓練和評估語言模型的完整框架，包 括訓練日誌、多個檢查點和預訓練配置。 同時，蘋果也發布將模型轉換為 MLX 庫的程式 碼，以便在蘋果設備上進行推理和微調。 「此次全面發布旨在增強和鞏固開放研究社區，為未來的開放研究工作鋪平道路。」蘋果 研究團隊表示。 此外，OpenELM 不使用任何全連接層中的可學習偏移參數，採用 RMSNorm 進行預歸一化 ，並使用旋轉位置嵌入編碼位置資訊。 OpenELM 也透過分組查詢注意力取代多頭注意力 ，用 SwiGLU FFN 取代了傳統的前饋網絡，並使用了 Flash 注意力來計算縮放點積注意 力，能以更少的資源來進行訓練和推理。 同，蘋果使用了動態分詞和資料過濾的方法， 實現了即時過濾和分詞，從而簡化了實驗流程並提高了靈活性。 也使用了與 Meta 的 Llama 相同的分詞器，以確保實驗的一致性。 這次，蘋果很有誠意將程式碼開源，一開到底，把所有內容都貢獻出來了。 僅 1 天多的 時間，在模型 GitHub 平台上就獲得超過 1100 顆星。 而目前，大模型領域主要分為開源與閉源兩大陣營，國內外知名閉源的代表企業有 OpenAI、Anthropic、Google、Midjourney、百度、出門問問等；開源陣營有 Meta、微軟 、Google、 商湯、百川智能、零一萬物等。 蘋果身為手機閉源領域的領導者，這次卻罕見地加入開源大模型陣營。 有分析認為，這 可能在效法 Google 的方式先透過開源拉攏用戶，再用閉源產品去實現商業化營利。 同時，這也顯示蘋果進軍 AI 大模型領域的堅定決心。 作為同為端側模型、開源模型企業，商湯科技聯合創始人、首席科學家王曉剛近期對鈦媒 體 App 表示，開源還是對於整個社區的發展還是非常重要的，是一個重要驅動力。 最終 大模型的發展包括各種應用，還是要整個社區共同去推動的。 對於大模型的應用也分為 不同的層次，這麼多產業對應用的需求也是不一樣的，豐富的開源社群非常重要。 心得/評論： 蘋果手機銷量下滑，電動車研發失敗，Vision Pro市場需求低 AI 發展很早就有 Siri 但實在差別人太多，蘋果股價整個熊市走法 罕見的在WWDC大會以前，蘋果就在 Hugging face 公開 OpenELM 模型 https://huggingface.co/apple/OpenELM 這是真的急了! https://i.imgur.com/mWiRuiK.jpg
蘋果跟一堆巨頭戰AI誰贏，我不知道 但我知道蘋果現金很多 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.218.93.74 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1714179479.A.DD2.html
推
04/27 09:00, 1周前 , 1F
不買單 還在跌
04/27 09:00, 1F
推
04/27 09:01, 1周前 , 2F
爛蘋果就下去吧
04/27 09:01, 2F
推
04/27 09:03, 1周前 , 3F
現在都開源在搶市場，訓練好的可以在手機執行
04/27 09:03, 3F
推
04/27 09:03, 1周前 , 4F
這次跟不上不敢關門造車囉
04/27 09:03, 4F
→
04/27 09:05, 1周前 , 5F
不就落後人家才搞開源想找免費義工強化自己優勢嗎
04/27 09:05, 5F
推
04/27 09:05, 1周前 , 6F
沒有夢想和創新了
04/27 09:05, 6F
推
04/27 09:05, 1周前 , 7F
庫克真的沒什麼創意
04/27 09:05, 7F
→
04/27 09:05, 1周前 , 8F
爛梗了啦，按照這間風格它覺得夠了就會停止開源
04/27 09:05, 8F
→
04/27 09:08, 1周前 , 9F
google很早就開源了
04/27 09:08, 9F
推
04/27 09:08, 1周前 , 10F
老本總有一天啃完的 手腳被看破了
04/27 09:08, 10F
推
04/27 09:10, 1周前 , 11F
蘋果好了啦 夕陽公司
04/27 09:10, 11F
推
04/27 09:14, 1周前 , 12F
他早就該用了 搜集一堆用戶資訊
04/27 09:14, 12F
推
04/27 09:17, 1周前 , 13F
說真的三星鏡頭放大方便追星跟AI這次真的是贏了蘋果
04/27 09:17, 13F
推
04/27 09:20, 1周前 , 14F
重新定義
04/27 09:20, 14F
→
04/27 09:22, 1周前 , 15F
蘋果推出AI手機，果粉買單嗎？
04/27 09:22, 15F
推
04/27 09:23, 1周前 , 16F
開源讓人免費幫他寫 真不愧是庫克
04/27 09:23, 16F
推
04/27 09:25, 1周前 , 17F
最大更新不是iPad要內建計算機了嗎
04/27 09:25, 17F
→
04/27 09:29, 1周前 , 18F
洗成AI公司就會漲了啦 資金太多不知道去哪parking
04/27 09:29, 18F
→
04/27 09:29, 1周前 , 19F
跟特斯拉一樣
04/27 09:29, 19F
→
04/27 09:29, 1周前 , 20F
Mackbook pro 上跑出這種數據...真敢放出來啊
04/27 09:29, 20F
→
04/27 09:29, 1周前 , 21F
華爾街就是這樣搞
04/27 09:29, 21F
推
04/27 09:34, 1周前 , 22F
真正用的到的人不多,頂多嘗鮮,能上網打line就夠用了
04/27 09:34, 22F
→
04/27 09:34, 1周前 , 23F
倒不如把續航力增加比較有實用
04/27 09:34, 23F
推
04/27 09:35, 1周前 , 24F
從開創者變成跟隨者 不勝唏噓
04/27 09:35, 24F
推
04/27 09:36, 1周前 , 25F
會修出事業線嗎？不會？這幾年蘋果輸華為太多太多了
04/27 09:36, 25F
推
04/27 09:36, 1周前 , 26F
最近的題材都只能是幻想阿，實體商做出來就是下去
04/27 09:36, 26F
→
04/27 09:36, 1周前 , 27F
元宇宙崩過一次，現在輪到AI囉
04/27 09:36, 27F
推
04/27 09:39, 1周前 , 28F
我倒覺得不錯 嚴格來說蘋果一直都是跟隨者
04/27 09:39, 28F
→
04/27 09:39, 1周前 , 29F
變不創新成熟製程+跟屁蟲
04/27 09:39, 29F
→
04/27 09:40, 1周前 , 30F
蘋果厲害的點是他能夠把自己的產品做成標竿然後賣
04/27 09:40, 30F
→
04/27 09:40, 1周前 , 31F
最貴
04/27 09:40, 31F
推
04/27 09:42, 1周前 , 32F
下一代Nokia
04/27 09:42, 32F
推
04/27 09:42, 1周前 , 33F
AI手機能幹嘛？
04/27 09:42, 33F
→
04/27 09:44, 1周前 , 34F
AI能夠幫忙打手遊嗎
04/27 09:44, 34F
噓
04/27 09:46, 1周前 , 35F
賈伯斯吐血
04/27 09:46, 35F
推
04/27 09:48, 1周前 , 36F
急了？
04/27 09:48, 36F
推
04/27 09:49, 1周前 , 37F
吃老本的IP了，老粉離不開而已
04/27 09:49, 37F
推
04/27 09:51, 1周前 , 38F
蘋果買單數不買偶數 偶數手機沒一個好
04/27 09:51, 38F
推
04/27 09:53, 1周前 , 39F
市場對庫克早失去耐心
04/27 09:53, 39F
還有 170 則推文
→
04/27 14:30, 1周前 , 210F
不然之前Siri這種語音助理實在是太智障了
04/27 14:30, 210F
→
04/27 14:31, 1周前 , 211F
做AI? 我看你蘋果還是先學會把產品品質作好吧，最
04/27 14:31, 211F
→
04/27 14:31, 1周前 , 212F
近的二台平板都用不到2年就死機掛掉，xxx的！
04/27 14:31, 212F
→
04/27 14:33, 1周前 , 213F
siri要進化成 airi了嗎?
04/27 14:33, 213F
推
04/27 16:06, 1周前 , 214F
可以跟AI捉I再說
04/27 16:06, 214F
推
04/27 16:20, 1周前 , 215F
總是遲到不是不到，恭喜抄底蘋果，哎十六重返榮耀
04/27 16:20, 215F
噓
04/27 16:33, 1周前 , 216F
庫克只會壓榨供應商，爛
04/27 16:33, 216F
推
04/27 16:43, 1周前 , 217F
頻果真的慘 電動車搞不起來 AI又比別人慢半拍
04/27 16:43, 217F
推
04/27 16:52, 1周前 , 218F
intel2.0
04/27 16:52, 218F
推
04/27 17:09, 1周前 , 219F
所以到底增強了什麼功能啊？講了一堆落落長的技術語
04/27 17:09, 219F
→
04/27 17:09, 1周前 , 220F
言 但對於功能強化啥 隻字未提…….
04/27 17:09, 220F
→
04/27 17:10, 1周前 , 221F
那個siri活脫脫就是個智能不足的助手......
04/27 17:10, 221F
噓
04/27 17:15, 1周前 , 222F
手機可以像華為一樣修奶圖再來說吧
04/27 17:15, 222F
推
04/27 17:28, 1周前 , 223F
超慢阿婆 老了
04/27 17:28, 223F
噓
04/27 17:35, 1周前 , 224F
"9 月也將推出首款AI iPhone 設備"
04/27 17:35, 224F
→
04/27 17:35, 1周前 , 225F
要注意看重點啊!
04/27 17:35, 225F
→
04/27 17:35, 1周前 , 226F
誰做蘋果手機最多的？
04/27 17:35, 226F
→
04/27 17:35, 1周前 , 227F
答案其實很好找....
04/27 17:35, 227F
→
04/27 17:35, 1周前 , 228F
推文就繼續酸蘋果，
04/27 17:35, 228F
→
04/27 17:35, 1周前 , 229F
反正到時候人手都有一台AI手機
04/27 17:35, 229F
→
04/27 17:35, 1周前 , 230F
光這個噱頭 果粉就買單了 嘻嘻
04/27 17:35, 230F
推
04/27 18:23, 1周前 , 231F
所以吹了那麼久，實測影片出來了沒？
04/27 18:23, 231F
推
04/27 19:39, 1周前 , 232F
新系列出來了 aiphone 1
04/27 19:39, 232F
→
04/27 19:39, 1周前 , 233F
外觀用炫泡一點 重新定義了
04/27 19:39, 233F
推
04/27 19:54, 1周前 , 234F
晚了就不要了
04/27 19:54, 234F
推
04/27 19:55, 1周前 , 235F
先把Siri 搞定吧
04/27 19:55, 235F
→
04/27 20:25, 1周前 , 236F
說個秘密，技術面提的那一堆...其實...沒什麼新意
04/27 20:25, 236F
推
04/27 20:42, 1周前 , 237F
要炒股了
04/27 20:42, 237F
推
04/27 21:07, 1周前 , 238F
太晚了吧
04/27 21:07, 238F
推
04/27 21:52, 1周前 , 239F
蘋果強=台積強=大盤強=正2強=高股息ETF強 沒毛病
04/27 21:52, 239F
→
04/27 21:54, 1周前 , 240F
沒新花樣，看樣準備倒
04/27 21:54, 240F
→
04/27 23:11, 1周前 , 241F
哭阿，賣光了啦
04/27 23:11, 241F
推
04/27 23:42, 1周前 , 242F
真的搞出ai iPhone ai股就會真正噴上天了 ai 最好
04/27 23:42, 242F
→
04/27 23:42, 1周前 , 243F
的兌現方法終究還是消費型電子產品的熱賣
04/27 23:42, 243F
推
04/28 05:36, 1周前 , 244F
本版反指標 穩了
04/28 05:36, 244F
推
04/28 08:31, 1周前 , 245F
蘋果即將重返榮耀，現在就是進場時機，等著看
04/28 08:31, 245F
推
04/28 08:40, 1周前 , 246F
本多終勝
04/28 08:40, 246F
推
04/28 14:48, 1周前 , 247F
先強化一下那個像屎一樣的西蕊
04/28 14:48, 247F
推
04/28 23:36, 1周前 , 248F
老人: 手機AI能幹嘛？
04/28 23:36, 248F
推
04/29 02:36, 1周前 , 249F
看ptt看衰成這樣，星期五應該要噴一根了
04/29 02:36, 249F
‣ 更多 xephon 的文章
文章代碼(AID): #1cB4sNtI (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 xephon 的文章
文章代碼(AID): #1cB4sNtI (Stock)