[新聞] 為何大語言模型是死胡同

看板Tech_Job (科技人)作者wa007123456 (大笨羊)時間2小時前 (2025/10/02 19:48)推噓6(6推 0噓 13→)

留言19則, 8人參與討論串1/2 (看更多)

為何大語言模型是死胡同 ------------------------------------------------ 9月27日，2024年圖靈獎得主Richard Sutton教授接受海外播客主持人 Dwarkesh Patel的深度訪談。訪談影片: https://youtu.be/21EYKqUsPfg?si=KiU-QldhIDecQ_Bl

文章來源: https://hao.cnyes.com/post/197594 <鉅亨號> 作者: RexAA 本次對話始於一個問題：當前最熱的大語言模型（LLM）究竟是通往AGI的大道，還是最終會走進死胡同？Sutton教授從強化學習的“第一性原理”出發，系統地闡述了為何他認為LLM範式缺少了智能最本質的幾個要素。 Sutton教授指出，LLM本質上只是在“模仿”擁有世界模型的人類，其本身並不具備一個能預測客觀世界、並因“意外”而學習的真實世界模型。它預測的是“下一個詞”，而非“下一件事”。針對行業普遍認為“先用LLM模仿學習獲得基礎，再用強化學習微調” 的路線，Sutton指出，在一個沒有客觀“對錯”標準（即獎勵訊號）的框架裡，知識和先驗無從談起。他認為，LLM試圖繞過“擁有目標”和 “區分好壞”這兩點，是從一開始就走錯了方向。針對“人類主要通過模仿學習”的普遍看法， Sutton教授認為無論是動物還是嬰兒，其學習的核心都是基於試錯和預測的“經驗範式”，模仿學習只是後期附加的一小部分。因此，將AI的學習建立在模仿人類資料的范子上，是對智能本質的誤解。在談及AI的未來時，Sutton教授提出，在未來數字智能可以無限複製和融合知識的時代，如何保證一個智能體在吸收外部知識時不被“腐化”或“覆蓋”，將成為一個關乎“心智安全” 的重大挑戰。 ----------------------- 心得感覺癥結點在於: DL或AIGC 他們的資料學習來自人類無法透過自身的經驗去改進自己也就是 "人類認為是甚麼就是甚麼" 的模式去運作這樣算不算AI還有待討論 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.42.10 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1759405717.A.AC7.html

推

zaiter

10/02 19:53, 2小時前 , 1^F

10/02 19:53, 1^F

→

zaiter

10/02 19:53, 2小時前 , 2^F

10/02 19:53, 2^F

→

zaiter

10/02 19:53, 2小時前 , 3^F

10/02 19:53, 3^F