Re: [討論] 不建議考慮地端 model

看板Soft_Job (軟體人)作者chengcti (版主請投我一票!)時間7小時前 (2026/02/16 12:39)推噓1(4推 3噓 11→)

留言18則, 8人參與討論串2/2 (看更多)

我做銀行跟政府都做地端沒人在用雲端有資安的問題去算TCO 雲端在第一年後就爆掉但是地端performance 根本不夠我們用 L20 兩片都只能滿足60 人同時後來解法我自建機房 GB300 rack 兩組用月租金算給銀行可以分享好幾家你說是雲這種混合雲以後銀行喜歡也可以自建我們在整套移轉銀行怕的是資料外洩所以我用封閉雲可以過 FIPS 但是最終解還是要有edge 不過現階段的硬體都不成熟我們看一個示例進線服務後要滿足客戶情緒偵測又要做TTS 前端 ASR 地端就延遲回應很久 LLM BI 還好 TTS 反應也無延遲最後客戶就覺得跟一個假人在講話雲端整個很流暢跟朋友講話一樣結論雲太貴地太慢最終還是要地 ※ 引述《TonyQ (得理饒人)》之銘言： : 現在還在算 AI 的 CP 值？ : 我覺得現在個體戶在當前這個AI環境，用 AI 還在搞 CP 值 : 是很莫名其妙的事情。別再想著貪小便宜了，這世界最貪小便宜 : 的方案就是目前表面上看起來相對貴的那個方案。 : 之前不一樣。AI 不好用、沒有安全的多 token 環境、 : API key 外洩風險高，那時候小心計算 token 是合理的。 : 但現在有穩定可靠便宜的官方方案了，為什麼不趕快跟上？ : 事實上，現在是最划算的時候。AI 廠商在搶市場，你買一塊 : 他送你好幾塊。這種補貼期不會永遠存在。 : ── : 「加值服務的真相」 : 那些加值服務、第三方轉接服務，很多都在破壞這件事。 : 他們把廠商補貼給你的錢，換成他們口袋裡的錢。 : 如果加值服務有明顯的好——更好的介面、更強的整合、 : 省下大量時間——那值得。但如果只是換個皮加個殼，你付的錢 : 就是把廠商送你的補貼轉手送給中間商。 : 你以為省錢，其實沒有。 : ── : 「Local 方案：你真的需要嗎？」 : 如果你是要提供服務的，考慮 local 方案沒問題。你要對用戶 : 負責，需要可控性和穩定性，這是合理的商業決策。 : 但如果你只是個開發者？或是想用 AI 處理文書雜務的人？ : 你用 AI 寫 code、debug、產文件；或者整理會議紀錄、 : 寫 email、翻譯——這些是你的工具，不是你交付給客戶的服務。 : 這種情況，完全沒必要考慮本地端。 : 本地端 LLM 跟雲端頂級模型有明顯差距。省那一點錢，換來 : 更差的產出、更慢的速度、還有維護環境的時間成本。不划算。 : NSFW 內容或者有機密機敏敏感內容除外，那只能走 local。 : 其他的，不用糾結。 : ── : 「AI 是現在最好的槓桿」 : 對高薪的工程圈來說，一點錢可以買回十倍以上的時間。 : 月薪十萬，一小時值五六百。一個月花一千塊訂閱 AI， : 省下兩小時就回本了。 : 你應該做的是「爭取槓桿的本錢」，讓自己能毫無顧慮地用 : 最好的工具。不是研究怎麼省那幾百塊。 : 現在很多人還沒發現 AI 的威力，還在觀望、掙扎。當他們 : 想通的時候，你已經跑了一整年。你知道怎麼下 prompt、 : 什麼任務適合丟給 AI、怎麼整合進工作流程。 : 這個經驗差距，不是想追就追得上的。 : ── : 「Token 只會越來越貴」 : 現在的價格是補貼價。等市場穩定、補貼退場，價格一定往上走。 : 所以趁 token 便宜的時候，把 token 換成真金白銀。 : 用它接更多案子、產出更多內容、完成更多專案、學會更多技能。 : 把便宜的 token 轉換成你口袋裡的錢、履歷上的經歷、 : 腦袋裡的知識。 : 重點是「用槓桿創造最大的生產力」，不是這邊省那邊省 : 只做到眼前的生產力。 : 接下來的賽局，很快就會變成比誰能創造更多的生產力。 : 現在就是練兵的時候。別省了，把槓桿催到底。 : ── : 「用最強的模型，沒有例外」 : 原廠的 token 一定比較便宜。這是基本常識。 : 在還沒有決定性的新模型出現之前，你該做的就是盡可能取得 : 最強的模型，在合理的價格。 : 相信我，如果真的有決定性的新模型出現，整個市場都會震動。 : 就跟 Opus 4.5 出來一樣，你完全不用怕你錯過。 : 那種等級的東西，不會悄悄發生。 : 現在這些最強模型價格都破盤到不行，你有什麼本錢不用？ : 模型只有兩種：能用的，跟不能用的。 : 不能用的模型，你只是在浪費時間， : 做別人輕鬆就能超過你的事情。 : ── : 「至於那些自動化 Agent」 : 你需要的是一個聽你話、能幫你搞定你要做的事情的工具， : 還是一個在背景燒 token 猜你要啥的東西？ : 我是覺得你完全可以先掌握好前者。等到後者已經穩定到 : 不會太浪費你的 token，再來挑戰。 : 沒有多少事情是 agent 現在做得到、其他這些 IDE/工具 : 做不到的。你需要的只是一些被設計過的方案，或者是一個 : 以核心 model 整合為基礎的方案——可以跟 Claude Max : 這類方案整合的東西。 : 前者創造的生產力已經夠多了。 : ── : 「怎麼選方案」 : 只要你薪水超過六萬，你完全值得花個 5%~10% 直上模型 : 原廠的高價方案。基本上都是賺得回來的。 : 低於六萬的人，那就用 20u 方案，買兩個， : 把自己的需求先補起來。 : 不要用 API 計價，那條路的補貼極少。 : 然後一定要用 Claude Code、Codex CLI 之類的 : console agent 方案。總之就是要 agent 體系， : VSCode 的 Claude Code 外掛之類的也算。 : 而且要原廠方案直供，因為 token 最便宜。 : 網頁版要搞一堆輸入，它能力又不能主動幫你確認， : 用起來差異天差地遠。完全是次等公民。 : 現在就是體驗的時候了。 : 你不需要煩惱任何事情，即使是 console agent， : 你依舊是回到最開始你認識的那個 LLM，打字跟他聊天， : 告訴他你要什麼，他會幫你達成。 : 你真的不需要理解那麼多 AI 技術的原理，回到這個最原本的操作跟介面就好。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 37.19.205.185 (日本) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1771216749.A.375.html

推

CRPKT

02/16 13:09, 6小時前 , 1^F

02/16 13:09, 1^F

現在是這樣 NV 太貴如果只跑推理我們準備用 groq LLM 不錯但是 asr tts 效果不好

推

jhjhs33504

02/16 13:11, 6小時前 , 2^F

02/16 13:11, 2^F

→

ma721

02/16 13:47, 6小時前 , 3^F