PTT職涯區 / Soft_Job (軟體人)

[討論] LLM即將像Stable Diffusion普及

看板Soft_Job (軟體人)作者 (3d)時間1年前 (2023/03/15 12:56), 編輯推噓11(11推 0噓 33→)
留言44則, 13人參與, 1年前最新討論串1/1
https://simonwillison.net/2023/Mar/11/llama/ https://simonwillison.net/2023/Mar/13/alpaca/ Simon Willison提到，很快大家都會有自己的ai助手。 看時間軸： 24th February 2023: LLaMA is announced, starts being shared with academic partners: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ 2nd March: Someone posts a PR with a BitTorrent link to the models: https://github.com/facebookresearch/llama/pull/73 10th March: First commit to llama.cpp by Georgi Gerganov: https://github.com/ggerganov/llama.cpp 11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi: https://twitter.com/miolini/status/1634982361757790209 12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/ 13th March (today): llama.cpp on a Pixel 6 phone: https://twitter.com/thiteanish/status/1635188333705043969 And now, Alpaca. https://crfm.stanford.edu/2023/03/13/alpaca.html ------------------------------------------ 詳細想法與內容就請看simon willison的部落格。 我是蠻認同這想法的，LLM(Large Language Model)很快就會普及。 https://cocktailpeanut.github.io/dalai/#/ 自動安裝的script都出了。LLaMA的Inference在現代多核CPU跑是可行的，現在優化速度也很快。 離ChatGPT，GPT4還有一段距離，但很夠用了，而且整個網路一起發展，可能很快就追上也不一定。我雖然最近超忙，但都想找時間看能不能移植到OpenCL。 我覺得LLM最大的好處是summerize(總結) 例如之前討論手刻Make的問題。 Make是偶而一用，真的容易忘記指令跟功能，也就不容易發現問題。 LLM在這就很適合幫忙，把make檔給它，解釋總結，很快就能發現問題，就不須要找很難找到的Make專家。 雖然LLM容易"hallucinate"但用LLM寫個簡單的Make檔案當個開頭也很好。 Code看不懂，用太多不明functions？LLM來幫忙。 ffmpeg參數太多太複雜？LLM寫給你。 這是當年google橫空出世讓網路好用起來。再一次大感動。大家真的可以好好追蹤這個發展。可以自己控制的LLM，可以發展的功能太多了。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.232.158 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1678856174.A.098.html
推
03/15 17:38, 1年前 , 1F
推
03/15 17:38, 1F
→
03/15 18:09, 1年前 , 2F
看過 沒試過 不過可以看別人的感想
03/15 18:09, 2F
→
03/15 18:12, 1年前 , 3F
ffmpeg參數... 你還是要仔細看文檔
03/15 18:12, 3F
推
03/15 18:46, 1年前 , 4F
這真的很神，從此regexp都給它寫
03/15 18:46, 4F
推
03/15 18:49, 1年前 , 5F
看看它能不能正確處理GNU make和舊Android Make的差異
03/15 18:49, 5F
→
03/15 18:50, 1年前 , 6F
make出問題，很多時候其實和shell環境有關，比如突然csh
03/15 18:50, 6F
→
03/15 18:50, 1年前 , 7F
寫regex會是不錯應用 但指令說實話一堆文檔沒有的
03/15 18:50, 7F
→
03/15 18:50, 1年前 , 8F
文檔沒有的 你也不知道可以這樣用
03/15 18:50, 8F
→
03/15 18:51, 1年前 , 9F
makefile要分析整個專案了
03/15 18:51, 9F
→
03/15 19:04, 1年前 , 10F
makefile可定義選項
03/15 19:04, 10F
→
03/15 19:40, 1年前 , 11F
而且有人用 4GB RAM 的樹莓派就跑起來了
03/15 19:40, 11F
→
03/15 19:55, 1年前 , 12F
觀望中 聽說效能不好
03/15 19:55, 12F
→
03/15 20:22, 1年前 , 13F
pc的效能不錯。RPI是10秒一個token，pc是秒內幾個token
03/15 20:22, 13F
→
03/15 20:23, 1年前 , 14F
declarative的程式，LLM比較會處理。只要補餵正確的資料，
03/15 20:23, 14F
→
03/15 20:30, 1年前 , 15F
android/gnu make都可以分析。最近看好多應用都蠻有趣的
03/15 20:30, 15F
→
03/15 20:33, 1年前 , 16F
當然沒有的功能，問LLM，它會幻想給你，但這是小問題
03/15 20:33, 16F
→
03/15 20:39, 1年前 , 17F
測了一下web demo時間很久又答非所問
03/15 20:39, 17F
→
03/15 20:40, 1年前 , 18F
還會error...
03/15 20:40, 18F
推
03/15 22:33, 1年前 , 19F
推推
03/15 22:33, 19F
推
03/16 04:17, 1年前 , 20F
有沒有哪個 ai 是會分清楚什麼時候該幻想什麼時候不該幻
03/16 04:17, 20F
→
03/16 04:17, 1年前 , 21F
想的
03/16 04:17, 21F
推
03/16 04:21, 1年前 , 22F
以前問過 clang format 的 rule，ChatGPT 幻想了一個給
03/16 04:21, 22F
→
03/16 04:21, 1年前 , 23F
我，我還問他這個 rule 是那個版本加入的，要怎麼用 etc
03/16 04:21, 23F
→
03/16 04:21, 1年前 , 24F
結果所有東西都是他幻想出來的，浪費了我十分鐘
03/16 04:21, 24F
推
03/16 07:36, 1年前 , 25F
做比較重要的東西時要叫他給出處 多方比較後才採用
03/16 07:36, 25F
→
03/16 07:36, 1年前 , 26F
我想這也是為
03/16 07:36, 26F
→
03/16 07:36, 1年前 , 27F
毛該禁止ai寫stack overflow跟wiki或技術文章 未來
03/16 07:36, 27F
→
03/16 07:36, 1年前 , 28F
整個池子被污
03/16 07:36, 28F
→
03/16 07:36, 1年前 , 29F
染之後可能會根本不知道哪裡是ai自己亂唬爛的
03/16 07:36, 29F
推
03/16 08:28, 1年前 , 30F
原Po是Google派來的嗎？
03/16 08:28, 30F
推
03/16 14:02, 1年前 , 31F
可以跑跟跑的好是兩回事
03/16 14:02, 31F
→
03/16 15:35, 1年前 , 32F
Meta說LLaMA-13B可比GPT3的175B。
03/16 15:35, 32F
→
03/16 15:38, 1年前 , 33F
目前都是最簡單的CPU優化。剛開始Pixel6需要26秒/token
03/16 15:38, 33F
→
03/16 15:39, 1年前 , 34F
前幾天已經5token/秒。各家版本飛速進步中。
03/16 15:39, 34F
→
03/16 15:40, 1年前 , 35F
LLMs的"幻想"是內建，目前沒辦法，只能後續查證。
03/16 15:40, 35F
推
03/17 17:56, 1年前 , 36F
這些直接問chatGPT就好了，為何要自己弄？
03/17 17:56, 36F
→
03/17 18:13, 1年前 , 37F
差別在一個是在大公司商用伺服器上，一個則是可以自己用消
03/17 18:13, 37F
→
03/17 18:13, 1年前 , 38F
費型主機搭建。當初 Hadoop 的興盛也是因為可以使用消費型
03/17 18:13, 38F
→
03/17 18:13, 1年前 , 39F
主機作為運算叢集，真的能發展起來的話是很有價值的
03/17 18:13, 39F
推
03/17 22:36, 1年前 , 40F
推
03/17 22:36, 40F
→
03/18 10:16, 1年前 , 41F
chatGPT是通用的chat，但自己的，如Alpaca你可以訓練特化
03/18 10:16, 41F
→
03/18 10:17, 1年前 , 42F
的instruction tuning。更適合自己的用途。
03/18 10:17, 42F
→
03/18 21:56, 1年前 , 43F
03/18 21:56, 43F
→
03/18 21:57, 1年前 , 44F
windows可以玩，自己編譯7B版，13B版應該很快就來了。
03/18 21:57, 44F
‣ 更多 oopFoo 的文章
文章代碼(AID): #1a4K_k2O (Soft_Job)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
13
14
[創作] 掌心
[ Stock ]
tmd99ch
1小時前, 04/19
更多 即時熱門文章 >>
‣ 更多 oopFoo 的文章
文章代碼(AID): #1a4K_k2O (Soft_Job)