[心得] 我做了一個幾何語義模型引擎（PipeOwl）
最近把之前做的 pipowl（minimal SBERT）重構了一下
變成一個比較乾淨的幾何語義引擎，叫做 PipeOwl
老實說也不是什麼很大的模型
比較像是我自己在研究語義結構時拆出來的一層
---
它在做什麼？
不是大型 Transformer，
也沒有接 decoding 端。
目前的形式是：
把模型壓成 .npy 向量場
然後用幾何方式做語義運算
核心公式：
score = α·base + β·delta_scalar
整體是：
純 Python
不跑大型 Transformer 推理
可以嵌入 CLI / API / Chatbot / IME
本地語義比對速度接近輸入法候選
比較像是一個：
embedding 運算層 + 語義場資料
---
為什麼做這個？
其實只是想試試看：
語義模型一定要是黑箱 end-to-end 嗎？
如果把模型壓成向量場，
讓語義變成可以觀測、可以組合的結構，
會發生什麼事？
目前還在摸索中，
尤其是拿掉 sentence-transformers 之後，
訓練方式跟主流就完全不同了。
算是一個方向性的嘗試
---
已知問題 / 還在實驗的地方
1.目前向量還沒做 norm1（正規化方式還在想要不要全場一致處理）
2.β·delta_scalar 這一層，可能改成降維後當作 loss 場會更合理，還沒完整實測
3.「語義」這類型的詞score有點高 可能觸發後要RAG名詞解釋
---
Hugging Face
https://huggingface.co/WangKaiLin/PipeOwl
一些 benchmark 圖和筆記
https://hackmd.io/@galaxy4552/BkpUEnTwbl
---
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.51.159 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1771504516.A.EC4.html
Soft_Job 近期熱門文章
PTT職涯區 即時熱門文章
12
26