Re: [請益] 網路上的評分

看板ask-why (知識奧秘)作者StaticVortex時間17年前 (2009/04/19 18:45)推噓3(3推 0噓 0→)

留言3則, 3人參與討論串4/4 (看更多)

※ 引述《size (金色曙光)》之銘言： : ※ 引述《StaticVortex ()》之銘言： : : 例如在 youtube 等網站, 各項資源都開放網友評分, 而且即時顯示結果, : : 我覺得這類型的評分機制可能有些問題. : : 首先, 什麼時候會想去評分? : : 就我個人的經驗, 通常只有我認為極好或極壞的資源才會想去評分, 否則瀏覽過便算了. : : 換句話說, 這類型人在評分時絕對不會評中庸的分數. : : 單看一項資源, 如果評分者全是這類人, 那麼評量結果應該會往邊界偏移吧? : 中庸者不評分也不會影響你把極端的分數都平均完 : 還是能看到真實的分數是偏高還偏低 [支持多或反對多] 我的意思比較像這樣: 考慮某物件, 有多人閱覽過, 於是每人對此物件有個評價, 假設以一項五等第評分表示, 目標是想得到此評價分布. 但是如果所有閱覽人都是原文中所提的那類人, 得到的評價分布便非上述所希望得到的. 假設留下評分比例對等第的分布, 也就是取樣的偏差如下. 口口 | 留下評分的比例口口口口 | 口口口口 | 口口口口 | 口口口口口 | 評價 -++++++++++--+ -2 0 +2 -1 +1 那麼原來長相如左下的分布, 會偏移成如右下. 口 | 口 | 口 | 口口 | 口口 | 口口口口口 | 口口口口口口 | 口口口口口口口 | 口口口口口口口口 | 口口口口口口口口口 | 口口口口口 -++++++++++--+--++++++++++- 數格子可以發現在此例中平均由 + 11/27 ~ + 0.4074 偏移成 + 10/20 = + 0.5000 或者考慮另一個例子. 取 y > 0 , x: -2 ~ +2 , 取樣偏差 x^2 , 原分布 y = ( 1-(x-1)^2 )*3/4 偏移成 y = ( 2x^3 - x^4 )*5/8 , 平均由 x = 1 偏移成 x = 4/3 . : : ( 題外話, 在此例中評量者是自願去評分的, 評量者可以決定要不要評量某物件. : : 與此相對的, : : 如果要求評量者對每項物件皆必須評分, 或更甚至要求具名或留下相關具體資料, : : 應該可以想見, 單項物件的評量結果會往中庸靠攏吧? ) : 這就和投票率一樣對這件事的在意程度低可有可無 : 給的回答就會是'還好,隨便' 這些人通常也是不投票的人 : 去評分不但沒意義反而很好操作 : 你問贊成的人舉手他們沒反應操作成反對 : 問反對的人舉手一樣沒反應操作成贊成 : 而這些人通常也不會是消費者顧客群 : 所以問卷調查時這類人的意見就變得不重要 : 常態分佈2-6-2裡會影響事情發展的反而是兩端的人原文括號中的情況, 我原來的想法有些如你所說的一樣, 取得的樣本摻了多餘的數據. 原文括號對這些多餘數據評分分布的假設大概如下. | 口 | 口 | 口口口 | 口口口口口 | 評價 -++++++++++--+ -2 0 +2 -1 +1 那麼原來長相如左下的分布, 會被灌水成如右下. | 口 | 口口 | 口口 | 口口口 | 口口口 | 口口口口 | 口口口口口口口口 | 口口口口口口口口 | 口口口口口口口口 | 口口口口口口口口口口 | 口口口口口口口口口口 | 口口口口口 -++++++++++--+--++++++++++- 數格子可以發現在此例中平均由 + 11/27 ~ + 0.4074 被灌成 + 11/37 ~ + 0.2973 雖然實際上, 天曉得那些偏差精確是長怎樣, 不過萬一真的知道, 很容易就能還原. : : 其次, 評分結果公開的影響. : : 最明顯的便是影響到點閱率, 不過另外也還有一種可能. : : 舉個例, 有時候看到某項喜愛的物件評價卻被低估, 這時候多少會評高分一點吧? : : 換句話說, 評分者的真實評價並非表現在其評分上, : : 而是表現在令評分後的結果盡量靠近評分者的真實評價. : : 統計上要處理第一項問題的方法應該不難想像, : : 第二項問題要如何處理呢? : : 上述之瑕疵應該在很多層面皆會遇上吧, 一般而言有必要去處理嗎? : 雙盲實驗就是防預期心理的 : 資訊公開的活動人就會參考彼此的反應 : 抽樣統計即使去除這些變因卻會反而變得不準 : 因為現實裡的人又不是雙盲只想要知道理論性的結果 : 那可以去處理只是就不符合現實了.. 不太瞭解為何除去這些變因反而會不準? 你的意思是否比較像是, 評價者會受前人評價而調整自己對此物件的評價, 而評價時的評分便是自己調整後的對此物件的評價, 因此該評分便相當於評價者的真實評分, 而在受前人評價影響前, 評價者心中的評分在此後不存在, 故除去這些變因企圖尋求先前評價者心中的評分毫無意義. 也許大部分的例子裡, 要求每個人的評價相互獨立是不可能的, 不過在原文的例子裡, 雖然評分會受前人影響, 但該評分並非表示評價者的真實評分, 那麼除去此因素以尋求真實評價的分布應該不致於無意義吧? 暫時先接受吧. 假設原文所提的情況, 行為模式如下所述. 若 Z+1 > |當前評分平均 - 當前評分者之真實評價| >= Z 則當前評分者評分時往另一側加 Z 或加至邊界則考慮同樣分布不同次序. 原平均 + 11/27 ~ + 0.4074 人次/ 22 | -2 -2 -1 -1 -1 -1 -1 0 0 真實評價 21 | -2 -2 0 -1 -1 -1 -1 +1 0 評分 20 | -2 -2 -1.3 -1.3 -1.2 -1.2 -1.1 -0.9 -0.8 平均 19 | 18 | 0 0 0 +1 +1 +1 +1 +1 +1 7121727 | 0 0 0 +2 +2 +2 +2 +1 +1 6111626 | -0.7 -0.6 -0.6 -0.4 -0.2 -0.1 +0.1 +0.1 +0.2 5101525 | 2 4 91424 | +1 +1 +1 +1 +2 +2 +2 +2 +2 1 3 81323 | +1 +1 +1 +1 +2 +2 +2 +2 +2 -++++++++++--+ +0.2 +0.3 +0.3 +0.3 +0.4 +0.5 +0.5 +0.6 +0.6 (+0.6296) 27 | -2 +2 -1 +1 0 -2 +2 -1 +1 26 | -2 +2 -2 +2 0 -2 +2 -2 +2 25 | -2 +0 -0.7 +0 +0 -0.3 +0 -0.3 +0 24 | 23 | 0 +2 -1 +1 0 +2 -1 +1 0 20222119 | 0 +2 -2 +2 -1 +2 -2 +1 0 16181715 | +0 +0.2 +0 +0.2 +0.1 +0.2 +0.1 +0.1 +0.1 12141311 | 6 810 9 7 | +2 -1 +1 0 +1 +1 +1 +1 +1 1 3 5 4 2 | +2 -2 +1 0 +1 +1 +1 +1 +1 -++++++++++--+ +0.2 +0.1 +0.1 +0.1 +0.2 +0.2 +0.2 +0.3 +0.3 (+0.2963) 15 | +2 +2 +2 +2 +2 +1 +1 +1 +1 14 | +2 +2 +2 +2 +2 0 +1 +1 +1 13 | +2 +2 +2 +2 +2 +1.7 +1.6 +1.5 +1.4 12 | 11 | +1 +1 +1 +1 +1 +1 0 0 0 252010 5 | +1 +1 +1 +1 +1 +1 -1 -1 -1 2419 9 4 | +1.4 +1.4 +1.3 +1.3 +1.3 +1.3 +1.1 +1 +0.9 2318 8 3 | 272217 7 2 | 0 0 -1 -1 -1 -1 -1 -2 -2 262116 6 1 | 0 0 -2 -2 -2 -2 -2 -2 -2 -++++++++++--+ +0.8 +0.8 +0.7 +0.5 +0.4 +0.3 +0.2 +0.2 +0.1 (+0.0741) 知道真實評價的分布及評分者行為模式, 可以推得結果平均的上下限, 但若只知評分者行為模式及評分者評分, 要反推真實評價該如何辦呢? 如果不知道次序應該完全沒輒吧? 如果知道次序的話, 大概可以如下示意圖這般想像, 前(Z-1)人前(Z-1)人平均平均 :: :: :: :: 口第Z人口口口評分口口口口第Z人口口口評分口口口品口口口品品口口口品品品 -+++++++++++++++- -+++++++++++++++- 將第Z人評分拆為從前(Z-1)人平均到第Z人評分間的某個分布, 逆著次序剝回去. 或者是乾脆在每個評分者評分後, 即時顯示的平均評分中便實作了上述的修改. 雖然實際上細節很難推估, 天曉得行為者模式究竟如何, 天曉得要修改成怎樣的分佈. 不過究竟有沒有什麼好方法來處理這類的問題呢? 包括事件前事件時事件後的手段. 一般網站上的評分有考慮這些問題嗎? 雖然很難期待網友評分的精確度, 不過如果有考慮這些問題, 多少能稍微提昇一些準確率吧, 多少有些好處吧? 這類問題在很多層面都會遇到吧, 有沒有什麼例子呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 114.42.16.153