[分享] 科學家簽署聯名信，反對加州AI限制法案已刪文

看板Tech_Job (科技人)作者jackliao1990 (j)時間3月前 (2024/08/07 15:47)推噓0(1推 1噓 1→)

留言3則, 3人參與討論串1/1

李飛飛親自撰文，數十名科學家簽署聯名信，反對加州AI限制法案 https://www.jiqizhixin.com/articles/2024-08-07-4 機器之心 AI真的已經危險到要如此監管的地步了嗎？在創新的熱土矽谷，李飛飛、吳恩達等AI 科學家正在與監管部門展開一場關於安全與創新的拉鋸戰。這場拉鋸戰的核心是一個名叫SB-1047 的法案。該法案的全名為「Safe and Secure Innovation for Frontier Artificial Intelligence Act（《前沿人工智慧模型安全創新法案》），試圖為高風險的AI 模型建立明確的安全標準，以防止其被濫用或引發災難性後果。該法案於今年2 月在參議院被提出，隨後引起了很大的爭議。許多科學家認為，法案的條款過於不合理，將對科技創新造成毀滅性的影響。法案連結： https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047 具體來說，該法案旨在從模型層面對人工智慧進行監管，適用於在特定計算和成本閾值之上訓練的模型。模型覆蓋範圍如下： 1.使用超過10^26 次整數或浮點運算的計算能力進行訓練的人工智慧模型，其成本超過一億美元（100,000,000 美元），該成本是根據開發者合理評估的訓練開始時雲端運算的平均市場價格計算得出的。 2.利用等於或大於10^25 次整數或浮點運算三倍的運算能力，對範圍內的模型進行微調而創建的人工智慧模型。這個範圍基本上涵蓋了現在市面上所有主流的大型模型。如果法案通過，這些模型都將被定義為存在「潛在危險」或需要額外監督。法案還要求模型開發者對其模型的下游使用或修改承擔法律責任。在訓練開始之前，開發人員需要證明他們的模型不會啟用或提供「危險功能」，並實施一系列保護措施來防止此類使用。這將阻礙開源社群的發展。監督新法律執行的將是一個「前沿模型部門（frontier model division）」，這是一個新成立的監督和監管機構。該機構將制定安全標準並就人工智慧法律提供建議，向該機構歪曲模型的功能可能會使開發人員因偽證而入獄。法案中還加入了吹哨人保護條款，保護和鼓勵AI 開發實體內部的舉報者，確保員工可以在不受報復的情況下報告企業的不合規情況。如果法案獲得通過，州長Gavin Newsom 的一個簽名就可以將其納入加州法律。 a16z 普通合夥人Anjney Midha 表示，如果這項法案在加州獲得通過，將為其他州樹立先例，並在美國國內外產生連鎖反應—— 本質上對創新狀況帶來巨大的蝴蝶效應。在太平洋夏令時間8 月7 日早晨，相關部門將舉行關於該法案的聽證會。留給科學家的抗議時間已經不多了。因此，李飛飛親自撰文，陳明法案利害。還有一些科學家正在簽署一封聯名信，以阻止法案通過。李飛飛撰文抨擊SB-1047 李飛飛在文章中表示：「加州的SB-1047 將產生重大而意想不到的後果。如果通過成為法律，SB-1047 將損害正在萌芽的人工智慧生態系。 SB-1047 將不必要地懲罰開發人員，扼殺開源社區，並阻礙人工智慧學術研究，同時無法解決其旨在解決的真正問題。」她寫道：首先，SB-1047 將過度懲罰開發者並扼殺創新。如果人工智慧模型被濫用，SB-1047 要求責任方和該模型的原始開發者承擔責任。每個人工智慧開發人員（尤其是嶄露頭角的程式設計師和企業家）不可能預測到其模型的每種可能用途。 SB-1047 將迫使開發人員退步並採取防禦行動— 這正是我們試圖避免的。其次，SB-1047 將束縛開源開發。 SB-1047 要求所有超過特定閾值的模型都包含“終止開關”，這是一種可以隨時關閉程序的機制。如果開發人員擔心他們下載和建置的程式會被刪除，他們在編寫程式碼和協作方面就會更加猶豫。這個終止開關將摧毀開源社區，這是無數創新的來源。其影響不限於人工智慧領域，而是在從GPS 到MRI 到網路本身的各個領域。第三，SB-1047 將削弱公共部門和學術人工智慧研究。開源開發對於私營部門很重要，但對學術界也至關重要。如果沒有協作和對模型數據的訪問，學術界就無法進步。如果我們的機構無法獲得適當的模型和數據，我們將如何培訓下一代人工智慧領導者？終止開關甚至會進一步削弱學生和研究人員的努力，與大型科技公司相比，他們在數據和計算方面已經處於劣勢。當我們應該加倍加大公共部門人工智慧投資時，SB-1047 將為學術人工智慧敲響喪鐘。最令人擔憂的是，該法案並未解決人工智慧進步的潛在危害，包括偏見和深度偽造（ deepfake）等等。相反，SB-1047 設定了一個任意閾值，調節使用一定運算能力或花費 1 億美元訓練的模型。這項措施遠非提供保障，只會限制包括學術界在內的跨部門創新。如今，學術人工智慧模型低於這個門檻，但如果我們要重新平衡私營和公共部門人工智慧的投資，學術界將受到SB-1047 的監管。我們的人工智慧生態系統將會因此而變得更糟。 SB-1047 的限制過於武斷，我們必須採取相反的做法。我並不反對人工智慧治理。立法對於人工智慧的安全有效發展至關重要。但人工智慧政策必須賦能開源開發，提出統一且合理的規則，並建立消費者信心。 SB-1047 未達到這些標準。數十位科學家聯名反對針對SB-1047，除了李飛飛，由加州大學7 個校區的師生以及來自其他20 多個機構的研究人員組成的團體也在積極行動。他們共同起草並簽署了一封反對SB-1047 的公開信，從研究者的角度出發，陳述該法案對加州人工智慧研究和教育目標的損害。聯名信從以下幾個方面展開論述SB-1047 的不合理性： 1.法案會為開源模型的發布帶來「寒蟬效應」，進而損害研究法案中要求對「前沿模型」進行「安全審核」和具備「完全關閉」能力，可能會嚴重阻礙開源和開放權重模型的發布。這些嚴格的規定對於私有實體控制的專有模式來說可能更容易實現，而對於非營利組織或大學聯盟所使用的開放模式則較為困難。法案中關於安全展示和審核的條款表述不夠具體，依賴可能尚未存在且可能缺乏科學嚴謹性的測試。這種審計的潛在成本對於有獲利產品的商業實體來說可能容易承擔，但對於像Meta 的 LLaMA 系列這樣的商業實體的科學性開放發布，或是由非營利組織或大學聯盟訓練的開放模型，情況可能並非如此。由於這些繁瑣的限制，開源模型的開發者可能會選擇在加州或美國以外建立系統，並在避免責任的前提下發布其模型。在這種情況下，不顧合規的私人行為者可能會秘密使用這些模型，而受到公共工作性質約束的學術研究人員將被排除在外，這促使他們更改研究主題或轉移到不侵犯其學術自由的司法管轄區。開源模型的可獲取性對於現代學術AI 研究至關重要，因為它們使學術界能夠探索模型的工作原理、訓練過程中的能力提升以及如何進行改進和破解。 2、人工智慧風險預測與「能力」評估存在不科學性作為人工智慧、機器學習和自然語言處理領域的專家，這些研究者強調：SB-1047 中提到的評估模型風險的建議方法非常值得懷疑。科學界就語言模型或其他前沿人工智慧系統是否以及如何對公眾構成威脅尚未達成共識。 3.對開源模型的保護不足儘管法案提到未來可能對開源模型提供特例，但由於參數數量的快速增長和計算成本的降低，現有的保護措施可能難以持續。在沒有強有力的保護措施的情況下，這些模型面臨的後果可能很快就會顯現出來。此外，性能相當的小型模型相比大型模型需要更高的計算成本。因此，法案中的修正案預計無法緩解對開源模型發布的負面影響，而嚴格的報告和審核要求也將不必要地影響研究活動。 4.對學生的就業安置和職業成就的擔憂 SB-1047 未來可能會阻礙對人工智慧有興趣的學生進一步學習相關知識，甚至可能會阻止新人才進入電腦科學等關鍵領域。此外，隨著科技業從大公司向新創公司的轉變，額外的監管障礙可能會透過支持更大、更好的企業來削弱新興創新者。這種轉變可能會縮窄學生的職業道路。除了公開信，還有一些研究者選擇在社群媒體上發聲。其中，一位系統生物學家指出， SB-1047 就像在我們還不知道病原體是什麼、何時會感染我們以及感染會發生在哪裡之前就激活了發炎反應。此前，吳恩達也多次就此事發聲。他認為，監管機構應該監管應用而不是技術。例如，電動機就是一項技術。當我們將其放入攪拌機、電動車、透析機或導引炸彈中時，它就成為了一種應用。想像一下，如果法律規定，當任何人以有害的方式使用馬達時，馬達製造商都要承擔責任。那個馬達製造商要么停產，要么將馬達製造得非常小，以至於對大多數應用來說毫無用處。如果我們通過這樣的法律，可能會阻止人們製造炸彈，但我們也會失去攪拌機、電動車和透析機。相反，如果我們專注於特定的應用，就可以更合理地評估風險並判斷如何確保它們的安全，甚至禁止某些類型的應用。 AI 真的已經危險到要如此監管的地步了嗎？對此，你怎麼看？參考連結：https://a16z.com/sb-1047-what-you-need-to-know-with-anjney-midha/ https://drive.google.com/file/d/1E2yDGXryPhhlwS4OdkzMpNeaG5r6_Jxa/view https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/?abc123 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.128.218 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1723016879.A.D68.html

[分享] 科學家簽署聯名信，反對加州AI限制法案 已刪文

[分享] 科學家簽署聯名信，反對加州AI限制法案已刪文