[新聞] 生成式人工智慧在高等教育品質保證與評鑑實務應用之國際觀察

看板AfterPhD (博士後)作者zkow (逍遙山水憶秋年)時間1月前 (2025/05/05 17:17)推噓2(2推 0噓 27→)

留言29則, 1人參與討論串1/1

生成式人工智慧在高等教育品質保證與評鑑實務應用之國際觀察 2025-05-05 13:06 《評鑑》雙月刊／文．吳政宜／高教評鑑中心專員人工智慧的發展實已行之有年，從2014年生成對抗網路（Generative adversarial networks, GANs）的發明，到2016年AlphaGo擊敗人類圍棋冠軍，這些零星的事件因尚未對人類生活造成實質影響，多被視為新奇的新聞或是單純的科技發展。然而，當2022年以 ChatGPT為代表的生成式人工智慧（Generative artificial intelligence，簡稱生成式 AI）正式問世，多數人開始真正感受到這個新興的科技工具已從科幻小說走入日常生活，對人類社會帶來各種新的機會與全方面的衝擊。高等教育作為人類知識生產與培育人才的關鍵場域，同樣也難於這股AI浪潮中置身事外。生成式AI固然為行政、教學與學術研究帶來超乎以往的產能規模與效率，但也引發了準確性、透明度與倫理等重要議題，必須審慎因應才能充分發揮其效益。如聯合國教科文組織（UNESCO, 2022）發布的《人工智慧倫理建議書》強調AI應遵循公平與透明原則，而經濟合作暨發展組織（OECD, 2023）亦指出，確保教師具備足夠AI素養與自主權，是教育領域有效運用AI的關鍵前提。換言之，以人為本（human-centered）、合倫理且負責任的使用生成式AI工具，已逐漸成為國際上的普遍共識。從高教品保的立場來看，如確保高教機構的績效責任（accountability）、合目的性（ fitness for purpose）及建立持續改善的品質文化（quality culture）是品保的核心任務，則實有必要正視制定生成式AI相關使用指引及規範的重要性。部分主要國家，如美國、歐洲、澳洲、英國、印度等，其品保機構已開始探索相關應用並制定指導原則。本文參考近5年之相關文獻與官方資訊，分析生成式AI在高教品保中的應用現況與案例，並分別從受評單位與品質保證機構二種視角進行探討，期能拋磚引玉，為未來有意將生成式AI導入品保實務的機構提供參考。受評單位觀點：運用生成式AI強化自我評估與持續改進隨著生成式AI的快速演進，各國的高教機構與品保機構開始積極探尋將AI技術融入與應用於品保與評鑑流程的各種可能，以加強評鑑的嚴謹性與效率。在校務評鑑層級，AI可持續監測關鍵績效指標（例如學生續讀率、畢業率、學習成效），確保其符合認證的品保標準，並在低於基準時提供早期預警。藉由這類數據驅動的持續監測，評鑑不再僅是週期性的評估，而是走向滾動式的持續品質改進。在系所層級，AI亦能輔助進行差距分析（gap analysis），例如將課綱與品保標準逐一比對。AI演算法可剖析大量課程內容，評估其與認證機構所要求的各項標準之契合度，甚至產出詳細報告，指出與品保標準的差距與改進空間。例如，某些商學院已利用類似 ChatGPT的工具快速審查課程內容與國際商管學院促進協會（Association to Advance Collegiate Schools of Business, AACSB）的商管品保標準是否對齊，並據此調整課程設計，以確保符合要求（Bisoux, 2024）。在課程層面，AI還能協助彙整學生學習成效證據（如彙總各課程的評量資料），以向評鑑委員證明該學程的畢業生確實達成預期的核心能力。無論在校務或系所層級，AI可讀取大量的校務數據與比對品保標準，協助管理團隊聚焦於結果詮釋與改進策略。整體而言，高教機構多將AI運用於以下範疇：一、數據導向的決策過程及持續改進生成式AI在數據分析方面展現高度潛力，可協助校務研究專家快速從大量資料中擷取重要的資訊洞見，如學生表現、課程評量結果、師資學術產出等。美國費爾菲爾德大學（ Fairfield University）商學院分享使用生成式AI輔助AACSB國際商管認證的經驗；團隊將課程安排、師資資格等資料匯入ChatGPT，請其計算某教授授課占比這類指標，以檢視資源配置是否符合品保標準。AI最初雖回答有誤，但團隊透過反饋糾正模型，最終獲得正確的分析結果（Bisoux, 2024）。這顯示AI可以加速完成許多繁瑣的數據統計工作，但仍需要人員具備整體知識以察覺並更正其中的錯漏。除了加速現有數據處理，AI還能用於更高階的預測分析和決策輔助。在高教品保與評鑑中，預測性分析正逐漸受到重視（Alcock, 2024），被視為預先掌握並改善教育結果、從而證明品質提升的新方法。例如，院校可運用預測模型及早辨識出具輟學風險的學生並即時介入（如提供輔導、導師等），以提升學生續讀率；學生續讀率往往是品保關注的重要指標之一。如果能及早透過AI找出可能退學的學生並提供支持，就能在後續評鑑中提出有力的品質提升證明。同樣地，預測分析可預估課程的高風險不及格率或各學程的招生趨勢，使學術主管能提前調整（例如修訂課程內容或重新配置資源），以確保關鍵品質指標保持在標準之上。這些作法讓品質保證從傳統被動的事後評估轉向主動的風險預測，在問題影響評鑑之前即先行防範。二、輔助撰寫自我評鑑報告在多數認證中，自評報告都是不可或缺的關鍵文件，受評單位需據此反思自身表現與品保標準的對齊度。如今，一些高教機構嘗試利用AI彙整並摘要資訊，甚至根據資料輸入起草自評報告的部分內容。例如，將校內資料（如畢業率、師資概況、策略計畫進度等）提供給生成式AI，要求其產出自評報告某些章節的初稿，此舉能節省大量時間，提供一個起點再由人工潤飾。有些品保團隊已使用ChatGPT等工具來擬定自評報告的大綱，或檢查報告內容是否涵蓋所有品保標準，扮演類似校對與缺漏檢查助手的角色（Bisoux, 2024）。例如前文提及的美國費爾菲爾德大學商學院在AACSB認證過程中嘗試讓ChatGPT分析課程表、師資資格與活動報告等文件，要求AI檢查師資配置是否符合AACSB對學術與業界資格教師比例的標準。AI迅速給出各項比例與摘要表，協助該校在提交自評報告前發現差距並採取改善措施（Bisoux, 2024）。值得注意的是，也有部分品保機構對使用AI撰寫報告持審慎態度。美國南部學院與學校協會（The Southern Association of Colleges and Schools Commission on Colleges, SACSCOC）在2024年發布《認證中的人工智慧》指南中，提醒學校切勿過度依賴生成式AI 編寫認證自評報告，以免削弱校內廣泛對話與反思的價值（SACSCOC, 2024）。過度讓AI 代筆可能限制校務團隊深入探討辦學成果的機會，減損評鑑過程作為促進持續改進的作用。此外，自評報告往往包含學校的機敏資訊（如財務細節、策略計畫），將這些內容上傳至開放AI平台可能引發機密外洩的風險。一旦資料被不當用於AI模型訓練，日後產生的文本可能無意中洩漏學校的個資或敏感資訊。因此，若要利用AI協助撰寫報告，高教機構應採取謹慎措施，選用安全受控的AI工具、了解大型語言模型的侷限，並確保最後報告內容的真實準確與原創性（SACSCOC, 2024）。總言之，生成式AI可為撰寫自評報告提供強大助力，但必須嚴守誠信與品質原則，將其定位為輔助而非取代人類專業判斷的工具。即便運用AI快速彙整各單位報告形成初稿，最後仍須由熟悉校務運作的專業人員把關，確保報告內容真實反映校況且富有洞見。三、模擬與準備實地訪評認證過程中常包含實地訪視與座談環節，透過與受評單位相關人員的問答交流，更深入了解該校的文化脈絡並核實自評報告內容。許多高教機構為確保評鑑準備萬無一失，往往會邀請有經驗的同儕專家或無利益衝突的資深評鑑委員，協助輔導受評單位預先準備座談期間常見的問題與回答策略。而生成式AI的對話能力使其非常適合模擬這類訪談場景，供受評單位和品保團隊進行預先演練。對受評學校而言，可以利用AI聊天機器人扮演「模擬評鑑委員」，讓相關人員練習回答各種可能被問及的問題。例如，將品保指標及評鑑要求輸入大型語言模型，並要求它以評鑑委員的角度提出挑戰性問題，學校團隊即可據此反覆練習應答並調整準備。這樣的AI模擬訪談在其他領域已初見成效。例如，許多求職者廣泛使用AI進行模擬面試，以獲得即時反饋和建議（Chamorro-Premuzic, 2024）。由於訪談環節常需要面對評鑑委員各式各樣的提問，AI生成的多樣化提問有助於受評者提前思考對策，提高臨場表現的鎮定度。套用在高教評鑑上，AI可以作為24小時的練習對象，並針對回答內容給出改進提示（例如回答是否切題、資訊是否充分）。大型語言模型的另一項特點是能提供跨語言的支援，對於申請國際認證的高教機構而言更有顯著的幫助。然而，為了確保模擬的有效性， AI問答腳本仍應有評鑑專家參與，透過人機協作在練習後進行討論與回饋，避免AI提出過於籠統或不恰當的問題。品保機構觀點：生成式AI於認證實務之應用案例品保機構作為高等教育品質的守門人，不僅需要評估高教機構如何應對生成式AI帶來的機會與挑戰，也在探索如何將AI技術應用於自身的認證工作流程，並據此發展新的指引與標準。主要的應用範疇可歸納如下：一、提升認證工作流程與效率評鑑不僅對受評單位而言是項苦差事，對品保機構而言，同時管理大量受評單位的評鑑案件亦是繁重的工作。因此，部分品保機構開始將AI導入認證流程，以簡化相關分析工作或標準化評鑑文本。例如，印度國家評鑑與認證委員會（National Assessment and Accreditation Council, NAAC）於2024年9月起導入AI技術，用於數據處理、透過群眾外包（crowd-sourcing）收集次級數據、輔助二元制評鑑第一階段的資料審查，以及識別資料缺漏或細微錯誤，以期提高效率與準確性（Vivian, 2024）。此外，AACSB推出「AI應用案例中心」（AI Use Case Hub），提供具體的AI提示（prompts）對應其品保標準，幫助商學院更有效準備符合品保標準要求的文件。這意味著評鑑委員可能會收到更為標準化、經AI輔助整理的材料，有助於提升審閱效率（AACSB International, n.d.）。學術文獻中也探討了在認證中使用專家系統（Expert Systems, ES）的概念，特別是針對 AACSB認證，認為這類基於知識的系統有潛力改善評鑑結果的品質與可靠性，同時減少所需時間、成本及錯誤率（Chedrawi & Howayeck, 2019）。然而，品保機構在提升效率的同時也高度關注相關風險。美國SACSCOC明確禁止其評審委員使用外部AI工具處理機構提交的機密文件，主要考量是資料安全與評審過程完整性的風險（SACSCOC, 2024）。美國高等教育認可委員會（Council for Higher Education Accreditation, CHEA）在其指導原則中也強調，AI應僅作為輔助工具，最終的評鑑決策權必須掌握在人類手中，且需避免偏見（CHEA, 2025）。這顯示品保機構在探索AI應用時，仍將人類判斷與數據安全置於優先地位。二、AI驅動的數據分析以獲取更深洞見與風險評估 AI的數據分析能力讓品保機構能更深入地理解高教機構的運作，並進行更有效的風險評估。透過AI驅動的分析技術與預測模型，品保機構可以分析大量校務數據（如學生學習成果、畢業率、就業情況、財務狀況、師資結構等），主動識別潛在的品質風險或需要特別關注的領域。值得注意的是，AI不僅適合處理量化數據分析，在處理與彙總大量質性文本資料方面也展現潛力，使評鑑能獲得質量兼具的資訊洞見。歐盟的Qual-AI-ty Engagement 計畫便是利用AI技術（開發名為QUALIA的訪談助理聊天機器人）來收集並處理大量質性數據（例如學生訪談內容），以增進對學生社會參與等複雜面向的理解，並將這些質性洞見納入品質保證實踐中（ACEEU, n.d.; Buitrago-Carvajal, H., & Cadenas, J., 2023; Buitrago-Carvajal, H., 2023）。這顯示AI有潛力幫助品保機構克服以往過度依賴量化指標的侷限，取得更全面且細緻的教育品質圖像。三、發展針對AI的指引與標準面對生成式AI對高等教育的衝擊，全球主要的品保機構陸續制定或更新指引與標準，以規範AI在高教及認證過程中的應用。各機構的應對方式與側重點有所不同： ●美國高等教育認證委員會（CHEA）：發布《人工智慧於評鑑與認可之指導原則》，強調五大核心：人類控制且無偏見的決策過程、使用與記錄真實數據、遵守透明與問責的倫理準則、數據保護與安全、以及AI系統的可靠性（CHEA, 2025）。其核心理念是AI應「支持」而非「取代」人類的獨立決策。 ●美國南部學院與學校協會（SACSCOC）：提供了相對詳細且謹慎的指引，區分了對於高教機構使用AI（強調可驗證性、安全性、偏見防範）和對評鑑委員使用AI的要求。其中後者被嚴格禁止使用外部AI工具處理機構提交的機密材料，以防範數據外洩及被用於模型訓練的風險（SACSCOC, 2024）。 ●英國高等教育品質保證機構（Quality Assurance Agency for Higher Education, QAA ）：發布多份針對高教機構的建議文件，如《在ChatGPT時代維持品質與標準》和《為 ChatGPT時代重新思考學生學習評量》，重點關注如何調整評量方法以維護學術誠信，並提供資源培養學生和教職員之批判性使用生成式AI素養、公平取用AI工具減少數位落差等（QAA, 2023a, 2023b）。QAA的角色更側重於引導和支持整個高教領域適應生成式AI帶來的變革（QAA, 2024），但較少就品保機制本身提出指引與規範。 ●澳洲高等教育品質與標準局（Tertiary Education Quality and Standards Agency, TEQSA）：積極要求所有註冊的高教機構提交因應生成式AI風險的行動方案（TEQSA, 2024a, 2024c），並發布自身的AI透明度聲明，表明目前未在其監管和決策流程中使用AI （TEQSA, 2025）。TEQSA根據各校提交的行動方案，開發了分享新興最佳實踐的工具包，以促進高教領域的學習與能力提升（TEQSA, 2024b）。 ●國際商管學院促進協會（AACSB）：開發「AI應用案例中心」，將具體的AI提示（ prompt）與其品保標準相對應，旨在幫助商學院更有效滿足文件準備與合規性要求（ AACSB International, n.d.）。同時，AACSB透過調查了解商學院對生成式AI的採納情況與態度（AACSB International, 2025）。 ●印度國家評鑑與認證委員會（NAAC）：如前所述，其導入AI技術以簡化認證流程，主要用於數據處理與初步審查，目標是提高效率、透明度與準確性（Vivian, 2024）。其重點在於利用AI優化現有流程。 ●歐洲高等教育品質保證協會（The European Association for Quality Assurance in Higher Education, ENQA）：雖然未見其發布針對生成式AI在品保與評鑑上的全面性指引，但積極籌辦關於負責任使用AI的相關研討會（ENQA, n. d.），凝聚國際專家對生成式 AI應用之共識。值得一提的是，ENQA近期公布的計畫補助案中，其中有二項主題，包含「自動認可之數位工具與品質保證」，及「運用整體手段與資料收集打擊學術詐欺」，可能與AI應用密切相關（ENQA, 2025）。 ●歐盟Qual-AI-ty Engagement計畫：此計畫的獨特之處在於專注利用AI（特別是聊天機器人）來收集和分析與學生社會參與相關的質性數據，旨在打破傳統QA過於依賴量化指標的局限，開發新的評估模型（Qual-AI-ty Assessment Model）（ACEEU, n.d.; Buitrago-Carvajal, H., & Cadenas, J., 2023）。綜上觀察，儘管各機構的具體做法不同，但在其指引與討論中反覆出現一些共同主題，如：強調倫理使用、要求透明度與問責制、關注數據安全與隱私、堅持維護學術標準與誠信，以及最終決策需由人類主導的重要性。在應對生成式AI的過程中，品保機構展現出一種雙重角色：既是監管者，又是促進者。一方面，基於其維護品質標準的核心使命，當新興風險如生成式AI威脅學術誠信發生時，品保機構必須設定界限並執行監管。這體現在CHEA 的原則性規範、SACSCOC的明確禁令以及TEQSA要求機構提交行動計畫行動上。另一方面，因認識到生成式AI的潛在益處以及高教機構需要有效調適的必要性，品保機構也扮演著促進者的角色，提供資源、指引和平台來幫助機構應對變革。例如，QAA發布詳細的評量建議，AACSB提供實用的應用案例，TEQSA分享領域內的新興實踐，ENQA組織研討會和補助計畫，以及參與像Qual-AI-ty這樣的合作項目。這種雙重角色的平衡對於品保機構能否成功引導高教領域應對生成式AI至關重要。過於嚴苛的監管可能扼殺有益的創新，而過於放任則可能損害教育品質與公信力。結論生成式AI正快速融入高教品保與評鑑領域，帶來前所未有的機遇與挑戰。從受評單位的角度，AI可以協助高教機構優化決策過程、提升自評報告撰寫效率，並扮演虛擬顧問提高評鑑整備度。然而，高教機構必須對AI輸出嚴加核實，把握倫理原則，確保自評過程仍維持真實、誠信與當責性。從品保機構的角度，AI有助於簡化認證工作與流程、提供質量兼顧的分析洞見及強化風險預警機制、並促使建立高教品保中的AI使用準則。未來隨著AI技術的不斷進步，或可預期更多高教機構將AI納入內部品質管理系統，實現即時的診斷與品質改進；品保機構也可能開發自主的封閉AI工具，供評審專家使用以提高審查精度同時確保機密性。同時，新的挑戰也會出現，例如如何防止對AI分析的過度依賴導致校本特色弱化、弭平數位落差造成的不平等（Alcock, 2024）、如何提升教育工作者及品保專業人員的批判AI素養等。再則，若真如《2027 AI白皮書》（Kokotajlo et. al, 2025）所預言，AI代理人（AI agent）甚至超人AI將在未來十年內實現，屆時人類對AI的掌控度與理解力將再也趕不上AI的成長速度時，如何還能確保以人為本的使用AI甚至為其負責，可能需要盡早透過多邊對話建立共識架構與跨國合作，集思廣益積極研議因應之道。總而言之，高等教育界正在見證一場品質保證的數位轉型，現階段生成式AI在高教品保與評鑑中的應用前景廣闊。只要秉持以學生學習為中心的價值理念，審慎地將AI融入品保架構與流程並保持人為監督，將可引導高等教育朝向善用AI而又維護教育核心價值的方向發展。（本文使用生成式AI工具協助資料收集與生成初稿，內容經筆者核實並改寫。） https://udn.com/news/story/6885/8717423?from=udn-catebreaknews_ch2 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.176.190.76 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AfterPhD/M.1746436669.A.F74.html

推