114-2 · 人工智慧的應用與教育 · 文獻導讀
Personalised Feedback in the Age of Generative AI
當 LLM 走進教室,回饋這件事還是教師的工作嗎?
10 篇近三年(2023–2025)實證與綜論文獻|課堂導讀
資料來源:Scopus 跨源驗證(Scopus + CrossRef + OpenAlex + Semantic Scholar)
Why this topic now
本日路線圖
Part 1 · 三篇實證對照
三個學科情境(一般寫作、EFL 議論文、Java 程式作業)下,
比較 AI 與教師回饋的品質特徵、回饋類型、學生信任、實際改善。
Paper 1 · 寫作回饋品質的特徵對照
Learning and Instruction · 2024 · 343 cites
Comparing the quality of human and ChatGPT feedback of students' writing
Steiss, J., Tate, T. P., Graham, S., Cruz, J., Hebert, M., et al. (2024). Learning and Instruction, 91, 101894. https://doi.org/10.1016/j.learninstruc.2024.101894
Paper 2 · EFL 議論文寫作(一)研究設計
Education and Information Technologies · 2023 · 297 cites
To resist it or to embrace it? Examining ChatGPT's potential to support teacher feedback in EFL writing
Guo, K., & Wang, D. (2024). 29(6), 8435–8463. https://doi.org/10.1007/s10639-023-12146-0
Paper 2 · 主要結果(Mann–Whitney 檢定)
| 回饋類型 | 教師中位數 | ChatGPT 中位數 | 方向(顯著) | 效應 r |
|---|---|---|---|---|
| Directive(直接指令) | 0.20 | 0.43 | ChatGPT 顯著 > | −0.37 中 |
| Informative(資訊解釋) | 0.31 | 0.05 | 教師顯著 > | −0.30 中 |
| Query(提問引導) | 0.00 | 0.00 | 教師顯著 > | −0.20 小 |
| Praise(讚美鼓勵) | 0.15 | 0.38 | ChatGPT 顯著 > | −0.21 小 |
| * 上表為「內容向度」結果。組織與語言向度結果類似:ChatGPT 偏 directive、教師偏 informative/query。 | ||||
Paper 2 · 教師質性回應與教學啟示
Paper 3 · Java 程式課堂 RCT(一)設計
British Journal of Educational Technology · 2025
Assessing student perceptions and use of instructor versus AI-generated feedback
Er, E., Akçapınar, G., Bayazıt, A., Noroozi, O., & Banihashem, S. K. (2025). BJET. https://doi.org/10.1111/bjet.13558
Paper 3 · 結果:感受 ≠ 學習
Section 01 · 小結
不是要在「AI 取代教師」或「教師取代 AI」中選邊站,
而是問:哪一段回饋工作交給 AI,會讓老師更專注在重要的判斷上?
Part 2 · 四篇實證與綜整
從 meta-analysis 的整體效應量、ENL 雙研究、師資生診斷推理任務、到 SRL 設計原則——
當我們把鏡頭拉遠,「個別化」這個詞究竟意味著什麼?
Paper 4 · Meta-analysis(一)方法
Frontiers in Artificial Intelligence · 2023
Automated feedback and writing: a multi-level meta-analysis of effects on students' performance
Fleckenstein, J., Liebenow, L. W., & Meyer, J. (2023). 6, 1162454. https://doi.org/10.3389/frai.2023.1162454
Paper 4 · 結果(二)
Paper 5 · ENL 大學生雙研究
International Journal of Educational Technology in Higher Education · 2023 · 421 cites
AI-generated feedback on writing: insights into efficacy and ENL student preference
Escalante, J., Pack, A., & Barrett, A. (2023). 20:57. https://doi.org/10.1186/s41239-023-00425-2
Paper 6 · 師資生診斷推理
Computers and Education: Artificial Intelligence · 2024
Effects of adaptive feedback generated by a large language model: A case study in teacher education
Kinder, A., Briese, F. J., Jacobs, M., Dern, N., et al. (2024). CAEAI, 100349. https://doi.org/10.1016/j.caeai.2024.100349
Paper 7 · 教學設計原則
Sustainability · 2023 · 294 cites
Educational Design Principles of Using AI Chatbot That Supports Self-Regulated Learning in Education: Goal Setting, Feedback, and Personalization
Chang, D. H., Lin, M. P., Hajian, S., & Wang, Q. Q. (2023). 15(17), 12921. https://doi.org/10.3390/su151712921
Section 02 · 小結
Part 3 · 三篇學科實務
CHI 程式教學「不直接給答案」的克制設計、物理大班級的迷思命名回饋、
與高教情境的系統性回顧——當設計遇到課室,會做什麼妥協?
Paper 8 · CHI 2024 · 一學期實地部署
CHI Conference on Human Factors in Computing Systems · 2024 · 185 cites
CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming Assistant that Balances Student and Educator Needs
Kazemitabaar, M., Ye, R., Wang, X., et al. (2024). Proc. CHI 2024. https://doi.org/10.1145/3613904.3642773
Paper 9 · 物理大班級概念題回饋
Physical Review Physics Education Research · 2024 · 79 cites
Exploring generative AI assisted feedback writing for students' written responses to a physics conceptual question with prompt engineering and few-shot learning
Wan, T., & Chen, Z. (2024). PRPER, 20, 010152. https://doi.org/10.1103/PhysRevPhysEducRes.20.010152
Paper 10 · 高教情境系統性回顧(一)
Online Learning Journal · 2024 · 95 cites
Harnessing Generative AI (GenAI) for Automated Feedback in Higher Education: A Systematic Review
Lee, S. S., & Moore, R. L. (2024). 28(3), 82–104. https://doi.org/10.24059/olj.v28i3.4593
| 教學情境 | 納入研究 | 典型用法 |
|---|---|---|
| 語言學習 | Escalante (2023);J. Li (2023) | ENL 寫作、L2 中文 scaffolding |
| 學術寫作 | X. Li (2023);Wambsganss (2022) | 學期論文評估;商務寫作說服力 |
| 創意思考 | Hu (2023);Neo (2022) | 寫作 self-efficacy、即時支援 |
| STEM | Hobert & Berens;Jasin;Lee;Memmert | 統計、化學、公共衛生、概念設計 |
Paper 10 · 高教情境系統性回顧(二)
GenAI 不取代教師,而是重新分配教師工作——讓教師回到「設計、判斷、關係」這些 AI 不擅長的核心。
Section 03 · 小結
綜覽 · 10 篇論文一覽表
| 主題 | 作者(年) | 核心發現 |
|---|---|---|
| AI vs 教師 回饋品質 | Steiss et al. (2024) L&I 343 | 比較人類與 ChatGPT 寫作回饋之品質特徵;建立多向度評分範式 |
| Guo & Wang (2023) EIT 297 | ChatGPT 量大、偏 directive + praise;教師偏 informative + query | |
| Er et al. (2025) BJET 63 | 程式課 RCT:學生覺得教師回饋更有用、實際進步顯著更大 | |
| 個別化回饋 的學習效果 | Fleckenstein et al. (2023) Frontiers in AI 93 | Meta-analysis(k = 84, N = 2828):g = 0.55;子群比較全部不顯著 |
| Escalante et al. (2023) IJET-HE 421 | GPT-4 vs 真人 tutor 學習成效無差異;偏好五五波;建議 blended | |
| Kinder et al. (2024) CAEAI 36 | 269 師資生診斷推理:適應性 vs 靜態回饋的多面向比較 | |
| Chang et al. (2023) Sustainability 294 | AI 聊天機器人支援 SRL:goal-setting + feedback + personalization | |
| 學科實務 與綜整 | Kazemitabaar et al. (2024) CHI 185 | CodeAid:技術正確但不給程式碼;學生 + 教師雙利害關係人設計 |
| Wan & Chen (2024) PRPER 79 | 物理概念題:prompt engineering + few-shot 寫個別化評語 | |
| Lee & Moore (2024) OLJ 95 | 系統性回顧:減壓、溝通、可及性;重新分配教師工作 |
跨篇反思(一)方法論
跨篇反思(二)四個設計選擇
當所有研究都在問「AI 能不能做」的時候,
真正值得問的是:「教師應該不再做什麼?」
課堂討論題(一)落地與設計
課堂討論題(二)與課後作業
dois.txt、xref.json、pdfs/。收束
回饋是教學裡最親密的一段對話——LLM 改寫了它的規模、速度與成本,
但有沒有改寫它的本質?這是接下來幾年我們會持續問的問題。
114-2 人工智慧的應用與教育|文獻導讀
簡報 & 資料整理:Scopus 跨源驗證 + paper-downloader pipeline
感謝你今天的閱讀與思辨。