Social Research Methods · Week 15

研究法急診室

看懂一個研究哪裡強、哪裡弱，並把「我覺得」改成「這個證據能支持到哪裡」。

（教材設計）90 分鐘總整課：期末專題報告後的研究判斷力訓練。

【來源：Babbie_The_Practice_of_Social_Research.pdf p523】【來源：Babbie_The_Practice_of_Social_Research.pdf p525】

114-2 社會科學研究法

After final projects

今天不再加新方法，而是練判斷

  • 期末專題已報告完，最有價值的補課不是再塞一章內容，而是把整學期方法變成讀研究與看證據的能力。
  • 讀研究不是只讀結論；要檢查研究目的、分析單位、測量、抽樣、分析與限制是否支撐研究者的宣稱。
  • 這堂課把「研究計畫書能力」轉成「看懂研究品質」的日常判斷力。

【來源：Babbie_The_Practice_of_Social_Research.pdf p525】【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p530】

90-minute flow

這 90 分鐘怎麼走

0–10 分開場：研究法是判斷結論能不能相信。
10–25 分老師示範：把研究宣稱拆成證據鏈。
25–70 分（教材設計）四輪：做一個 case、提交、看 dashboard 講解。
每輪節奏學生先判斷；老師看全班選項分布，再回到投影片講概念。
70–85 分把診斷轉為修正：怎樣讓設計更可信。
85–90 分Exit ticket：以後看研究先檢查三件事。
工具AISI Apps Box：研究法急診室。
產出個人診斷紀錄與課堂反思。

【來源：Babbie_The_Practice_of_Social_Research.pdf p523】【來源：Babbie_The_Practice_of_Social_Research.pdf p525】

Core move

先把「宣稱」和「證據」分開

多數方法錯誤不是因為資料完全沒用，而是因為結論寫得比資料能支持的範圍更大。

今天每個案例都只問一件事：目前證據最多能說到哪裡？

【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p538】【來源：Babbie_The_Practice_of_Social_Research.pdf p543】

AISI activity

等一下請進入 AISI

進入路徑

  • 登入 AISI 主網。
  • 打開選單，進入 Apps Box。
  • 點選「研究法急診室」。
  • 填姓名，每次完成一個 case 的三題後提交。
  • 老師會在 admin dashboard 投影全班回應。

活動網址

https://appsbox.aisi.tw/research-method-clinic

（教材設計）若從主網進入，token 會自動帶入；不要把個人 token 貼到公開處。

【來源：Babbie_The_Practice_of_Social_Research.pdf p536】

Dashboard routine

老師端不要只當成計分表

先看分布如果全班集中選同一個錯誤選項，代表那個錯誤有「合理外表」，可以拿來講方法概念。
再問理由先問學生為什麼被某個選項吸引，再揭示它少看了哪個設計條件或推論界線。
最後修正每題收束時都回到「怎樣改設計或改結論」，不要停在公布正解。
（教材設計）建議每輪節奏：學生作答 4 分鐘；老師看 dashboard 2 分鐘；老師用接下來的概念頁講解 5–6 分鐘。

【來源：Babbie_The_Practice_of_Social_Research.pdf p525】【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p543】

Four checks

研究法急診四診

一診：範圍這個樣本或資料來源能代表誰？
二診：測量指標真的對準研究概念嗎？
三診：比較是否有足夠基準支持因果或效果？
四診：誠實限制、替代解釋與倫理風險有沒有交代？

【來源：Babbie_The_Practice_of_Social_Research.pdf p154】【來源：Babbie_The_Practice_of_Social_Research.pdf p194】【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p545】

Three recurring questions

每一輪都問同樣三句話

1. 它想說什麼？先把研究宣稱寫成一句話，判斷它是在描述、比較、解釋，還是在提出政策或設計建議。
2. 它憑什麼說？回到樣本、測量、比較基準、時間順序與分析步驟，檢查證據鏈是否足以支撐宣稱。
3. 它最多能說到哪裡？把結論降到資料能支持的範圍，保留限制與不確定性，才是研究報告的可信度來源。
這三句話會重複出現在四個 case。學生熟悉這個節奏後，就能把它帶到新聞數據、教育成果報告與自己的專題報告。

【來源：Babbie_The_Practice_of_Social_Research.pdf p525】【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p538】【來源：Babbie_The_Practice_of_Social_Research.pdf p543】

Reading as audit

讀研究：把它當成一份可檢核的設計

  • 先問研究目的：它是在探索、描述，還是在解釋？不同目的能支持的結論強度不同。
  • 再問分析單位與時間向度：研究者是否把群體資料推到個人，或用橫斷資料說成長變化？
  • 最後問測量、抽樣與分析：每個結論是否能回到清楚資料與分析步驟。

【來源：Babbie_The_Practice_of_Social_Research.pdf p525】【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p530】

Case 1

學習 APP 使用後分數提高 30%

（教材設計）這個案例練習：前後測結果如何被過度寫成因果成效。

請先不要急著說「研究不好」。先問：它到底能支持哪一種較保守的說法？

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p385】

AISI checkpoint 1

（教材設計）現在做案例 1

  • 在 AISI app 中完成「學習 APP 成效宣稱」三題。
  • 先自己判斷，再送出前不要和同學對答案。
  • 送出後先停在原頁，等老師投影 dashboard 看全班分布。
  • 老師會帶大家判斷：錯誤集中在因果、推論範圍，還是修正設計？
時間：4 分鐘。

【來源：Babbie_The_Practice_of_Social_Research.pdf p526】

Dashboard debrief 1

先看班上把「效果」誤判成什麼

若很多人選「樣本太少」提醒學生：小樣本不是讓所有描述都失效；真正跳步是把單組前後差異寫成介入造成。
若很多人選「所有學生」抓住推論界線：自願試用者的變化，不能自動推到所有學生或所有情境。
若修正題分散把學生拉回比較基準：最有力的修正通常不是更多故事，而是建立可比的對照。
（教材設計）可追問：「如果分數提高不是 APP 造成，還可能是什麼？」讓學生說出成熟、熟悉測驗、教師協助、同時期事件等替代解釋。

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p154】【來源：Babbie_The_Practice_of_Social_Research.pdf p392】【來源：Babbie_The_Practice_of_Social_Research.pdf p538】

Case 1 diagnosis

效果宣稱最怕缺少比較基準

常見跳步

  • 「前後不同」被寫成「介入造成」，但沒有處理其他可能讓分數變高的因素。
  • 「自願試用者」被寫成「所有學生」，把樣本內描述擴大成母體推論。
  • 「一份測驗分數」被寫成「完整學習成效」，沒有說明測量指標的範圍。

比較好的修正

  • 加入相近學生的比較組，並說明兩組如何形成與是否可比。
  • 記錄介入實施程度，避免假設每個人都接受同樣品質的介入。
  • 把結論限制在資料能支持的族群、期間、測量工具與學習內容。

【來源：Babbie_The_Practice_of_Social_Research.pdf p392】【來源：Babbie_The_Practice_of_Social_Research.pdf p389】【來源：Babbie_The_Practice_of_Social_Research.pdf p390】

Case 1 repair

如果要把 APP 成效研究做得更可信

最低限度把結論改成樣本內描述：這 20 位自願試用者在兩週後測驗分數較高。
中度修正加入相近學生比較組，並記錄兩組原本能力、教師支援與使用時間是否相近。
較強修正若可行，使用隨機分派或準實驗設計，並事先定義成效指標與資料排除規則。
（教材設計）這頁可多講 3 分鐘：讓學生練習把「這研究不好」改寫成三種可執行的修正版本。

【來源：Babbie_The_Practice_of_Social_Research.pdf p385】【來源：Babbie_The_Practice_of_Social_Research.pdf p389】【來源：Babbie_The_Practice_of_Social_Research.pdf p390】【來源：Babbie_The_Practice_of_Social_Research.pdf p392】

Case 2

IG 問卷：85% 支持 AI 輔助作業

（教材設計）這個案例練習：便利樣本與誘導題項如何把探索結果寫成母體結論。

【來源：Babbie_The_Practice_of_Social_Research.pdf p154】【來源：Babbie_The_Practice_of_Social_Research.pdf p254】

AISI checkpoint 2

（教材設計）現在做案例 2

  • 完成「IG 問卷與 AI 作業」三題。
  • 注意：這個案例不是要否定社群問卷，而是要說清楚它適合回答哪一種問題。
  • 送出後看老師 dashboard：全班分歧比較像抽樣問題，還是測量問題？
時間：4 分鐘。

【來源：Babbie_The_Practice_of_Social_Research.pdf p526】

Dashboard debrief 2

這一題通常會混在一起：人怎麼來、題怎麼問

抽樣層次IG 限動回覆者是可觀察資料，但不是明確抽出的「大學生母體」樣本；樣本數不能補掉抽樣框不清。
測量層次題目把「AI」和「更有效率」綁在一起，會讓受訪者較容易選支持，這是題項措辭的問題。
報告層次這份資料可以說「我的 IG 回覆者中多數支持」，但不適合直接說「大學生普遍支持」。
（教材設計）可請學生把 dashboard 中分歧最大的那一題改寫成中性題項，現場口頭收 2–3 個版本。

【來源：Babbie_The_Practice_of_Social_Research.pdf p154】【來源：Babbie_The_Practice_of_Social_Research.pdf p254】【來源：Babbie_The_Practice_of_Social_Research.pdf p293】【來源：Babbie_The_Practice_of_Social_Research.pdf p538】

Sampling and measurement

樣本數多，不等於代表性強

抽樣問題

  • 先界定母體與抽樣框，才知道樣本能代表誰；「誰有機會被抽到」是推論的起點。
  • 便利樣本可用於探索，但推論母體時要保守，不能只用樣本數讓結論看起來穩固。

題項問題

  • 題目若把 AI 和「更有效率」綁在一起，就可能引導受訪者朝支持答案理解。
  • 預試可以讓研究者看見受訪者是否用同一種方式理解題目，並及早修正措辭。

【來源：Babbie_The_Practice_of_Social_Research.pdf p154】【來源：Babbie_The_Practice_of_Social_Research.pdf p254】【來源：Babbie_The_Practice_of_Social_Research.pdf p293】

Case 2 repair

把 IG 問卷改成比較像研究

界定母體先說清楚要描述的是哪一群人：本系學生、本校大學生，還是追蹤者中的回覆者。
改寫題項把「善用 AI 讓作業更有效率」拆成中性問法，避免題目暗示 AI 必然有正面效果。
回報限制若仍用社群問卷，就把它定位為探索資料，並說明自我選擇與未回覆者可能造成偏差。
（教材設計）可以請學生現場把原題改成兩題：一題測使用頻率，一題測態度，讓「概念」和「測量」分開。

【來源：Babbie_The_Practice_of_Social_Research.pdf p154】【來源：Babbie_The_Practice_of_Social_Research.pdf p194】【來源：Babbie_The_Practice_of_Social_Research.pdf p254】【來源：Babbie_The_Practice_of_Social_Research.pdf p293】

Case 3

短影音越多，注意力自評越低

（教材設計）這個案例練習：相關、時間順序與第三變項。

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p120】

AISI checkpoint 3

（教材設計）現在做案例 3

  • 完成「短影音與注意力」三題。
  • 重點不是說短影音一定無害，而是判斷目前資料能不能支持「造成」。
  • 送出後先想一個你認為最可能的第三變項，等老師看 dashboard 討論。
時間：4 分鐘。

【來源：Babbie_The_Practice_of_Social_Research.pdf p526】

Dashboard debrief 3

看到負相關，學生很容易急著找兇手

先承認相關有資訊短影音時間與注意力自評一起變動，確實值得研究；問題不是「相關沒用」。
再拆時間順序如果只有同一時間點的資料，就還不知道短影音先發生，還是注意力困難先存在。
最後找第三變項睡眠、壓力、課業負擔、家庭規範都可能同時影響短影音使用與注意力自評。
（教材設計）可以請學生用 30 秒在座位旁說出一個第三變項，再回到 dashboard 看哪一題最容易忽略這件事。

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p120】【來源：Babbie_The_Practice_of_Social_Research.pdf p526】

Causal claim

因果推論要過三道門

1相關：兩個變項是否有系統性關聯？沒有關聯時，因果宣稱通常沒有起點。
2時間：原因是否在結果之前發生？橫斷資料最常卡在這裡。
3非虛假：是否排除合理第三變項或替代解釋？控制變項與追蹤資料只能補強，不能自動證明。
短影音案例通常先卡在第二、第三道門：注意力低也可能讓人更常滑短影音，或兩者都受睡眠與壓力影響。

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p120】

Case 3 repair

從相關研究走向較強的因果判斷

補時間追蹤同一批學生一段時間，至少能判斷短影音使用與注意力變化誰先誰後。
補第三變項同步測量睡眠、壓力、課業負擔等因素，讓替代解釋可以被檢查，而不是被忽略。
改標題若資料仍是橫斷相關，就把標題改成「短影音使用與注意力自評有關」，不要寫成造成。
這裡可讓學生練習「降階結論」：不是把研究刪掉，而是把因果標題降回關聯描述。

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p120】【來源：Babbie_The_Practice_of_Social_Research.pdf p145】【來源：Babbie_The_Practice_of_Social_Research.pdf p538】

Case 4

閱讀計畫後，閱讀分數提高

（教材設計）這個案例練習：評估研究中的情境、指標與外部壓力。

【來源：Babbie_The_Practice_of_Social_Research.pdf p385】【來源：Babbie_The_Practice_of_Social_Research.pdf p399】【來源：Babbie_The_Practice_of_Social_Research.pdf p407】

AISI checkpoint 4

（教材設計）現在做案例 4

  • 完成「閱讀計畫成效」三題。
  • 提交 Case 4 後，老師會帶大家看倫理與報告透明度的回應分布。
  • 四個 case 都講解完，再在 exit ticket 寫下：以後看研究最先檢查三件事。
時間：6 分鐘。

【來源：Babbie_The_Practice_of_Social_Research.pdf p545】

Dashboard debrief 4

這題要把「設計限制」和「倫理壓力」接起來

設計限制平均分數上升仍要問比較基準、同時期事件、介入實施程度與資料缺漏。
行政壓力如果要求只呈現進步幅度，研究就可能從評估工具變成成果包裝。
報告透明度好的評估報告應讓讀者看見進步，也看見不確定性、未完成資料與替代解釋。
（教材設計）可問學生：「如果你是研究小組，哪一句限制最難寫？為什麼？」讓倫理不是抽象規範，而是報告決策。

【來源：Babbie_The_Practice_of_Social_Research.pdf p389】【來源：Babbie_The_Practice_of_Social_Research.pdf p390】【來源：Babbie_The_Practice_of_Social_Research.pdf p407】【來源：Babbie_The_Practice_of_Social_Research.pdf p545】

Evaluation is political

評估研究不只看「有沒有變好」

要補的證據

  • 比較基準：是否有相似班級、歷年趨勢或跨時間資料，才能判斷進步是否特別。
  • 情境因素：教師更換、考前練習、學生流失，都可能改變結果的解讀。
  • 介入強度：學生實際參與多少，品質是否一致，會影響「計畫」到底是什麼。

要守的倫理

  • 不要只呈現有利結果，因為選擇性呈現會改變讀者對證據強度的判斷。
  • 不要把不確定性刪掉；限制不是缺點清單，而是誠實推論的邊界。
  • 不要讓行政壓力替研究結論做決定，研究者仍需對報告透明度負責。

【來源：Babbie_The_Practice_of_Social_Research.pdf p389】【來源：Babbie_The_Practice_of_Social_Research.pdf p390】【來源：Babbie_The_Practice_of_Social_Research.pdf p407】【來源：Babbie_The_Practice_of_Social_Research.pdf p408】

Case 4 repair

評估報告要讓人看見完整證據鏈

結果呈現閱讀分數進步，也說明進步幅度、分布與哪些學生沒有完整參與。
脈絡交代教師更換、考前練習與計畫執行品質，讓讀者知道結果可能被哪些因素影響。
限制把替代解釋和資料缺漏寫進報告，避免把行政想要的成果當作研究結論。
（教材設計）這頁可收束到學生未來做教育媒材評估時的責任：成果漂亮時，更需要清楚寫出限制。

【來源：Babbie_The_Practice_of_Social_Research.pdf p407】【來源：Babbie_The_Practice_of_Social_Research.pdf p408】【來源：Babbie_The_Practice_of_Social_Research.pdf p543】【來源：Babbie_The_Practice_of_Social_Research.pdf p545】

Class debrief

對答案時不要只問「誰對誰錯」

  • 把錯誤放回方法分類：抽樣、測量、因果、分析、倫理、報告透明度。
  • 每一類錯誤都對應到一種修正：不是把研究丟掉，而是讓結論變得更準確。
  • 研究判斷力的核心，是知道資料有價值，也知道資料的邊界。

【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p543】

From diagnosis to repair

把批評改成設計修正

抽樣弱界定母體、說明抽樣框、限制推論範圍。
測量弱重寫題項、增加指標、做預試。
因果弱增加比較組、追蹤時間、測量第三變項。
倫理弱揭露限制、保護資料、拒絕選擇性呈現。

【來源：Babbie_The_Practice_of_Social_Research.pdf p140】【來源：Babbie_The_Practice_of_Social_Research.pdf p142】【來源：Babbie_The_Practice_of_Social_Research.pdf p545】

Conclusion ladder

結論有強弱，不是只有真假

1描述樣本：這些受試者或資料呈現什麼狀況。
2描述母體：在清楚抽樣假設下，推論某母體狀況。
3關聯判斷：兩個變項是否有系統性關係。
4因果判斷：處理時間順序與合理替代解釋後，才更接近因果。

【來源：Babbie_The_Practice_of_Social_Research.pdf p119】【來源：Babbie_The_Practice_of_Social_Research.pdf p145】【來源：Babbie_The_Practice_of_Social_Research.pdf p494】

When reading news data

看到漂亮數字，先問三句話

  • 誰被研究？樣本如何來？沒回答的人可能和回答者不同嗎？
  • 研究測了什麼？題目、指標或分類是否真的對準概念？
  • 結論寫到哪裡？它是在描述、比較、解釋，還是在提出行動建議？

【來源：Babbie_The_Practice_of_Social_Research.pdf p526】【來源：Babbie_The_Practice_of_Social_Research.pdf p530】【來源：Babbie_The_Practice_of_Social_Research.pdf p538】

Exit ticket

（教材設計）最後 5 分鐘：寫下你的三件事

請在 AISI app 寫

  • 我以後看研究時，第一個會檢查的是什麼？
  • 第二個會檢查的是什麼？
  • 第三個會檢查的是什麼？

老師收束

  • 抽樣讓你知道能說到誰。
  • 測量讓你知道到底量到什麼。
  • 設計與倫理讓你知道結論能不能被相信。

【來源：Babbie_The_Practice_of_Social_Research.pdf p523】【來源：Babbie_The_Practice_of_Social_Research.pdf p545】

Closing

研究法最後帶走的不是公式，是責任

你可以用研究支持設計、改善教學、評估媒材，也可以用研究包裝過度宣稱。差別在於你願不願意誠實標出證據的能力與邊界。

好的研究者不是永遠做出完美設計的人，而是能清楚交代自己怎麼知道、可能錯在哪裡、結論能支持到哪裡的人。

【來源：Babbie_The_Practice_of_Social_Research.pdf p543】【來源：Babbie_The_Practice_of_Social_Research.pdf p545】