Education Cargo Cults Must Die 重點整理(study note)
Updated: 1 day ago
教育中的「貨物崇拜」必須終結
Authors｜作者
John Hattie and Arran Hamilton
Published September 2018 · 59 pages
2018 年 9 月發表，共 59 頁
Lesson 1｜理解全文的核心思想
1. 先理解標題：什麼是 Cargo Cult 貨物崇拜(邪教)？
A. 故事背景｜The story behind the concept
文章在 Introduction（第 6–7 頁）用一個故事來解釋核心概念。
二戰期間，太平洋島嶼上的居民接觸到外來軍隊，看到軍人使用飛機、無線電、現代物資，並獲得大量食物與貨物。戰爭結束後，軍隊離開了。部分島民試圖模仿軍人的行為，例如建造跑道、製作仿製的無線電設備、模仿軍事操練，希望貨物能再次到來。
但貨物沒有出現。作者借用這個故事，指出一個重要問題：他們模仿了看得見的行為，卻沒有真正理解產生結果的原因。
The islanders copied the visible practices of the soldiers without understanding the underlying systems that made the cargo arrive.
他們看到的是表面現象，卻不了解背後的機制，例如物流、工業生產和運輸系統。
B. 把這個概念放進教育現場
想像有一所學校：
學校購買昂貴的教育科技平台。
教師接受了新教學法的培訓。
教室裡充滿小組活動、平板電腦和精美的學習材料。
校長在參觀課堂後，認為教學改革非常成功。
但有一個關鍵問題：
學生真的學得更多、更深入了嗎？
如果學校只因為新設備看起來很先進、教師很投入、課堂很熱鬧，就認定改革有效，卻沒有可靠的學生學習證據，那麼這項改革就可能成為作者所說的 education cargo cult。
Key distinction｜核心區別
Education Cargo Cults= 模仿看似成功的做法，卻缺乏足夠證據證明它能改善學習。
The central question is not “Does it look good?” but “How do we know it works?”
核心問題不是「它看起來好不好」，而是「我們如何知道它真的有效？」
2. 全文的四大核心論點｜The four main arguments
作者把文章組織成四個主要部分。先掌握這張地圖，再深入理解每一部分。
1. Where is the 4% Going? 這 4% 的教育經費花到哪裡去了？
作者質疑大量教育資源、科技產品和教師專業發展經費，沒有產生足夠的學習成效。
→( evidence-informed decision-making（以證據為依據的決策）)
2. A Glitch in the Matrix (矩陣故障)人類思考中的盲點
我們會受到認知偏誤影響，偏好支持既有信念的教學法，甚至忽略相反的證據。
→ (Cognitive Bias)
3. How Do We Really Know? 我們究竟如何知道教學有效？
單靠觀課、考試成績或個人經驗，都可能不足以判斷教學是否真正促進學生學習。
4. Meta-analysis 統合分析
把多項研究的結果有系統地整合起來，尋找較有力的證據，理解哪些做法可能更有效。
請特別注意：作者不是單純反對科技、教學創新或教師培訓。他們反對的是在缺乏充分成效證據的情況下，就認定一項做法有效並持續投入資源。
The authors are not arguing against innovation. They are arguing against accepting educational claims without sufficiently examining their impact.
3. 第一部分：Where is the 4% Going?
教育經費多，就代表教育品質好嗎？
文章第 12–14 頁引用當時的估算，指出全球每年教育支出約為 3.5 兆美元，其中約 1,400 億美元，也就是 4%，投入教育產品、教學資源及在職教師專業學習。這是作者在 2018 年使用的估算，不應直接視為 2026 年的最新統計。作者的重點是：教育經費龐大，卻不代表這些錢必然轉化成學生學習進步。
關鍵英文概念
Return on investment (ROI)｜投資回報
在商業上，ROI 通常指投入資金所獲得的回報。在教育中，我們可以把它延伸為：
What did the school invest? 學校投入了什麼？
What changed in teaching and learning? 教與學產生了什麼改變？
What evidence demonstrates that change? 有什麼證據能證明這些改變？
舉例來說，學校花費大量預算購買平板電腦，並不能單憑購買數量或教師使用率判斷投資成功。我們還需要問：學生是否因此獲得更好的理解、更多適切的練習、更有效的回饋，或更大的學習進步？
教育領導者應如何思考？
假設你是一所國際學校的領導者，準備決定是否購買新的 AI 學習平台。
一般的決策可能是:The platform is innovative, and other international schools are using it.這個平台很創新，而且其他國際學校也在使用。
但作者會鼓勵進一步追問：
What problem are we trying to solve, and what evidence shows that this platform can solve it?
我們真正要解決什麼問題？又有什麼證據顯示這個平台能解決問題？
家教提醒： 這正是領導力中的 evidence-informed decision-making（以證據為依據的決策）。領導者不應先被產品吸引，再尋找使用它的理由；而應先釐清問題，再評估可行的解決方案。
4. 第二部分：A Glitch in the Matrix (矩陣故障)思考中盲點
這一部分非常值得仔細理解，因為作者指出：即使是有經驗、有專業知識的教師和校長，也可能做出不理性的判斷。
什麼是 Cognitive Bias？
Cognitive bias（認知偏誤） 是指我們在處理資訊、解讀證據或做決策時，受到某些系統性傾向影響，導致判斷偏離客觀證據。作者列出許多偏誤。我們先掌握五個對學校領導與教師反思特別重要的例子。
1. Authority Bias｜權威偏誤
我們容易因為某人有名、有頭銜或被視為專家，就過度相信他的主張。
Example: A famous education consultant recommends a teaching method, so the school adopts it without checking the evidence.
反思： 專家的建議值得參考，但仍應檢驗證據，而且要確認其專業領域是否與問題相關。
2. Confirmation Bias｜確認偏誤
我們傾向尋找、記住或解讀支持既有信念的資訊，而忽略與自己想法相反的證據。
Example: A teacher believes that group work is always effective and focuses only on the students who perform well in groups.
反思： 不只問「哪些證據支持我」，也要問「哪些證據可能推翻我的看法」。
3. Anecdotal Fallacy｜以個別經驗代替充分證據
把個人故事、成功案例或滿意度評價，當成證明整項計畫有效的充分依據。
Example: One teacher says a workshop transformed her teaching, so the school concludes that the workshop improves student achievement across the school.
反思： 個人經驗有參考價值，但還需要更多資料，了解成效是否普遍、持久，以及是否真的影響學生學習。
4. Sunk Cost Fallacy｜沉沒成本謬誤
因為已經投入大量金錢、時間或精力，即使成效不佳，仍然不願停止計畫。
Example: The school continues paying for an ineffective learning platform because it has already spent a large amount on it.
反思： 過去的投入無法收回。繼續投資的決定，應看未來可能帶來的效益，而不是只看已花掉多少錢。
5. Law of the Instrument｜工具定律
一旦我們熟悉某種工具或方法，就容易把各種問題都當成適合用它解決的問題。
Example: A school has invested heavily in technology, so it tries to solve every learning problem by adding another app.
反思： Start with the problem, not the tool. 先確認問題，再選擇工具，而不是先有工具，再勉強尋找用途。
更深一層的理解
作者在第 23 頁強調，教育工作者需要持續檢驗自己對教學成效的假設，並不斷追問：
How do I really know that I am having an impact? 我究竟如何確定自己的教學真的產生了影響？
這句話不是要求教師懷疑自己的一切，而是要求我們保持專業上的謙遜。
你可能很認真地備課，學生也很喜歡你的活動，但這兩件事本身，仍不能完全證明學生學到了預期的內容。同樣地，學生一次測驗表現不佳，也不代表教師一定教得不好。教師需要進一步理解學生的起點、學習過程、評量方式和其他影響因素。
英文重點： Professional confidence should be accompanied by professional curiosity and a willingness to revise one's beliefs. 專業自信應與專業好奇心並存，也要願意根據證據修正自己的看法。
5. 第三部分：How Do We Really Know?
這是全文最重要、也最值得你在 IBEC Leadership Practice 中反覆思考的一部分。
作者提出一個根本問題：學習發生在學生的頭腦中，但我們無法直接觀察學生的全部思考過程。那麼，我們如何判斷教學是否有效？The challenge is that learning is partly invisible. We must use evidence to make inferences about what students have learned.
作者主要討論三種證據來源：
Lesson observation（課堂觀察）
Assessment（評量）
Meta-analysis（統合分析）
A. Lesson observation｜課堂觀察
想像你正在觀察一位中文教師的課堂。你看到學生很投入，踴躍回答問題，教師的活動安排流暢，課堂秩序良好。你可能會認為這是一堂好課。
但作者會問：
Are students actually learning? 學生真的在學習嗎？
Are they developing deeper understanding? 他們是否建立更深入的理解？
Can they apply what they have learned independently? 他們能否獨立運用所學？
關鍵區別：Teacher performance vs. student learning impact
教師的表現與教師對學生學習產生的影響，是兩個相關但不完全相同的概念。
一堂課可以非常精彩，卻未必讓每位學生都達成學習目標。反過來說，學生安靜思考的課堂，也可能正在發生非常深入的學習。
作者如何說明觀課的限制？
文章提到 2013 年的 Measuring Effective Teaching（MET）研究計畫。作者引用該研究的觀察結果，指出單次觀課的評分可能因觀察者不同而有明顯差異。
文章還指出，增加觀察次數及觀察者，雖然可以提高判斷的可靠性，但仍不能完全消除誤差。這帶出兩個專業概念：
Reliability（信度）：測量結果是否具有一致性？
Validity（效度）：測量結果是否真的反映我們想測量的事物？
例如，兩位觀察者都能一致地記錄教師在 45 分鐘內提問幾次，這可能具有良好的信度。
但如果我們想知道這些提問是否真正促進學生理解，光有一致的次數紀錄還不夠。這涉及效度與更深入的學習證據。
對教師發展有什麼啟示？
作者並不是主張取消觀課。他們認為，觀課對教師專業發展有價值，尤其是當教師與同儕一起分析教學如何影響學生時。例如，你可以請同事觀察：
哪些學生能獨立完成任務？
學生在哪個步驟開始困惑？
教師提供回饋後，學生有沒有修正錯誤？
哪些學生需要不同的支援？
這比單純問「這堂課好不好」更具體，也更容易轉化成下一步的教學行動。
B. Assessment｜評量
作者接著提醒我們，學生的測驗成績也不是完美的教學品質指標。
文章使用了一個很有意思的比喻：
Navigating by the light of the stars vs. navigating with a GPS system
作者的重點是：不要只看學生最後到達哪個位置，也要看他們的進步幅度。
這涉及一個非常重要的概念：Learning growth｜學習成長
假設兩位教師教完一學期的中文課：
但教師 B 的學生進步更多。這可能反映教師 B 的教學產生了很大的影響。
不過，請注意：這個例子只用來說明概念。實際判斷教學成效，還需要考慮測驗的品質、學生背景、起始能力、教學內容及其他影響因素。分數增加本身也不能證明所有進步都是教師造成的。作者特別提醒，學校不應只比較學生最後的成績，而應關注學生從起點到終點的成長。
C. Deliberate open-mindedness｜刻意保持開放的心態
文章第 35–36 頁還提出一個值得教師深思的觀點。教師在職涯初期，往往需要花費大量心力學習新技能、嘗試方法及反思教學。隨著經驗增加，一些教學行為會變得自動化。
這種熟練有好處，但也有風險：教師可能逐漸停止反思，開始認為自己熟悉的方法一定有效。
例如：This worked for my previous students, so it should work for these students too.這個方法以前對我的學生有效，所以對現在的學生也應該有效。
問題在於：不同學生可能有不同的起點、需求與學習障礙。
因此，作者強調 deliberate open-mindedness，也就是刻意保持開放的心態，持續檢查自己的教學是否適合目前的學生。 因此，可以把它落實為一個簡單的循環(右圖)。
這就是把反思從「我覺得這堂課不錯」提升到「我有什麼證據，以及我下一步要如何改善」。
6. 第四部分：Meta-analysis｜統合分析
前面我們已經知道，單一堂課的觀察可能有偏差，一次考試也不能完整呈現學習過程。
那麼，我們能否把多項研究放在一起，得到更全面的理解？
這就是 meta-analysis 的用途之一。
A. 什麼是統合分析？
Definition｜定義
Meta-analysis combines results from multiple studies to estimate the overall effect. 將多項研究的結果結合起來，用統計方法評估整體效果。
概念 | English | 意思 |
原始研究 | Primary study | 研究者直接收集與分析資料 |
系統性回顧 | Systematic review | 依照明確方法搜尋、篩選及整理相關研究 |
統合分析 | Meta-analysis | 使用統計方法整合多項研究的結果 |
系統性回顧不一定會進行統合分析；是否適合統合，取決於研究問題、資料與方法是否足夠可比。
B. Effect size｜效果量
文章第 44–45 頁介紹了效果量。
Effect size 用來描述某個介入措施的效果有多大，而不只是回答「有沒有差異」。
假設研究者比較學生接受教學介入前後的表現，或比較實驗組與對照組的表現，就可以利用適當的統計方法計算效果量。
但要注意：效果量 0.20 不代表學生的成績增加了 20%，也不代表每位學生都進步了 20%。
效果量也不能單獨告訴我們這項介入是否值得採用。還需要考慮研究設計、樣本、測量品質、實際教育情境，以及介入的成本與可能的副作用。
C. 為什麼要整合多項研究？
假設有 30 所學校研究同一種教學方法：
有些研究發現效果很大。
有些研究發現效果很小。
有些研究沒有發現明顯效果。
只挑選最成功的研究，可能會高估這個方法的效果。統合分析可以幫助研究者有系統地整合研究結果，考慮不同研究的精確度，並探索哪些條件可能影響成效。這也呼應文章前面提到的 cherry-picking（選擇性挑選有利證據）問題。
D. 作者也提醒我們：Meta-analysis 並非完美
這點非常重要。作者支持統合分析，但並沒有聲稱它能解決所有教育研究問題。文章第 47–50 頁討論的限制包括：
Quality of evidence｜證據品質： 如果原始研究品質不好，整合後的結論也可能受到影響。
Context｜情境差異： 不同年齡、科目、學生背景與教學環境，可能改變介入效果。
Research gaps｜研究缺口： 統合分析只能整合已經有人研究過的問題，無法憑空補足尚未被研究的領域。
Outcome limitations｜結果指標的限制： 只看學業成績，可能無法涵蓋學生動機、情緒、歸屬感等其他重要成果。
因此，meta-analysis 是重要的證據來源，但不是不容質疑的答案。
E. 批判性閱讀｜Critical reading
讀到這裡時，開始思考一個更高階的問題：
如果作者主張教育工作者應該批判性地檢查所有證據，那麼我們是否也應該批判性地檢查作者自己的研究框架與主張？答案是肯定的。
文章的結論部分介紹了 Hattie 的 Visible Learning 研究，以及作者希望透過相關網絡推廣實證導向的教育實踐。這是理解文章背景的重要資訊。
但身為讀者，我們也應該問：
What evidence supports the framework itself?
How were the studies selected and weighted?
Are the findings applicable to my students and school context?
Are there relevant outcomes that the framework does not fully capture?
這不是否定作者，而是把作者所倡導的原則一致地應用在作者自己的主張上。
A critical reader does not simply accept or reject a framework. A critical reader examines the evidence, assumptions, limitations, and applicability.
批判性讀者不是盲目接受或否定某個框架，而是分析它的證據、假設、限制，以及適用情境。
7. 全文總結｜Putting the four arguments together
從表面成功走向真正的學習成效
Question the investment. 資源投入是否真正改善教學與學習？
Question your assumptions. 我是否受到認知偏誤影響？
Examine multiple sources of evidence. 不要只依賴單次觀課、考試成績或個人經驗。
Use research carefully. 統合分析能提供重要線索，但仍需考慮研究品質和情境差異。
Evaluate your impact continuously. 持續檢查學生學到了什麼，並依據結果調整教學。
作者最後希望教育工作者把注意力放在學生學習的實際影響上，而不是只崇拜看起來成功的做法。他們用一個鮮明的比喻表達這個立場：教育工作者應該「崇拜」學習成效的證據，而不是盲目追隨某種教育潮流。
我也希望你記住這句最能代表全文精神的話：
Know thy impact.
了解自己的影響。
它不只是教師評估自己教得好不好的問題，更是教育領導者在分配資源、推動改革、設計教師專業發展時，應該持續追問的問題。
Discussion
Q1. Application（應用）
Imagine your school invests a large amount of money in a new educational technology platform. Teachers enjoy using it, but there is little evidence of improved student learning. As a school leader, what would you do next, and what evidence would you collect before deciding whether to continue the investment?
假設學校花了大量資金購買新的教育科技平台，教師很喜歡使用，但目前沒有太多證據顯示學生學習有所改善。如果你是學校領導者，你接下來會怎麼做？你會收集哪些證據，再決定是否繼續投資？
My first answer:
先整理我的三種證據
1. Student learning data（學生學習數據）
收集使用平台前後的 formative and summative assessment results，觀察學生的學習表現和進步情況。
關鍵問題：Are students actually learning more or making better progress?
2. Platform usage data（平台使用數據）
請教師記錄學生使用平台的情況，例如使用頻率、完成的活動、參與程度，以及平台提供的學習數據。
關鍵問題：Are students using the platform as intended?
3. Student and parent feedback（學生與家長回饋）
使用 questionnaires 了解學生是否認為平台有助於學習、哪些功能有幫助，以及家長觀察到什麼變化。
關鍵問題：How do students and parents perceive the platform's impact?
Feedback:三種證據有不同的用途：
Assessment data：了解學生的學習表現與進步。
Platform usage data：了解學生是否實際使用平台，但使用頻率高不代表學習一定進步。
Questionnaires：了解學生與家長的感受，但感受本身不能單獨證明學習成效。
另外，提到要設定一個時間節點，這很重要。可以先收集使用平台前的 baseline data，再經過一段明確的試行期收集後續資料，比較學生的進步情況。這樣比單純在使用一段時間後才看分數更有參考價值。不過，即使學生的成績進步了，也還需要考慮其他可能影響學習的因素，不能直接斷定進步完全是平台造成的。
My final answer:
As a school leader, I would set a clear timeline to evaluate whether the platform actually improves student learning.
First, I would collect formative and summative assessment data to compare students’ learning progress before and after using the platform.
Second, I would ask teachers to record platform usage data so we can understand how students are using it and whether it supports their learning.
Third, I would use questionnaires to gather feedback from both students and parents about the platform’s usefulness.
By combining these three sources of evidence, we can make a more informed decision about whether the platform is worth continuing or whether changes are needed. I would focus not just on whether teachers enjoy using it, but on whether it makes a meaningful difference to student learning.
Q2. Critical thinking（批判性思考）
Suppose that after three months:
Teachers report that they enjoy using the platform.
Students use it regularly.
Parents give positive feedback.
However, students’ assessment results show little improvement.
As a school leader, would you continue investing in the platform, stop using it, or make changes and collect more evidence? Why?
My first answer:
不只是想到要收集數據，而是開始思考：如果學生的學習成效不理想，學校領導者應該如何找出原因，並幫助學生改善。已經涉及文章中的幾個重要概念：Know thy impact、evidence of impact，以及 deliberate open-mindedness。
Feedback:
1. 你的回答有哪些優點？
① 你不會只看表面數據
你問學生是否真的有效地使用平台，以及他們如何使用平台。這很重要，因為「學生有使用平台」和「平台幫助學生學習」是兩件不同的事。連結文章：Know thy impact
② 你會調查不同學生的經驗
你注意到，有些學生使用平台後表現很好，有些學生即使經常使用，成績仍然不理想。
你沒有假設所有學生都會以相同方式受益，而是想了解個別學生的情況。這體現了你對學生差異的關注。連結文章：了解不同情境中的學習成效
③ 你想讓學生互相學習
你提出讓使用平台成效較好的學生分享策略，讓其他學生得到回饋、設定目標，再觀察他們是否進步。這不只是評估工具，也是在設計一個改善學習的過程。
領導實踐：Student agency and collaborative learning
2. 再深化一個關鍵觀念
你的方案很有實踐性，但有一個值得思考的問題：
如果學生使用平台後成績很好，我們能確定是平台造成的嗎？不一定。
例如，這位學生本來就有很好的學習習慣，或者家長在家提供額外協助。因此，我們不能直接把良好成績歸因於平台。同樣地，如果學生使用平台後成績仍然不好，也不代表平台一定沒有用。學生可能需要更多時間、不同的教學方式，或更適合自己的學習策略。這就是為什麼我們需要結合多種證據，而不是只看單一結果。你可以把調查過程分成三個層次：
層次 | 要問的問題 | 可以收集的證據 |
使用情況 | How are students using the platform? | 使用紀錄、課堂觀察 |
學習成效 | Are students making progress? | 前後測、形成性與總結性評量 |
改善原因 | What might explain the results? | 學生訪談、教師觀察、學習策略與其他相關因素 |
這樣的思考比單純決定「繼續投資」或「停止使用」更成熟。
My final answer:
From a school leader's perspective, I would continue using the platform for now, but make adjustments and collect more evidence before making a long-term investment decision.
First, I would set a clear timeline to evaluate how students use the platform and whether they use it effectively. Teachers could observe students during lessons and identify different patterns of use.
For students who make good progress, I would invite them to share their learning strategies with their peers. For students who use the platform regularly but still struggle to achieve their learning goals, I would talk to them to understand the challenges they face.
Based on this information, teachers could provide targeted feedback and help these students develop an improvement plan with clear, achievable targets. We would then monitor their progress and review the evidence after a set period.
Finally, I would not judge the platform by how much teachers and students like it or how frequently students use it. I would focus on whether it makes a meaningful difference to student learning.
Comments