Empirical Methods, Measurement, and Evaluation — Study Pack Summary & Study Notes

🔎 Übersicht: Explorative vs. Konfirmatorische Analyse

Exploratory Data Analysis (EDA) sucht Muster und Hypothesen in Daten; Confirmatory Data Analysis (CDA) prüft konkrete Hypothesen mithilfe formaler Tests. CDA wird typischerweise bei Hypothesentests verwendet und verlangt vorab definierte Modelle und Teststatistiken.

📐 Schätzverfahren und Regression

Momenten-Methode: Momente (z. B. Mittelwert) einer Population werden durch Stichprobenmomente geschätzt. Manche Momentenschätzer sind nicht erwartungstreu (z. B. Varianz-Schätzer ohne Korrektur).

Methode der kleinsten Quadrate: Parameterschätzung durch Minimierung der quadrierten Residuen (z. B. Regressionsgerade durch Punktwolke).

Maximum-Likelihood-Schätzung (MLE): Sucht den Parameter, der die beobachteten Stichprobendaten am plausibelsten macht; oft genutzt bei Tests und Modellvergleichen.

📊 Stichproben und Online-Feldmethoden

Access Panels: Dauerhaft registrierte Personen, deren soziodemographische Merkmale erfasst sind; nützlich für wiederholte Studien.

Riversampling: Online-Einladungen/Anzeigen erzeugen Zufluss neuer Internetnutzer; Zuweisung zu Studien erfolgt nach Quoten basierend auf soziodemographischen Angaben.

⚖️ Effektgrößen und Tests

Minimum-Effektgrößen-Tests: Formulieren die Nullhypothese als Bereichshypothese mit einem minimalen akzeptierten Effekt statt Null; Vergleich der Teststatistik gegen nichtzentrale Prüfverteilungen.

Typische Effektmaße: Varianzaufklärung (Eta-Quadrat / R-Quadrat), Cohens d, Glass g', Odds Ratio, Relatives Risiko. Effektgrößen ersetzen nicht die inhaltliche Bewertung—sie sind Orientierungswerte.

⏱️ Zeitreihen & Kausalität

Granger-Kausalität: Beschreibt Vorhersagbarkeit: Eine Variable hilft, zukünftige Ausprägungen einer anderen vorherzusagen (keine echte Kausalität im strengsten Sinn).

Korrelationen bei zwei Variablen über Zeit: Autokorrelationen (jeweils zum selben Merkmal zu verschiedenen Zeitpunkten), zeitgleiche Korrelationen und zeitversetzte Kreuzkorrelationen.

😰 State vs. Trait

Bei Diagnostik (z. B. Angst) unterscheidet man State (situationsabhängig) und Trait (stabile Eigenschaft); beide Aspekte sind wichtig für Interpretation und Messung.

🧭 Erkenntnistheoretische Grundlagen: Pragmatismus & Rationalismus

Pragmatismus vereint erkenntnistheoretische Positionen wie kritischen Rationalismus und Interpretationsansätze und legitimiert oft Mixed-Methods-Designs. Der kritische Rationalismus legt den Schwerpunkt auf Begründung und Falsifikation.

⚖️ Kausalität, Abduktion und Experiment

In kausalen Formulierungen steht die Ursache im "Wenn"-Teil (UV) und die Wirkung im "Dann"-Teil (AV). Abduktion bezeichnet die Schlussfolgerung von theoretischen Erklärungen aus empirischen Befunden.

Ein Experiment kann auch als geeignete Einzelfallstudie (experimental single-case design) durchgeführt werden, nicht nur mit großen Stichproben.

📚 Basissatzproblem und Objektivität

Basissatzproblem: Beobachtungsaussagen sind theoretisch gefärbt und lassen sich nicht endgültig verifizieren—nur kritisch prüfen oder falsifizieren. Messwerte müssen zudem inhaltlich mit den theoretischen Konstrukten korrespondieren (Korrespondenzregeln).

Objektivität bezieht sich im kritischen Rationalismus hauptsächlich auf den Begründungszusammenhang; im Entdeckungszusammenhang spielen Wertfragen eine größere Rolle.

🔤 Begriffsdefinitionen: Intension vs. Extension

Intensionale Bedeutung: Inhalt eines Begriffs (Eigenschaften). Extensionale Bedeutung: Umfang eines Begriffs (konkrete Beispiele). Extensionale Definitionen sind anschaulicher, aber weniger präzise.

🧩 Messmodelle: Reflexiv vs. Formativ

Reflektives Messmodell: Indikatoren sind ähnliche Manifestationen eines latenten Merkmals; das latente Merkmal verursacht die Indikatorausprägungen.

Formatives Messmodell: Die Indikatoren formen das latente Merkmal; die Indikatorausprägungen verursachen das Konstrukt (Indikator → latentes Merkmal).

🧪 Validität und Studiendesign

Interne Validität (quantitativ): Gültigkeit kausaler Schlussfolgerungen—Ursache muss zeitlich vorausgehen, statistisch systematisch korrelieren und Alternativerklärungen ausschließen.

Externe Validität: Verallgemeinerbarkeit inkl. Varianten der UV, andere AV-Messungen, Orte und Zeiten; setzt Konstruktvalidität voraus. Längsschnittstudien können Granger-Kausalität liefern, aber nicht notwendigerweise echte Kausalität.

✅ Validitätstypen bei Tests

Ein Studieneignungstest sollte hohe Kriteriumsvalidität besitzen; ein Depressionsinventar sollte hohe Konstruktvalidität aufweisen. Validitätstypen sind an das Verwendungsziel des Instruments zu koppeln.

🧾 Klinische Ratingskalen und Anwendungsfelder

Es gibt klinische Skalen zu vielen Störungsbildern (ADHS, Autismus, Angststörungen, Demenz, Depression, Essstörungen, Schizophrenie, Sucht u. a.). Zusätzlich existieren "Global Scales" für generalisierte psychopathologische Einschätzungen.

📏 Testverfahren: Normorientiert vs. Kriteriumsorientiert

Normorientiertes Testen: Vergleich individueller Testwerte mit empirischen Normen.

Kriteriumsorientiertes Testen: Vergleich zu definierten Kriterien oder Schwellenwerten (z. B. klinischer Cut-off).

🧾 Qualitätssicherung: Normierung und Missbrauch

Normierung orientiert sich an Standards (z. B. DIN 33430 für Eignungsdiagnostik).

Beispiele für Antwortverfälschungen: Simuliertes Verhalten (Dramatisierung) vs. Dissimulierendes Verhalten (Verleugnung).

🧩 Programmlogik: Inputs → Activities → Outputs/Outcomes/Impact

Programme basieren auf Inputs und Aktivitäten, die zu Outputs (z. B. Anzahl Absolvent/innen) und Outcomes (personenbezogene Wirkungen, z. B. erworbene Kompetenzen) führen. Impact bezeichnet längerfristige Folgen.

⚖️ Effektivität vs. Effizienz

Output-Effektivität: Erreichung gewünschter Outputs (z. B. viele Absolvent/innen).

Output-Effizienz: Verhältnis von Output zu eingesetzten Mitteln (Kosten-Nutzen). Outcome-Effektivität meint das Erreichen relevanter Lernergebnisse; Outcome-Effizienz kombiniert Wirkung und Ressourcenaufwand.

🔄 Langfristige Folgen und Wechselwirkungen

Langfristiger Impact (z. B. gestiegene Bewerberzahlen) kann das Studienfach verändern. Effizienz und Effektivität können gegensätzlich korrelieren—ein effizienter Prozess ist nicht automatisch effektiv in Bezug auf Outcomes.