Vorwort | 6 |
Inhaltsverzeichnis | 13 |
1: Definition, Historie und Nutzen von Metriken | 15 |
1.1 Kriterien für Metriken | 16 |
1.2 Gütekriterien für Metriken | 16 |
1.3 Erfolgskriterien für Metriken | 17 |
1.4 Validierung von Maßen | 17 |
1.5 Probleme im Softwareentwicklungsprozess | 18 |
1.6 Historie der Testmetriken | 18 |
1.7 Schritte zum Aufsetzen von Testmetriken | 19 |
1.8 Lifecycle von Testmetriken | 20 |
Literatur | 20 |
2: Klassifizierung von Metriken | 21 |
2.1 Kennzahlen | 21 |
2.2 Indikatoren | 23 |
2.3 Klassifizierung von Testmetriken | 23 |
2.4 Klassifizierung nach IEEE-Standard 1061 | 27 |
Literatur | 29 |
3: Komplexitätsmaße | 30 |
3.1 Bewertung der Projektkomplexität | 30 |
3.2 Berechnung der Projektkomplexität | 32 |
3.3 Halstead-Metrik | 33 |
3.4 Anzahl der ausgelieferten Bugs (B) | 37 |
3.5 McCabe-Metrik (zyklomatische Komplexität) | 38 |
3.6 Komplexitätsmaß nach Rechenberg | 40 |
3.7 Maintainability Index | 41 |
3.8 Hybride Metriken | 42 |
3.9 Objektorientierte Softwaremetriken | 42 |
3.10 Number of children (NOC) | 43 |
3.11 RFC (Response for a class) | 43 |
3.12 CBO (coupling between objects) | 44 |
3.13 CBC (coupling between classes) | 44 |
3.14 LCOM (lack of cohesion on methods) | 44 |
3.15 WMC (weighted methods per class) | 44 |
3.16 Kiviat-Diagramme | 45 |
3.17 Metriken für die Verifikation des Testdesigns und Bewertung des Testprozesses | 46 |
Literatur | 47 |
4: Normen und Standards für Messungen | 48 |
4.1 PSM – Practical Software and Systems Measurement | 48 |
4.2 ISO/IEC15939 Software-Messprozess | 49 |
4.3 ISO14598 | 49 |
4.4 CMMI-Prozessbereich Messung und Analyse | 50 |
4.5 Messen mit ISO15504 und Automotive SPICE ® | 50 |
4.6 Analysemethoden | 52 |
4.7 Hilfsmittel der Analyse | 53 |
4.8 Quality Improvement Paradigm (QIP-Modell) | 57 |
Literatur | 58 |
5: Verwendung unterschiedlicher Darstellungen | 59 |
5.1 Achsendiagramme | 60 |
5.2 Blockdiagramme | 64 |
5.3 Gestaltung des Reportings | 64 |
Literatur | 65 |
6: Einsatz von Metriken | 66 |
6.1 Metriken und Software-Industrialisierung | 68 |
Literatur | 70 |
7: Softwaremetriken | 71 |
8: Metriken für die Softwarequalität | 73 |
8.1 Eigenschaftsbaum von Boehm | 73 |
8.2 Funktionsmessung nach Gilb | 75 |
8.3 Qualitätsmatrix nach McCall | 77 |
8.4 Automatisierte Qualitätsmessung | 79 |
Literatur | 80 |
9: Anforderungsbasierte Testmetriken | 81 |
9.1 Anforderungen/spezifizierte Anforderungen | 82 |
10: Metriken zur Aufwandsschätzung | 85 |
10.1 Bewertung der Testbarkeit und der Testkomplexität | 85 |
Literatur | 89 |
11: Metriken zur Testvorbereitung und -nachbereitung | 90 |
12: Metriken zur Testplanung | 92 |
Literatur | 95 |
13: Metriken für unterschiedliche Teststufen | 96 |
13.1 Testen auf Modulebene | 96 |
13.2 Testen auf Integrationsebene | 97 |
13.3 Testen auf Systemebene | 97 |
14: Metriken zur Messung der Testüberdeckung | 100 |
14.1 Konzeptüberdeckung | 100 |
14.2 Benutzerhandbuchüberdeckung | 100 |
14.3 Codeüberdeckung | 101 |
14.4 Entwurfsüberdeckung | 101 |
14.5 Modulüberdeckung | 101 |
14.6 Architekturüberdeckung | 101 |
14.7 Datenüberdeckung | 102 |
14.8 Funktionsüberdeckung | 102 |
14.9 Testabdeckungskenngrößen | 103 |
14.10 Testfallüberdeckung | 103 |
14.11 Testfallvollständigkeit | 104 |
14.12 Lines of Code | 104 |
14.13 Zuverlässigkeit als zentrale Testmetrik | 106 |
14.14 Function-Point-Analyse (FPA) | 106 |
14.15 Use Case Points | 109 |
14.16 Test Case Points | 110 |
14.17 Systematisches und deterministisches Testen | 112 |
14.18 Testabdeckungsmetriken | 114 |
14.19 Stochastisches Testen | 115 |
Literatur | 115 |
15: Testfallbasierte Metriken | 116 |
15.1 Chapin-Q-Metrik | 117 |
15.2 Testdatendichte | 118 |
15.3 Testdatenvolumen | 118 |
15.4 Testfalleffizienz | 119 |
15.5 Testfallwiederverwendbarkeit | 119 |
15.6 Testüberdeckung | 119 |
15.7 Testkonformität | 119 |
15.8 Testdesignverhältnis | 120 |
15.9 Testabdeckung | 120 |
Literatur | 122 |
16: Testobjektbasierte Metriken | 123 |
16.1 Codeabdeckung | 123 |
16.2 Dialogabdeckung | 124 |
16.3 Installationsvarianten | 124 |
16.4 Überdeckungsmaße | 124 |
16.5 Anweisungsüberdeckung | 125 |
16.6 Entscheidungs-/Zweigüberdeckung | 125 |
16.7 Pfadüberdeckung | 125 |
16.8 Bedingungsüberdeckung | 126 |
16.9 Tests im Black-Box-Verfahren | 127 |
16.10 Testfortschrittsmetrik | 129 |
Literatur | 131 |
17: Metriken zur Testdurchführung | 132 |
Literatur | 135 |
18: Metriken für Performance- und Lasttests | 136 |
18.1 Requests per Second | 136 |
18.2 Prozessorauslastung | 137 |
18.3 Queued Requests | 137 |
Literatur | 139 |
19: Metriken zur Testautomatisierung | 140 |
20: Kostenbasierte Testmetriken | 143 |
20.1 Testaufwand | 144 |
21: Testproduktivitätsmetriken | 146 |
Literatur | 148 |
22: Goal Question Metric | 149 |
22.1 ISO9126 | 152 |
Literatur | 154 |
23: Fehlerbasierte Testmetriken | 155 |
23.1 Fehlerklassen | 156 |
23.2 Fehler im Zeitverlauf | 157 |
23.3 Metriken zu Risiken | 158 |
23.4 Prognosen zum Fehlerabbau | 159 |
23.5 Beispiele für Metriken zum Fehlerabbau | 160 |
23.6 Fault Seeding-Methode | 163 |
23.7 Laufender Durchschnitt der Fehler | 164 |
23.8 Fehler per Projektphase | 166 |
23.9 Testqualitätsmetrik | 167 |
23.10 Vertrauensgrad | 168 |
23.11 Escape Defects | 169 |
Literatur | 171 |
24: Metriken für Testdokumente | 173 |
24.1 Reviews | 173 |
24.2 Status der Dokumente | 174 |
25: Metriken für Usability-Tests | 176 |
25.1 A/B-Testing und Multivariate Testing | 180 |
Literatur | 181 |
26: TPI Next | 182 |
26.1 Kriterien für die Reifegrade | 185 |
26.2 Testreifematrix | 186 |
26.3 Reifegrade pro Kriterium | 188 |
26.4 Metriken bei TPI Next | 191 |
Literatur | 195 |
27: Metriken für Testendekriterien | 196 |
27.1 Fehler pro Zeiteinheit | 197 |
Literatur | 199 |
28: Metriken und Testreporting | 200 |
28.1 Sichtweisen beim Testreporting | 200 |
28.2 Zeitraum der Betrachtung | 201 |
28.3 Historie von Metriken anpassen | 202 |
28.4 Metrik fehlerhaft | 202 |
28.5 Probleme bei der Testfortschrittsbetrachtung | 204 |
28.6 Andere Betrachtungszeiträume | 204 |
28.7 Empfohlener Reporting-Rhythmus | 205 |
28.8 Zusammenfassung von Metriken in einer Metrik | 206 |
28.9 Sonstige Metriken | 207 |
28.10 Projektampel | 208 |
Literatur | 209 |
29: Vergleich von Testmetriken | 210 |
29.1 Vergleich unterschiedlicher Metriken | 211 |
29.2 Standardisierung von Testmetriken | 211 |
29.3 Nicht mehr benötigte Metriken | 213 |
29.4 Steigende Datenfülle | 213 |
Literatur | 215 |
30: Problemlösung für den Einsatz von Testmetriken im Testbetrieb | 216 |
30.1 Anzahl der verwendeten Metriken | 217 |
30.2 Auswahl von Metriken | 217 |
30.3 Erweiterung von Metriken | 218 |
30.4 Realistische Prognosen erstellen | 218 |
30.5 Nachträgliche Änderung von Werten | 219 |
30.6 Evaluierungs-Framework für Metriken | 219 |
30.7 Sinnlose Korrelationen | 220 |
Literatur | 222 |
31: Wirkung beim Reporting mit Hilfe von Testmetriken | 223 |
31.1 Manipulative Wirkung von Statistiken | 230 |
31.2 Relative Werte | 230 |
31.3 Arithmetisches Mittel | 230 |
31.4 Getrickste Grafiken | 231 |
Nachwort | 234 |
Weiterführende Literatur | 239 |
Stichwortverzeichnis | 240 |