Referenz‐ und Schwellenwerte

Die Referenzwerte sind ein sehr wichtiges Element im Indikatorenansatz. Eine Qualitätsbeurteilung mit Hilfe von Kennzahlen erfolgt immer mit Bezug auf bestimmte Referenzwerte, die im Regelfall empirisch hergeleitet werden und sich am rechnerischen Durchschnitt orientieren, der sich aus der Gesamtheit der einbezogenen Einrichtungen ergibt. Die Abweichung vom Referenzwert stellt das entscheidende Kriterium dar, das zu einer Qualitätsbeurteilung führt. Die Verfügbarkeit der Referenzwerte ist insofern eine wichtige Voraussetzung für die Funktionalität des Systems.

Die Erfahrungen mit den vom IPW begleiteten Projekten zeigen, dass die Referenzwerte für die Qualitätsbeurteilung im Zeitverlauf nicht sehr stark schwanken. Sie haben sich in manchen Themenfeldern als besonders stabil erwiesen und bewegen sich in einem recht engen Korridor über bzw. unter dem Vorjahreswert. Es gibt Ausnahmen, beispielsweise die Häufigkeit, mit der Gurtfixierungen bei kognitiv beeinträchtigten Bewohnern durchgeführt werden. Hier ist im Laufe der letzten Jahre bundesweit ein erheblicher Rückgang der Anwendungshäufigkeit zu beobachten – nicht nur in den begleiteten Einrichtungen der Projekte. Eine solche Veränderung in der Versorgung insgesamt sollte auch zu einem anderen Referenzwert führen.

Referenzwerte sind also in regelmäßigen, aber längeren Abständen zu prüfen und ggf. anzupassen. Nach den bisherigen Erfahrungen genügt es, die Referenzwerte im Abstand von drei bis vier Jahren zu aktualisieren. Kürzere Phasen sind nicht empfehlenswert, da der kurzfristige Wechsel die Vergleichbarkeit der Ergebnisse beeinträchtigen kann und keine gute Grundlage für die Nutzung von und die Kommunikation über Qualitätsindikatoren wäre. Projekterfahrungen zeigen, dass die Einrichtungen im Laufe der Zeit beginnen, mit der für sie zunächst abstrakten Kennzahl bestimmte Qualitätsbeurteilungen zu assoziieren und den Abstand zwischen einrichtungsindividuellem Wert und Referenzwert zu interpretieren. Dies ist eine wichtige Voraussetzung dafür, Qualitätskennzahlen im Versorgungsalltag (insbesondere im internen Qualitätsmanagement) zu nutzen. Häufige Veränderungen würden diesen Prozess erschweren. Ähnliches gilt für andere Adressaten der indikatorengestützten Qualitätsbeurteilung. Wenn etwa auf kommunaler Ebene Fragen der Qualitätssicherung diskutiert werden oder wenn im Bereich der Pflegeberatung Interpretationshilfe für Interessenten auf der Suche nach einer Pflegeeinrichtung geleistet werden, so wären kurzfristig wechselnde Referenzwerte stets ein Erschwernis für die Beteiligten.

Eine Alternative zur empirischen Herleitung der Referenzwerte wäre eine normative Bestimmung dieses Bezugspunktes. Theoretisch denkbar wäre es beispielsweise, dass ein Kreis von erfahrenen Experten anhand der verfügbaren Forschungsergebnisse einen gemeinsamen Referenzwert empfiehlt und dieser durch den Qualitätsausschuss oder eine andere hierzu autorisierte Instanz verbindlich festgelegt wird. Normativ bestimmte Referenzwerte könnten sogar als Orientierung für gemeinsame, nationale Ziele der Qualitätsentwicklung genutzt werden. 

Ob dies unter den gegenwärtigen Bedingungen in Deutschland realistisch wäre, ist allerdings fraglich. Zum einen gibt es bislang nur sehr wenige Experten, die sowohl fachlich als auch methodisch mit Indikatorenansätzen der vorliegenden Art vertraut sind und einschätzen können, wie sich die Versorgungsqualität hinter den relativ abstrakten Kennzahlen darstellt. Zum anderen könnten sich Konsentierungsprozesse als schwierig erweisen. Eine Festlegung von normativ bestimmten Referenzwerten wäre nur dann realistisch, wenn individuelle Interessen aus solchen Konsentierungsprozessen weitgehend ferngehalten werden. Insofern wird die rein rechnerische Ableitung von Referenzwerten vorläufig die bessere (weil realistische) Option sein.

Schwellenwerte

Im Sprachgebrauch des vorliegenden Indikatorenansatzes wird der Begriff Referenzwert für die zentralen Bezugspunkte der Qualitätsbeurteilung mit Hilfe der Indikatoren verwendet. Davon unterschieden werden die sogenannten Schwellenwerte, von denen letztlich abhängt, wie die konkrete Qualitätsbeurteilung ausfällt. Die Schwellenwerte geben an, wie groß der Sprung zur nächst höheren oder nächst niedrigeren Qualitätsbeurteilung ausfällt.

Für den Indikatorenansatz genügt es daher nicht, einen Referenzwert zu haben, der den Bundesdurchschnitt
(oder einen ähnlichen Mittelwert) abbildet. Es müssen auch die Schwellenwerte definiert werden, die – gemessen am Durchschnitt – zu einer besseren oder schlechteren Qualitätsbeurteilung führen.
Diese Schwellenwerte können nach verschiedenen Regeln festgelegt werden. Es ist z. B. möglich, sie rein rechnerisch zu bestimmen. In einem System, in dem fünf Qualitätsstufen unterschieden werden, könnte man in Anlehnung an Bewertungsformen in den Vereinigten Staaten festlegen, dass jede Qualitätsstufe ein Fünftel der Einrichtungen umfasst (Quintile). Eine Alternative bestünde darin, dass man einen relativ breiten Bereich festlegt, in dem die Qualität einer Einrichtung als „nahe am Durchschnitt“ oder als leicht über‐ oder leicht unterdurchschnittlich dargestellt wird. Einrichtungen mit besonders guter oder besonders schlechter Qualität würden dann als eine kleine Gruppe definiert werden.

Mit wissenschaftlichen Mitteln lässt sich nicht entscheiden, ob eine solche oder eine andere Lösung  wünschenswert wäre. Hier ist abzuwägen, worin die zentralen Ziele eines indikatorengestützten Systems
bestehen sollen. Für den Einstieg in das System ist es jedoch empfehlenswert, zunächst eine rein rechnerische Definition der Schwellenwerte vorzunehmen und später, wenn mehr Erfahrung mit dem System vorliegt, möglicherweise alternative Festlegungen anzustreben. Solche Alternativen setzen, wie schon angemerkt, klare gemeinsame Zielsetzungen voraus, die von allen wichtigen Entscheidungsträgern gestützt werden.

Referenz‐ und Schwellenwerte in der Phase des Übergangs

Für den Einstieg in das System werden Schwellenwerte unmittelbar benötigt, also bereits zu einem Zeitpunkt, zu dem noch keine Daten aus bundesweiten Ergebniserfassungen vorliegen. Als erste, vorläufige Lösung können die Referenz‐ und Schwellenwerte verwendet werden, die derzeit in den vom IPW begleiteten Projekten genutzt werden:

Referenzwerte

Für die erste Zeit nach der Einführung des neuen Systems ist es empfehlenswert, die Entwicklung der Ergebnisse im Bundesmaßstab stetig zu beobachten und die Tragfähigkeit dieser Referenz‐ und Schwellenwerte zu überprüfen.

Es ist außerdem empfehlenswert, aus verschiedenen (anderen) Gründen eine Übergangsphase zu definieren, in denen zwar Ergebniserfassungen und Indikatorenberechnungen stattfinden, in denen aber noch keine Qualitätsbewertung im Rahmen von Qualitätsdarstellungen veröffentlicht werden. Eine solche Übergangsphase eröffnet den zeitlichen Spielraum, die entsprechende Prüfung der vorgeschlagenen Referenzwerte vorzunehmen. Es ist nicht erforderlich, dass die für den Einstieg in das System gewählten Referenzwerte dem rechnerischen Bundesdurchschnitt genau entsprechen. Sie sollten aber auch nicht allzu weit davon entfernt liegen, weil eine spätere Anpassung zu Veränderungen der Qualitätsbewertung trotz gleichbleibender Kennzahlen führen könnte. Zwar ist es nicht unbedingt zu vermeiden, dass nach der Einführung eines neuen Systems die  Bewertungsmaßstäbe in relativ kurzer Zeit neu justiert werden, wünschenswert wäre jedoch eher, dass sich beim Einstieg in das Systems möglichst wenig Schwankungen der Referenzwerte ergeben.