Achtergrond

De toepassing van vragenlijsten bij het onderzoek van patiënten met klachten van de schouder


Vragenlijsten bij patiënten met schouderproblemen
Welke vragenlijst past het best bij de actuele klinische situatie

Door:
- Gerard Koel,
fysiotherapeut, MSc, eerstelijns praktijk Wooldersteen Hengelo,
docent fysiotherapie, Saxion kenniscentrum ‘Gezondheid, welzijn en technologie’, Enschede.
- Paul van der Tas,
sportfysiotherapeut en echografist, eerstelijns praktijk De Haere vestiging Weerselo

Beide auteurs zijn bestuurslid van het SchouderNetwerk Twente
en van de Stichting SchouderNetwerken Nederland

Key points

Abstract en kader
Vragenlijsten zijn relevant om subjectieve klachten en klinische verschijnselen van patiënten op efficiënte en correcte wijze te kwantificeren. Het op systematische wijze toepassen van lijsten verbetert de inzichtelijkheid en objectiviteit van het fysiotherapeutisch handelen. Rond schoudergerelateerde klachten zijn tientallen lijsten ontwikkeld, soms gericht op schouderaandoeningen in het algemeen, soms op specifieke aandoeningen zoals instabiliteit of peesrupturen, lijsten die variëren voor wat betreft de minimale en maximale score als ook voor de richting van die score; bij de ene lijst duidt een hoge score op een goede en bij een andere lijst op een slecht functionerende schouder.
In dit artikel beschrijven auteurs eerst de methodologische kwaliteit van een achttal vragenlijsten per vragenlijst de betrouwbaarheid (ICC waarde), nauwkeurigheid (het minimaal detecteerbare verschil), de responsiviteit (het klinisch relevante verschil) en de praktische hanteerbaarheid (gemak van invullen) weer te geven.
Omdat geen van de acht lijsten adequaat te gebruiken is in situaties na een operatie voegen de auteurs een zelf ontwikkelde negende lijst, de SST-PO, toe.
Op basis van klinische expertise en toegepast onderzoek koppelen de auteurs de negen vragenlijsten aan elf frequent voorkomende klinische schouderproblemen. Daarnaast is het gebruik van de lijsten vereenvoudigd door spreadsheets te ontwikkelen waardoor na invulling de score vanzelf wordt berekend. De score voor alle lijsten is veranderd in een zogenaamde SNT score van 0 (‘het gaat erg slecht’) tot 100 (‘het gaat erg goed’). Doel van het artikel is fysiotherapeuten behulpzaam te zijn in de keuze van een adequate vragenlijst die toegepast wordt om het behandelresultaat te evalueren en kwantificeren.

Het SchouderNetwerk Twente (www.schoudernetwerk.nl) is opgericht in 2008, bestaat uit een honderdtal fysiotherapeuten en beoogt een enthousiasmerende vereniging te zijn die regionaal het fysiotherapeutisch handelen rond patiënten met schouderaandoeningen optimaliseert. De onderlinge kwaliteit wordt gerealiseerd door als voorwaarde voor lidmaatschap het volgen van een tweetal cursussen te stellen. Gedurende een verenigingsjaar ontvangen de leden twee keer ter beoordeling een wetenschappelijke studie voorzien van een tiental vragen. De antwoorden op die vragen worden tezamen met de praktische consequenties van de studie gepresenteerd tijdens de halfjaarlijkse workshop. Deelname aan deze activiteiten is verplicht. Op de website zijn deze studies en workshops te zien.
Het SNT heeft goede contacten met de schouder orthopeden in de 3 regionale ziekenhuizen. Afspraken over het eenduidig klasseren van patiënten en dus ook het op systematische wijze toepassen van vragenlijsten zijn een belangrijk onderdeel.
Via de website kunnen fysiotherapeuten de negen beschreven vragenlijsten als excel bestand downloaden inclusief de omrekening naar overeenkomende scores van 0 tot 100. Het SNT hoopt op die wijze een bijdrage te leveren aan de kwaliteit van het fysiotherapeutisch handelen.

Inleiding
Vragenlijsten zijn relevant om de subjectieve klachten en klinische verschijnselen van patiënten op efficiënte en correcte wijze te kwantificeren. Het op systematische wijze toepassen van lijsten verbetert de inzichtelijkheid en objectiviteit van het fysiotherapeutisch handelen (1). In de context van schoudergerelateerde klachten zijn tientallen lijsten ontwikkeld, soms gericht op schouderaandoeningen in het algemeen, soms op specifieke aandoeningen zoals instabiliteit of peesrupturen, lijsten die variëren voor wat betreft de minimale en maximale score als ook voor de richting van die score; bij de ene lijst duidt een hoge score op een goede en bij een andere lijst op een slecht functionerende schouder.

De lijsten kennen vooral een evaluatief gebruik; dat wil zeggen dat therapeuten de lijsten toepassen om te scoren of de individuele patiënt vooruit of achteruit is gegaan. Kortom een score op tijdstip 0 bij aanvang van de therapie en scores onderweg (‘Gaat het de goede kant op?’) en aan het eind (‘Wat is het eindresultaat?’). Daardoor is het ook mogelijk om de prognose correct in te schatten (Bijvoorbeeld: ‘Acht weken na een Neer decompressie dient de CMS score 65 punten te bedragen.’). Er zijn geen lijsten die diagnostische waarde hebben (Bijvoorbeeld: ‘Bij een score boven het afkappunt spreken we van unidirectionele GH instabiliteit.’).

In dit artikel wordt fysiotherapeuten een handreiking gedaan om de methodiek van het SchouderNetwerk Twente (SNT) te gaan toepassen. Negen geselecteerde lijsten met scores tussen de 0 en 100 die zijn gekoppeld aan de meest voorkomende schouderaandoeningen. Doel is op die wijze een systematische toepassing van lijsten te faciliteren waardoor de kwaliteit van het fysiotherapeutisch handelen bij patiënten met schouderaandoeningen verbetert.

Over de kwaliteit van vragenlijsten
De kwaliteit van meetinstrumenten en dus ook vragenlijsten wordt bepaald door een viertal kenmerken: reproduceerbaarheid, validiteit, responsiviteit en praktische hanteerbaarheid (2).

Aan reproduceerbaarheid zijn twee aspecten te onderscheiden; betrouwbaarheid (Engels: ‘reliability’) of te wel hoe stabiel klasseert het instrument personen in hoge en lage responders om patiënten en niet-patiënten betrouwbaar te onderscheiden en nauwkeurigheid (Engels: ‘agreement’; soms ook ‘overeenstemming’ of ‘precisie’ genoemd), of te wel wat is de meetfout van het instrument en in hoeverre wordt bij hertest van dezelfde patiënt precies dezelfde score gemeten (3,4). De formule waarmee de betrouwbaarheid wordt berekend, wordt bepaald door zowel de variantie van de meetuitslagen als de variantie van de meetfouten, terwijl in de formule voor het berekenen van de nauwkeurigheid alleen rekening gehouden wordt met de variantie in de meetfouten.

De betrouwbaarheid wordt uitgedrukt in een getal tussen 0 en 1 (hoe dichter bij 1, hoe betrouwbaarder) en de nauwkeurigheid in een getal in dezelfde eenheid als die van het meetinstrument (hoe kleiner de meetfout, hoe nauwkeuriger of preciezer is de meting).

De validiteit heeft betrekking op de vraag of het meetinstrument daadwerkelijk meet wat het beoogt te meten. Er worden verschillende soorten validiteit onderscheiden; zoals construct validiteit (het meetinstrument past bij een geldig theoretisch kader), criterium validiteit (het meetinstrument wordt vergeleken met de gouden standaard) of expert validiteit (het meetinstrument wordt door deskundigen als valide beoordeeld). De mate van validiteit wordt weergegeven in kenmerken als sensitiviteit, specificiteit, voorspellende waarden of likelihood ratio’s. De lijsten gaan allen over het scoren van klachten, gestoorde functies en participatie problemen die het gevolg zijn van een aandoening van de schouder. De items van de lijsten bepalen of de lijst geschikt (of te wel valide) is in een bepaalde klinische situatie. Het is dan ook niet zinvol om een lijst voor instabiliteit of chronisch pijnsyndroom toe te passen in situaties waarin sprake is van een ongecompliceerd subacromiaal impingement syndroom.

De responsiviteit is belangrijk voor een meetinstrument dat wordt gebruikt ter evaluatie van het beloop. Een responsief instrument kwantificeert een relevante klinisch verandering bij de patiënt. Als patiënt of therapeut vinden dat sprake is van een relevante klinische verbetering of verslechtering dient dat weerspiegeld te worden in de score van het instrument.

Uiteraard is een goede praktische hanteerbaarheid ook van belang; belangrijke aspecten zijn duidelijkheid van de items, snelheid van invullen en bepalen van de score. Als laatste rest dan de interpretatie van die score voor het gezondheidsprobleem van de patiënt.

Negen geselecteerde vragenlijsten voor schouderproblemen
De selectie van de lijsten vond plaats op basis van gegevens uit diagnostische studies (3-11), beschikbaarheid, gerichtheid op veel voorkomende schouderaandoeningen en praktische ervaring. Er is een zelf ontwikkelde vragenlijst toegevoegd, de SST-PO, omdat geen van de andere lijsten bruikbaar is in de eerste 3 maanden in het postoperatieve beloop. In tabel 1 worden de negen geselecteerde lijsten weergegeven voorzien van de originele en relevante bronverwijzing.

Afkorting Volledige naam Bronnen
SST Simple Shoulder test
Lippit et al (1993, 12), Godfrey et al (13), Roy et al (10) en Tashjian (11)
SST-PO SNT Shoulder Test – Post Operatief Koel, Van der Tas, Van der Burg (2010, 34)
SPADI Shoulder Pain And Disability Inventory
Roach et al (1991, 14), Heald et al (15), Ekeberg et al (8) en Roy et al (10)
CMS Constant Murley Scale
Constant et al (1987, 16), Constant et al (17), Rocourt et al (18) en Christie et al (9)
SPBV Schouder Pijn en Beperkingen Vragenlijst
Van der Heijden (1996, 19) en Van der Windt et al (20)
OSIS Oxford Shoulder Instability Score
Dawson et al (1999, 21) en Dawson et al (22)
WOSI Western Ontario Shoulder Instability index
Kirkley et al (1998, 23) en Salomonsson (24)
SRQ Shoulder Rating Questionnaire
L’Insalata et al (1997, 25 en Vermeulen (26)
DASH Disabilities of the Arm, Shoulder and Hand
Hudak et al (1996, 27) en Palmen (28)

Tabel 1. De negen geselecteerde vragenlijsten met bronnen (eerstgenoemde bron betreft de originele studie van de lijst met daarbij het jaartal van introductie).

Het betreft 8 zelfrapportage lijsten die door de patiënt zelf kunnen worden ingevuld en 1 lijst (de CMS) die deels subjectief (zelfrapportage) is en deels (semi) objectief omdat de mobiliteit en de kracht worden gescoord. De meeste vragenlijsten zijn ontwikkeld voor het Engelse taalgebied; een vertaling van zo’n lijst dient zorgvuldig plaats te vinden.

Gebruikelijk is het voorleggen van een vertaalde lijst aan een ‘native’ Engelstalige persoon om de lijst te laten terug vertalen. Eventuele verschillen met de originele lijst dienen te worden vastgesteld en zo nodig gecorrigeerd. Van de 9 geadviseerde lijsten zijn er 2 van Nederlands afkomst (SPBV, 20; SST-PO, 34), zijn er 3 door andere auteurs vertaald (SPADI, DASH, SRQ; 26, 28) en heeft het SNT in samenwerking met Saxion hogescholen 4 lijsten vertaald (SST, CMS, OSIS en WOSI; 29, 30, 35).

Uiteraard dienen de lijsten te voldoen aan de criteria voor kwaliteit van een meetinstrument. De betrouwbaarheid wordt in het algemeen weergegeven door de ICC waarde (IntraClass Correlation coëfficiënt) die wordt uitgedrukt in een getal tussen 0 en 1 (de ICC wordt bepaald door de variantie van de meetuitslagen bij patiënten te delen door de som van de variantie van de meetuitslagen bij patiënten plus de variantie op basis van meetfouten; ICC = σ2pat / σ2pat + σ2error). Een ICC waarde boven de 0,75 wordt aangemerkt als voldoende (31-33). Zeker voor de zelfrapportage lijsten is dit geen probleem.
Gekoppeld aan de nauwkeurigheid is het begrip MDC (Minimal Detectable Change: het minimaal vast te stellen verschil om een klinische verandering vast te stellen); de MDC wordt slechts bepaald door de variantie van de meetfout (= σ2error), en wordt uitgedrukt in een getal in dezelfde eenheid als die van het instrument (bij vragenlijsten dus in een aantal punten, 3). Indien bij een tweede meting een verandering optreedt kleiner dan de MDC, wordt dat beschouwd als een meting binnen de meetfout en niet als een klinische verandering bij de patiënt (4, 8).
Zoals aangegeven adviseren de auteurs een lijst op basis van hun klinische expertise; of te wel er is sprake van expert validiteit. Het is dan niet zinvol om de gangbare kenmerken voor validiteit te beschrijven (zoals Se, Sp, VW, LR), immers er is op basis van klinische expertise gekozen voor een lijst en die lijst vervolgens te gaan vergelijken met een andere, uit klinisch oogpunt minder geschikte lijst, is een onhandige strategie.
Gekoppeld aan de responsiviteit is het begrip MCIC (Minimal Clinical Important Change: welke verandering wordt door de patiënt, soms door de FT, als klinisch relevant aangemerkt, 4,11). Een nieuwe score die meer afwijkt dan de MCIC duidt op een daadwerkelijke verandering (vooruitgang of achteruitgang) bij de patiënt. Soms is de MCIC niet bekend en wordt de responsiviteit gescoord met de effect size ((ES = (gemiddelde score op T1 – gemiddelde score op T0) / de standaard deviatie van de meting op T0)) of de standardized response mean ((SRM = (gemiddelde score op T1 – gemiddelde score op T0) / de standaard deviatie van de verschilscore)). Een nadeel van de ES en de SRM is dat ‘vreemde’ verhouding getallen worden geproduceerd die niet zijn te associëren met de daadwerkelijke eenheid van de meting. De volgende interpretatie wordt gebruikt: ES en SRM waardes < 0,5: geringe, van 0,5 tot 0,8: redelijke en boven de 0,8: sterke responsiviteit (24).
De praktische hanteerbaarheid van de lijsten is goed; ze zijn vrij snel in te vullen, worden goed begrepen door de patiënten en leiden snel tot een eindscore. Alleen de CMS bestaat voor 65% uit ‘objectieve’ scores van de ROM en de kracht en dient door de FT te worden gescoord.
Een belangrijk voordeel van de negen door het SNT geadviseerde lijsten is het feit dat de scores worden omgerekend naar een score tussen de 0 en 100 punten waarbij een score richting 0 een slechte functie en richting 100 een optimale functie van de schouder aangeeft.
Tabel 2 toont de mate waarin de 8 lijsten voldoen aan de criteria voor de methodologische kwaliteit.

Betrouwbaarheid
ICC waarde
Nauwkeurigheid
MDC
Responsiviteit
Praktische
hanteerbaarheid
MCIC
ES/SRM
SST
0,97 / 0,99
16
19
0,81 / 1,8
12 x dichotoom, 3 min
SPADI
0,95
18
20
1,23
13 VAS lijsten, 6 min
CMS
0,80 / 0,90
20
(25)
0,60
Ook objectief, lastiger
SPBV
(goed)
15
20
---
16 x 3 opties, 5 min
OSIS
0,83
(20)
24
---
12 x 5 punt, 5 min
WOSI
0,94
23
(25)
1,67
21 VAS lijsten, 8 min
SRQ
0,63 – 0,83
18,3
(20)
1,5 / 1,17
Lastige analyse, >10 min.
DASH
0.96
10 / 12/ 13
20
1,20
Uitgebreid, >10 min

Tabel 2. De kwaliteit van de 8 geselecteerde lijsten. De data zijn gedestilleerd uit diagnostische studies (3-30); de vijf (schuingedrukte) celinhouden zijn ingeschat door de auteurs. De SST-PO is net ontwikkeld en nog niet onderzocht op methodologische kwaliteit.
Voor de afkortingen van de namen van de verschillende lijsten zie tabel 1.
Andere afkortingen; ICC: Intra Class Correlation, MDC: Minimal Detectable Change; MCIC: Minimal Clinical Important Change; ES: Effect Size; SRM: Standardized Response Mean; VAS: Visual Analoque Scale.

In de tweede kolom van tabel 2 wordt de betrouwbaarheid door middel van de ICC waarde aangegeven. Alle 8 lijsten scoren ruim voldoende voor dit item. De meetfout van de lijsten bedraagt tussen de 10 en de 23 punten; de minimaal klinisch relevante verschillen bedragen tussen de 19 en de 25 punten. De MDC (kolom 3) en de MCIC’s (kolom 4) zijn reeds omgerekend naar lijsten die scoren van 0 tot 100. De effect sizes (ES) en standardized response mean (SRM) scoren, indien onderzocht, een duidelijke voldoende.
Concluderend geldt dat de meeste lijsten een goede betrouwbaarheid kennen, dat de meetfout tussen de 15 – 20 punten bedraagt en dat relevante klinische verschillen een verschil van minstens 20 punten nodig hebben. Hoewel de SST-PO nog onderzocht dient te worden, gaan de auteurs er van uit dat dezelfde waarden gelden; dus een meetfout van 15-20 punten en een klinisch relevant bij verschillen van meer dan 20 punten.
De uitgebreidheid van de lijsten en het gegeven dat bij de CMS ook ‘objectief’ gemeten dient te worden, bepalen de praktische toepasbaarheid. Uitgebreide lijsten worden alleen geadviseerd indien uitgebreide klinische symptomen relevant zijn.

Praktische consequenties
Op dit moment formuleren auteurs de volgende interpretaties over de lijsten.

Vervolgens worden de kenmerken van de lijsten gekoppeld aan veel voorkomende schouderaandoeningen om de adviezen voor praktische toepassing weer te geven. Tabel 3 toont die relatie.

SST SST-PO SPADI CMS SPBV OSOS WOSI SRQ DASH
Impingement-
simpel / eenduidig
x (x) (x)
Impingement -
complex / meervoudig
x (x) (x) x (x)
Instabiliteit -
unidirectioneel, AIOS
x x (x)
Instabiliteit - AMBRI,
motor patroon
x (x) x (x) (x)
Posttraumatisch
GH, AC, SC, ribben
x x (x) (x)
Frozen shoulder -
simpel beloop
x x
Frozen shoulder -
complex beloop
x x x (x)
PO– Impingement:
decompressie zonder
grote cuff hechting
(x) x (x) x
PO– Impingement:
decompressie inclusief
grote cuff hechting
(x) x x x
PO– Instabiliteit
- labrum (TUBS, SLAP),
- capsular shift
(x) x x x (x) (x)
PO – Prothese:
nieuwe kop,
resurfacing,
reversed prothese
(x) x x x (x)

Tabel 3.De toepasbaarheid van de 9 lijsten gekoppeld aan de klinische situatie. Een ‘X’ betekent: advies om toe te passen; (X) betekent eventueel toepassen; een lege cel betekent niet toepassen.
Afkortingen. PO: PostOperatief; AIOS: Acquired (anterior) Instability by Overuse of Shoulder ; AMBRI: Atraumatisch Multidirectioneel Bilateraal, Revalidatie Inferior shift; TUBS: Traumatisch Unidirectioneel Bankart Surgery; SLAP: Superior Labrum plus Anterior & Posterior rand.
Het SNT adviseert om bij alle patiënten met schouderaandoeningen de SST te scoren en die score te gebruiken om het verloop te evalueren. In postoperatieve situaties wordt het beloop in de eerste 3 tot 4 maanden getoetst met de SST-PO. Later kunnen ook andere scorelijsten worden gebruikt zeker met het oogmerk het uiteindelijke resultaat (6 tot 12 manden) te kunnen vergelijken met de pre-operatieve situatie of met niet-geopereerde patiënten of gezonde personen. Indien kracht en ROM relevant zijn, en dat is vaak het geval, wordt de CMS score bepaald. Standaardisering over de wijze waarop actieve ROM en de kracht worden bepaald, is daarbij noodzakelijk.
In geval van instabiliteit waarbij de fysieke aspecten op de voorgrond staan wordt gebruik gemaakt van de OSIS en van de WOSI indien de klachten ook meer psychosociale aspecten kennen. In geval van uitgebreide schoudergerelateerde klachten wordt de SRQ toegepast. Indien klachten over de gehele bovenste extremiteit domineren wordt de DASH geadviseerd.

Afronding
De inhoud van tabel 2 toont dat veel onderzoek is uitgevoerd naar de kwaliteit van vragenlijsten voor het scoren schoudergerelateerde klachten. Hoewel etie de kwaliteit van lijststen,veel onderzoek is uitgevoerd naar de kwaliteit van vragenlijsten voor de schoudergerelateerde kligenlijk elke subgroep van patiënten met een schouderaandoening apart onderzocht dient te worden om vast te stellen wat de kwaliteit van de lijsten in die situatie is, is de huidige ‘state of the art’ ver genoeg als motivatie voor de beschreven adviezen. Gezien de zelfrapportage speelt de invloed van de fysiotherapeut als bron voor vertekening een kleine rol. Overigens is in tabel 2 bij de CMS de interbeoordelaar betrouwbaarheid en nauwkeurigheid genoteerd. De inhoud van tabel 2 toont aan dat inmiddels voldoende gegevens aanwezig zijn. Het blijkt dat de waarden voor de MDC iets lager liggen dan voor de MCIC hetgeen betekent dat daadwerkelijke klinische veranderingen leiden tot veranderingen in de scores van lijsten. Het verkleinen van de MDC door de toepassing te standaardiseren is aan te raden.
De inhoud van dit artikel gecombineerd met de veelal eenvoudige toepassing en interpretatie, de makkelijke toegankelijkheid van de lijsten en de positieve effecten op de kwaliteit van het fysiotherapeutisch handelen motiveert om de lijsten in de praktijk toe te passen.

Literatuurlijst

  1. Engelen EISM van, Swinkels RAHM, Beurskens AJHM. Het gebruik van meetinstrumenten bij schouderproblematiek. Ned Tijdschr Fysiother, 2008, 118:136-142..
  2. Offringa, A, Assendelft W, Scholten R. Evidence based practice (met name hoofdstuk 4.2). Bohn Scheltema van Loghum, 2e herziene druk, Houten, 2003.
  3. De Vet HCW, Terwee CB, Knol DL, Bouter LM. When to use agreement versus reliability measures. J Clin Epidemiology, 59, 2006:1033-39.
  4. Bot SDM, Terwee CB, Windt DAWM van der, Bouter LM, Dekker J, Vet HCW de. Clinimetric evaluation of shoulder disability questionnaires: a systematic review of the literature. Ann Rheum Dis, 2004, 63:335-341.
  5. McClure P, Michener L. Measures of adult shoulder function. Arthritis & Rheumatism, 2003, 49:50-58.
  6. Plascek J, Lukens SC, Badalanmenti S, Roubal PJ, Freeman C, Walleman KM, Parrot A, Wiater M. Shoulder outcome measures, a comparison of 6 functional tests. Am J Sports Med, 2004, 32:1270-1277.
  7. Stiller J, Uhl TL. Outcomes measurement of upper extremity function. Athletic therapy today, 2005,16(may):15-17.
  8. Ekeberg OM, Bautz-Holter E, Tveita EK, Keller A Juel NG, Brox JI. Agreement, reliability and validity in 3 shoulder questionnaires in patients with rotator cuff disease.. BMC, Musculoskeletal Disorders, 2008:1-9.
  9. Christie A, Hagen KB, Mowinckel P, Dagfinrud. Methodological properties of six shoulder disability measures in patients with reumatic diseases referred for shoulder surgery. J Shoulder Elbow Surg, 2009, 18:89-95.
  10. Roy JS, MacDermid JC, Woodhouse LJ. Measuring shoulder function: a systematic review of four questionnaires. Arthritis & Rheumatism, 2009, 61:623-632.
  11. Tashjian RZ, Deloach J, Green A, Porucnik CA, Powell AP. Minimally clinically important differences in ASES and SST scores after non-operative treatment of rotator cuff disease. J Bone Joint Surg Am, 2010, 92:296-303.
  12. Lippit SB, Harryman DT, Matsen FA. A practical tool for evaluation of function: the simple shoulder tests. In: Matsen FA III, Fu FH, Hawkins RJ (editors). The shoulder, a balance of mobility and stability. Rosemont, Illinois; The American Academy of Orthopaedic Surgeons, 1993:501-518.
  13. Godfrey J, Hamman R, Lowenstien S, Briggs K, Kocher M. Reliability, validity and responsiveness of the simple shoulder test: psychometric properties by age and injury type. J Shoulder Elbow Surg, 2007, 16:260-267.
  14. Roach KE, Budiman-Mak E, Songsiridej N, Lertratanakul Y. The development of a shoulder pain and disability index. Arthritis Care Res,1991, 4:143-149.
  15. Heald SL, Riddle DL, Lamb RL. The shoulder pain and disability indez; the construct validity and responsiveness of a region-specific disability measure. Phys Ther, 1977, 77:1079-1089.
  16. Constant CR, Murley AHG. A clinical method of functional assessment of the shoulder. Clin Orthop Relat Res,1987:160-164.
  17. Constant CR, Gerber C, Emery RJH, Sojberg JO, Gohlke F, Boileau P. A review of the Constant score: modifications and guidelines for its use. J Shoulder Elbow Surg, 2008, 17:355-361.
  18. Rocourt MHH, Radlinger L, Kalberer F, Sanavi S, Schmidt NS, Leunig M, Hertel R. Evaluation of intratester and intertester reliability of the Constant-Murley shoulder assessment. J Shoulder Elbow Surg, 2008, 17:364-369.
  19. Heijden van der G.J.M.G. Shoulder Disability Questionnaire: design and responsiveness of a functional status measure. In: Shoulder disorder treatment: efficacy of ultrasound therapy and electrotherapy. PhD-Thesis Maastricht: University of Maastricht, Datawyse/University Press 1996: 79-91
  20. Windt van der D.A.W.M, van der Heijden G.J.M.G , de Winter A.F, Koes B.W, Devillé W, Bouter L.M. The responsiveness of the Shoulder Disability Questionnaire. Ann Rheum Dis 1998;57:82-
  21. Dawson J, Fitzpatrick R, Carr A. The assessment of shoulder instability, the development and validation of a questionnaire. J Bone Joint Surg UK, 1999, 81-B:420-426.
  22. Dawson J, Rogers K, Fitzpatrick R, Carr A. The Oxford shoulder score revisited. Arch Orthop Trauma Surg, 2009, 129:119-123.
  23. Kirkley A, Griffin S, McLintock H, Ng L. The development and evaluation of a disease-specific quality of life measurement tool for shoulder instability; the Western Ontario Shoulder Disability Index (WOSI). Am J Sports Med, 1998, 26:764-772.
  24. Salomonsson B, Ahlstrom S, Dalen N, Lillkrona U. The Western Ontario Shoulder Disability Index (WOSI); validity, reliability and responsiveness with a Swedish translation. Acta Orthopaedica, 2009, 80:233-238.
  25. L’Insalalta JC, Warren RF, Cohen SB, Altcheck DW, Peterson MGE. A self-administered questionnaire for assessment of symptoms and function of the shoulder. J Bone Joint Surgery Am, 1997, 79 A:738-748.
  26. Vermeulen HM, Boonman DCG, Schuller HM, Obermann WR, Rozing PM, Vliet-Vlieland TPM. De Nederlands vertaling van de Shoulder Rating Questionnaire: de SRQ-DV. Ned Tijdschr Fysiother, 2008, 118:143-150.
  27. Hudak PL, Amadio PC, Bombardier C. Development of an upper extremity outcome measure: the DASH (disabilities of the arm, shoulder and hand). The upper extremity collaborative group (UECG), Am J Ind Med, 1996, 29:602-608.
  28. Palmen CM, Meijden E van der, nelissen Y, Koke AJA. De betrouwbaarheid en validiteit van de Nederlandse vertaling van de Disability of the Arm, Shoulder and Hand questionniare (DASH). Ned Tijdschr Fysiother, 2004, 114:30-35.
  29. Kirchner K, Voskuil E, Lenderink-Hylton A, Burg D van der, Koel G. Toepassing van vragenlijsten bij patiënten van het schouderspreekuur MST. Afstudeerscriptie Saxion Hogeschool Enschede, 2009.
  30. Wiebrodt A, Theismann H, Stegeman P, Heusinkveld J, Lenderink-Hylton A, Burg D van der, Koel G. Fysiotherapeutisch handelen bij patiënten met aandoeningen aan de schouder, de toegevoegde waarde van vragenlijsten. Afstudeerscriptie Saxion Hogeschool Enschede, juni 2010.
  31. Shrout PE, Fleiss JL. Uses in assessing rater reliability. Psych Bull, 96, 1979:420-8.
  32. Krebs DE. Intraclass correlation coefficients, use and calculation. Phys Ther, 64, 1984:1581-9.
  33. Nunally JC, Bernstein IH. Psychometric theory, 3th edition. McGraw-Hill, New York, 1994.
  34. Koel G, Burg D van der,Tas P van der. Ontwikkeling van de SST-PO, de SNT Shoulder Test – Post Operatief. www.schoudernetwerk.nl, december, 2010.
  35. Kaaz V, Knittel J, Reiss D, Schonewille R, Burg D van der, Koel G. Fysiotherapeutisch handelen bij patiënten met aandoeningen aan de schouder, de toegevoegde waarde van vragenlijsten. Afstudeerscriptie Saxion Hogeschool Enschede, februari 2011.