1

Assessment happens consciously and unconsciously, through formal and informal methods.  The question is not whether or even how we assess clinical competence, but rather how can we do it better or at least be more objective in our assessments. Three examples of formal assessment are provided in addition to the slide for interest only

Example one of threeThe following article provides a high‐level summary of the different methods for work‐based assessment:Norcini J. ABC of learning and teaching in medicine: Work based assessment. BMJ VOLUME 326 5 APRIL 2003

The methods include: review of clinical records; audit of administrative data and patient outcomes; portfolios and diaries; direct observation (OSCE); peer and patient surveys; ‘volume’ based assessment

Example two of three

Boon K, Turner J. Ethical and professional conduct of medical students: review of current assessment measures and controversies. J Med Ethics 2004;30:221–226. doi: 10.1136/jme.2002.002618

The authors list and describe a number of assessment strategies, including: attendance records; self and peer assessment; patient evaluation; observation of behaviour; student journals; psychological tests; structured examinations, e.g. modified essay questions 

2

(MEQ), objective structured clinical examination (OSCE), multiple choice questions (MCQ).

However, all assessment methods have potential limitations.  Some of the concerns that have been raised relate to their: relative lack of objectivity; validity issues; individuality issues; administrative burden; cultural issues; confidentiality

Example three of threeOne of the many examples of the development, implementation and evaluation of a formal assessment programme in undergraduate medical education is:Huang CC1, Chan CY, Wu CL, Chen YL, Yang HW, Huang CC, Chen CH, Huang WJ, Lee FY, Lin SJ, Chen JW. Assessment of clinical competence of medical students using the objective structured clinical examination: first 2 years' experience in Taipei Veterans General Hospital. J Chin Med Assoc. 2010 Nov;73(11):589‐95. doi: 10.1016/S1726‐4901(10)70128‐3. https://www.ncbi.nlm.nih.gov/pubmed/21093827

2

3

• Practice and theory: there are many theories, frameworks and models that can be used to describe clinical competency. Some of the more influential and better known models and frameworks are included in this presentation.

• Student and junior doctors: from their perspective, there is self‐assessment, the issue of the ‘hidden curriculum’ and their experience of assessment by their peers and trainers

• GP trainer: from a trainer’s perspective there are formal assessments (checklist, CEX, OSCE, observation) and informal methods.  One of the main aims for the trainer is to make an educational diagnosis. A further aim is to reliably evaluate the clinical competence of students with adequate veracity in order for the assessment to be useful.

4

There are many definitions of clinical competence.  The academic debate about what the necessary components and characteristics of this concept includes has been going on for many decades (at least).This definition is short and succinct, but non‐specific.

5

These definitions offer more specific information – in particular it starts to define what some of the major components of clinical competence may be, but still in general terms.  According to this definition, medical students cannot have clinical competence, as they will not have ‘experience’.  However, they may compensate for this lack of experience through knowledge, skills and/or attitude so that they may still be able to fulfil the ‘purpose’

6

Cognitive, Affective, Psychomotor Domains Bloom's Taxonomy (1956, Dr Benjamin S Bloom) has three domains: cognitive; affective; and psychomotor. 

Bloom showed ‐ decades ago ‐ that most teaching tend to be focused on fact‐transferand information recall which are the lowest levels of training. Ideally, the focus should be on true, meaningful personal development. This remains a challenge.

Domain one. Cognition (knowledge‐based)

The cognitive domain is broken into six basic objectives: remembering; comprehending; applying; analysing; synthesizing; and evaluating

Domain two. Affective (emotive‐based)

Affective objectives typically target the awareness and growth in attitudes, emotion, and feelings.There are five levels in the affective domain moving through the lowest‐order processes to the highest. ‘Receiving’ is the lowest level and refers to students paying passive attention. Without this level learning is not possible. ‘Responding’ describes active participation by students. ‘Valuing’ refers to students attaching value to an object, phenomenon, or information. ‘Organizing’ is when students can put together different values, information, and ideas and accommodate them within their existing schemas. Finally ‘characterizing’ is when students try to build abstract knowledge. 

7

Domain three. Psychomotor (action‐based)Subcategories were developed later by other researchers. 

In 2001 Bloom’s taxonomy was revised to including the following levels: Remember; Understand; Apply; Analyze; Evaluate; Create 

7

Miller’s pyramid (1990) is a way of ranking clinical competence both in educational settings and in the workplace. 

As a framework it distinguishes between knowledge at the lower levels and action in the higher levels. It argues that to truly know whether our learners are achieving what we want them to achieve we should assess them in the setting that we expect them to be delivered.

Of course not everything can be assessed in the workplace – one example would be dealing with rare diseases. In these instances simulation can be helpful as it blurs the boundaries between DOES and SHOWS

According to Miller, education is defined by it’s outputs and not by it’s inputs.  After teaching interventions we should therefore be interested in what students can do, which is not necessarily the same as what they were taught. 

In recent years Miller’s pyramid has been expanded into a 3D structure by incorporating the domains from Bloom’s taxonomy (e.g. cognitive, affective and psychomotor domains)

Miller’s pyramid is important because it helps GP trainers understand what we are testing and whether our assessments are valid.  In general, the higher we assess on Miller’s pyramid the more valid the assessment should be.

8

8

This framework articulates the possible areas for an assessment instrument in graduate medical education according to three dimensions: 

1. The Content Domains o Medical Sciences and Practice, which consists of two sub‐domains: Clinical Problems and Conditions; and Skills and Procedures o Professional Practice, which consists of three sub‐domains: Communication; Clinical Management; Professionalism 

2. The Process Domain o Clinical Competence, which consists of two sub‐domains: Cognitive (which in turn has two components: Knowing And Understanding); and Skills and Procedures (which has two components: Demonstrating and Implementing)

3. The Clinical Context 

Further descriptionThe first content domain is ‘Medical Sciences and Practice’, which comprises the ‘Clinical Problems and Conditions’ and ‘Skills and Procedures’ sub‐domains. The second content domain is ‘Professional Practice’, which comprises the ‘Communication’, ‘Clinical Management’ and ‘Professionalism’ sub‐domains. The process domain is ‘Clinical Competence’, which comprises the ‘Cognitive’ (Knowing and Understanding) and 

9

‘Behaviourial’ (Demonstrating and Implementing) sub‐domains. Content and process domains are always situated in a ‘Clinical Context’, which situates the expression of proficiency, and serves as a backdrop for any specific content or process 

The process domain is modelled on Miller’s pyramid of clinical competence. The intended implication of the figurein the slide is that the student or junior doctor’s capacity broadens rather than narrows with increasing proficiency. For this reason, Miller’s pyramid has essentially been inverted 

The content domains can be coupled with the process domain. The vertical bars for each content sub‐domain demonstrate that each sub‐domain can be assessed through a cognitive or behavioural process, and always in a clinical context. This implies that all five of the content sub‐domains can be mapped to both of the process sub‐domain.

9

This definition builds on the previous ones by specifiying specific processes in addition to the ‘components’ of clinical competence, e.g. ‘diagnose’ and ‘treat’.  However, we now recognise that while these are valid parameters, they are also incomplete

10

The "conscious competence" learning model (1970s, Noel Burch at Gordon Training International)

The model has four stages relating to the psychological states involved in the process of progressing skills from incompetence to competence.

Individuals are initially unaware of how little they know, or unconscious of their incompetence. As they recognize their incompetence, they consciously acquire a skill, then consciously use it. Eventually, the skill can be used without conscious thought

Several elements can be compared with a Johari window. However, Johari windows deal with self‐awareness, while the four stages of competence model describes learning stages.

The four stages of competence are:• Unconscious incompetence: The individual does not understand or know how to do 

something and does not necessarily recognize the deficit. They may deny the usefulness of the skill. The individual must recognize their own incompetence, and the value of the new skill, before moving on to the next stage. 

• Conscious incompetence: The individual recognizes a skill deficit, as well as the value of a new skill in addressing the deficit. Making of mistakes are integral to the learning process at this stage.

11

• Conscious competence: The individual understands or knows how to do something. However, demonstrating the skill or knowledge requires concentration. 

• Unconscious competence The individual has had so much practice with a skill that it has become "second nature" and can be performed easily. As a result, the skill can be performed while executing another task. The individual may be able to teach it to others. 

11

Patricia Benner’s model (1984) has five levels:

Novice: students with no experience of a situation. Novices use ‘text book’ rules without the ability of discretionary judgement

Advanced beginner (apprentice): Characterised by marginally acceptable performance. Students can perform tasks as asked but are unable to think ahead, change course or prioritise. In other words, they have limited situational perception

Competent: characterised by conscious, deliberate planning. Junior doctors are now organised, can be efficient and are able to make long range plans. They are able to cope with multiple activities simultaneously

Proficient: This stage typically requires a minimum of 3 to 5 years.  At this stage doctors become able to train others. At this stage deviations from ‘normal’ can be recognized

Expert: Doctors who have an intuitive grasp of situations.  They no longer need analysis or rules in every case and can recognize patterns and quickly make decisions. Clinicians have a ‘vision of what is possible’ and can apply analytical approaches to ‘new’ problems.

12

A more recent framework of clinical competence that is inclusive of the components (knowledge, skills and attitude) but also specific about the processes involved in relation to being a doctor.  However, the tradeoff is that this definition is now complicated and long.

13

*Competence should be distinguished and differentiated from performance.  Which of these two concepts are we actually assessing?  Just because someone is competent does not necessarily mean their performance will be.  Similarly, someone’s performance on a given day may be acceptable, but they may not be ‘competent.  An example would be a student inserting a chest drain on the ‘right’ side through a lucky guess, rather than determining which side the pneumothorax is.

**An alternative definition of competence that helps to further illustrate this difference is now provided. ‘Possession of a satisfactory level of relevant knowledge and acquisition of a range of relevant skills that include interpersonal and technical components at a certain point in the educational process. Such knowledge and skills are necessary to perform the tasks that reflect the scope of professional practices. Competence may differ from ‘performance’, which denotes actions taken in a real life situation. Competence is therefore not the same as ‘knowing’, on the contrary, it may well be about recognizing one’s own limits.

14

Full quote:

‘…The students who had excellent knowledge of their patients — those who most fully understood the patient story, who had best memorized and understood the results from diagnostic tests — stood out as exemplary. They were deemed competent by our supervising resident and attending physicians, a designation that meant more than high mark on any multiple choice test…

…In the arena of medical education, competence is earned by consistently excelling in patient care and earning the notice, praise or promotion from supervising physicians. 

performing at a high level — consistently excelling in patient care, continually learning from colleagues, supervisors, medical journals and patients themselves may lead to competence. Yet, for the medical student who is striving for competence, this prescription for success may not lead to the desired outcome… competence does not come from the self, but rather from the people around us — our patients, our colleagues, and our supervisors... a physician cannot claim competence for himself or herself, but must instead be given or regarded to have competence by colleagues, supervisors and patients. 

Shah, J. ME, How Does a Doctor Become Competent? (Part 2 of 3). Published August 2016. Available online at: http://in‐housestaff.org/doctor‐become‐competent‐part‐2‐3‐

15

266

15

Key principles

Stages, models, frameworks, theories – in reality they all describe a process / journey

Assessment happens consciously and unconsciously, formal and informal – the question is not whether or even how, but rather how can we do it better!

16

The ‘take home’ points from this study are:

• Students overestimate their own clinical competence, compared with the assessment of ‘experts’

• Younger students, and students earlier in their studies were more likely to overestimate their own clinical competence

The abstract is provided verbatim for interest below:

Abstract

Background: The assessment of the performance of medical school graduates during their first postgraduate yearsprovides an early indicator of the quality of the undergraduate curriculum and educational process. The objectiveof this study was to assess the clinical competency of medical graduates, as perceived by the graduates themselvesand by the experts.

Methods: This is a hospital based cross‐sectional study. It covered 105 medical graduates and 63 experts selectedby convenient sampling method. A self‐administered questionnaire covering the different areas of clinicalcompetency constructed on a five‐point Likert scale was used for data collection. Data 

17

processing and analysiswere performed using the Statistical Package for Social Science (SPSS) 16.0. The mean, frequency distribution, andpercentage of the variables were calculated. A non‐parametric Kruskal Wallis test was applied to verify whether thegraduates' and experts' assessments were influenced by the graduates' variables such as age, gender, experience,type of hospital, specialty and location of work at a (p ≤ 0.05) level of significance.

Results: The overall mean scores for experts' and graduates' assessments were 3.40 and 3.63, respectively (p= 0.035).Almost 87% of the graduates perceived their competency as good and very good in comparison with only 67.7% byexperts. Female and male graduates who rated themselves as very good were 33.8% and 25% respectively. More than19% of the graduates in the age group > 30 years perceived their clinical competency as inadequate in contrast withonly 6.2% of the graduates in the youngest age group. Experts rated 40% of the female graduates as inadequate versus20% of males, (p= 0.04). More than 40% of the graduates in younger age group were rated by experts as inadequate,versus 9.7% of the higher age group >30 years (p = 0.03).

Conclusion: There was a wide discrepancy between the graduates' self‐assessment and experts' assessment,particularly in the level of inadequate performance. Graduates in general, and those of younger age groups inparticular, tend to overestimate their clinical skills and competency.

17

Why is self‐assessment unreliable?

Theory one of two: Illusory superiority (1991, Van Yperen and Buunk)

Illusory superiority is a type of cognitive bias whereby individuals overestimate their own qualities and abilities relative to those of others. It is also referred to as the above‐average effect. Other terms include superiority bias, leniency error, sense of relative superiority, the primus inter pares effect and the Lake Wobegon effect (e.g. named after Garrison Keillor’s fictional town where "all the children are above average")

Illusory superiority can be evident in a variety of areas, including intelligence, performance of tasks or tests, and the perception of possessing desirable characteristics or personality traits. 

Theory two of two: The Dunning–Kruger effect

The Dunning‐Kruger (David and Justin, 1999) effect is another example of cognitive bias. Individuals with low ability individuals mistakenly assess their ability as much higher than it really is. The bias is attributed to a metacognitive incapacity on the part of those with low ability to recognize their ineptitude and evaluate their competence accurately. In addition, individuals with high ability may underestimate their relative competence and may erroneously assume that tasks which are easy for them are also easy for others. They postulated that the effect is the result of internal illusion in those of low ability, and 

18

external misperception in those of high ability. In other words: "The miscalibration of the incompetent stems from an error about the self, whereas the miscalibration of the highly competent stems from an error about others.“

The implications in medical education are that, for a given skill, incompetent students will:• fail to recognize their own lack of skill• fail to recognize the extent of their inadequacy• fail to accurately gauge skill in others• recognize and acknowledge their own lack of skill only after they are exposed to 

training for that skill

18

Empathy is related to clinical competence in medical care

Article one of two:

Citation: Ogle, J., Bushnell, J. A. & Caputi, P. (2013). Empathy is related to clinical competence in medical care. Medical Education, 47 (8), 824‐831. 

AbstractObjectives:Most medical schools focus upon aspects of interpersonal functioning such as empathy in the doctor‐patient relationship with the aim of training clinically competent doctors. This study investigated the relationship between empathy and clinical competence among medical students. 

Methods: Fifty‐seven medical students participated in the study. Clinical competence was assessed in an objective structured clinical examination (OSCE). Empathy was rated by an independent observer of the clinical interaction in OSCE stations. In addition, empathy was self‐rated using the Jefferson Scale of Physician Empathy‐Student Version. 

Results: Observed behaviour indicative of empathy, as rated objectively by an independent observer, was strongly associated with clinical competence. The strong association between the behavioural manifestation of empathy and clinical competence was evident across a range of medical conditions and types of consultation. In addition, observable empathy was strongly associated with patients' ratings of the students' 

19

performances. Self‐rated empathy, however, was not associated with clinical competence. Significant differences in mean total competence scores were noted between students low in observed empathy (mean ± standard deviation [SD]: 165.86 ±12.92) and students high in observed empathy (mean ± SD: 190.35 ± 14.00) (t[55] = 6.28, p = 0.000, α ≤ 0.01). 

Conclusions: In medical education, strategies that enhance the behavioural expression of empathy (or at least retard its decay) could help to make medical students appear to be more clinically competent to both examiners and patients. However, if medical students' internal emotions are found to be discrepant with their behaviour, these findings will raise difficult questions regarding the fundamental nature of genuine empathy and alert us to the possibility that medical students may learn that it pays to subscribe to the view that if a person does not feel empathy, he or she can fake it.

Article two of two:

Citation: Hojat M, Callahan C, Gonnella JS. Students personality and ratings of clinical competence medical school clerkships: A longitudinal study. Psychology Health and Medicine 9(2):247‐252 May 2004.

AbstractThis study was designed to examine the associations between students' personality and assessments of their clinical competence in medical school. A set of questionnaires was completed by 1710 medical students to measure their self‐esteem, sociability, loneliness, general anxiety, test anxiety, neuroticism (emotionality), perceptions of early relationships with parents, and general health. Students were divided into three groups of the low, moderate, and high competent based on the number of ‘Honours’ ratings they received in core clinical clerkships during the third year of medical school. Multivariate statistical analyses showed that the low competent students scored significantly lower on the self‐esteem and sociability, but higher on the loneliness scale. The low competent students also perceived their early relationships with their parents as less satisfactory. Findings suggest that medical students' clinical competence assessments are associated with some aspects of their personality and with perceptions of early relationships with their parents. Findings have implications for the development of educational remedies and counselling strategies.

19

A well planned, structured interview helps when assessing the information from the interview. The Kiddy Ring is an approach that helps to look at the registrar or medical student as a ‘whole person’ and maximises opportunities for discovering their strengths and challenges.

Typically, 45 minutes to an hour is needed to adequately cover the cycle.

There is no right sequence and the order of questions can remain flexible according to the responses generated. However, the convention is to start at ‘1’, as this helps to put the medical student or registrar at ease. The information derived from each area should be divided into factual and evaluative aspects.

Examples of questions and contents in each of the areas of discussion

Present Job

Facts: main job, task likes and dislikes approach to tasks, relationships and how handled, decisions, achievements.

Evaluative: motivation, level of energy, resilience to stress, ability to handle relationships, communication skills, clinical competence, standard of work, progress in career to date.

Aspirations

Facts: Short/medium/long term plans, plans for achieving ambitions, reason for applying for the job.

Evaluative: Type of interests, sports, pastimes etc, what they reflect about the candidate, potential incompatibility with or enhancement of proposed job.

Circumstances

Facts: location, mobility, family circumstances and constraints.

Evaluative:  mobility, domestic stability, financial stability.

Early Life / Upbringing

Facts: place of birth and childhood, parental occupations, values and characteristics, parental expectations of children, siblings, their occupations and achievements; significant events.

Evaluative: emotional stability, supportiveness of upbringing, implication of negative events.

Education

Facts: type of secondary school, exam results, interests and achievements at medical school.

Evaluative: Academic progress and performance, level of ability and intellect, causes and results of any failure.

Work History

Facts: detail of previous jobs, likes and dislikes, main relationships.

Evaluative: Significance of jobs, type of work, experience gained, range and depth of experience, relevance to proposed job.

20

Dilt’s ‘Logical levels of change’ framework

People often describe responding to things on different "levels". For instance, someone might say that some experience was negative on one level but positive on another level. This is because our brains work with natural hierarchies or levels of experience. The purpose and effect of each level is to organise and control the information on the level(s) below it. However, changing something on an upper level will not necessarily change things on lower levels. Similarly, changing things at lower levels could, but would not necessarily, affect the upper levels.  Robert Dilt’s model for personal change, learning and communication therefore brings together the ideas of context, levels of learning and perceptual position. It provides a framework for organising and gathering information in order to identify the best point to intervene in order to bring about a desired change.

The levels are: Purpose (or Vision)This is the product of the next five levels

Identity Identity gives a student a basic sense of self and includes core values. Identity has primarily to do with mission and answers the question ‘who am I?’. 

Beliefs This level includes the values and beliefs of the individual student. It answers the 

21

question: why am I doing this? Beliefs are the various ideas we think are true and use as a basis for daily action. Beliefs can be both permissive and limiting. Values are the concepts (like honesty, cleanliness, courage, humility, etc) we think are important to us. 

CapabilityThis level describes what we are capable of. They are the groups or sets of behaviours, general skills and strategies that we can use in our life. This level answers the question: how could I deal with this? At this level we use a variety of mental maps, plans or strategies to generate specific behaviour

Behaviour Behaviour is made up of the specific actions or reactions taken within our daily environment. Regardless of our capabilities, behaviour describes what we actually do. It answers the question: what am I doing? 

Environment This has to do with the external context in which behaviour occurs. It answers the question: when and where does this behaviour occur? 

The ‘logical levels’ model can be used to help make educational diagnoses. The following exercise gives of the three members the opportunity to describe a problem, to help someone else understand the problem and to observe the process, in turn. Participant A pretends to be a student and describes a problem relating to clinical medicine, medical education or personal life. The problem should be ‘big’ enough but not so big that it would take more than 10 minutes to discuss and resolve. The nature of the problem is not that important, but rather the process of dealing with it. Participant B facilitates the exposition of the problem. The role of participant B is to help A understand the problem, its’ causes and effects. In particular, B helps A work out which levels the problem is affecting. This can be done by talking or "stepping the levels". Participant C observes the interaction between B and A, and reflects on the process by which B facilitates the exposition of A’s problem and keeps time. This process should take about ten minutes. B then describes what went well, what could have gone better. One minute. A then describes what it was like for him/her. One minute. C reflects back to B and A the process he/she observed ‐ again, what went well, what could have gone better. Two minutes. C, B and A then rotate places, one place to the right. 

21

Practical application of the ‘Logical levels’ framework with examples of potential questions:

Environment • When did this happen? • Where was it? • What was the context? 

Behaviour • Can you tell me what happened? • What did you see? • What did you hear? • What were people / the patient doing or saying? • How did you feel? • What were others feeling? 

Capability • What do you think of that? • What sense do you make of it? • What does it mean to you? • How do you understand what happened? • What mental maps, structures or frameworks are you using as you think about it? 

Beliefs and Values 

22

• Why do you think as you do about it? • Why is it important to you? • What’s right in this situation? • What’s important to you here? • What values do you bring into this situation? • What beliefs are getting in the way here, limiting you? 

Identity • Who are you in this situation? • What roles are you playing? • What metaphors can you come up with to express yourself? • In this situation, you are like a …………? 

Spirituality • Who else is relevant to you in this situation? • What is the significance of those relationships? • What do those others mean to you? 

22

The adapted list is provided as a separate attachment

23

The University of Southampton ACC (assessment of clinical competence) guide –Appendix (page 5)

Practical ‘tips’• Preparation is vital• Select an appropriate patient• Informed consent• Anticipate and avoid disturbances• Assess all competencies before providing feedback• Feedback should be provided in a quiet, relaxed area• Assessments should be observed

Specific domains of competency, with suggested criteria:

History takingFacilitates patient's telling of story; effectively uses appropriate questions to obtain accurate, adequateinformation; responds appropriately to verbal and non‐verbal cues

Physical examinationFollows efficient, logical sequence; examination appropriate to clinical problem; explains to patient;sensitive to patient's comfort, modesty

24

CommunicationExplores patient's perspective; jargon free, open and honest, empathic

Clinical judgement (decision making skills)Makes appropriate diagnosis and formulates a suitable management plan. Suggests appropriatediagnostic studies, considers risks, benefits

Professionalism (personal and professional behaviour): Shows respect, compassion, empathy, establishes trust. Attends to patient's needs of comfort, respect,confidentiality. Behaves in an ethical manner. Is aware of and sensitive to the patient's cultural background. Aware of own limitations

Organisations / efficiency (use of time): Prioritises; is timely, succinct. Summarises.

Overall achievementSuccessful achievement of the specific task that was set.

What does ‘meet expectation’ mean? It is the expectation we (as experienced doctors and trainers) would have of a doctor starting their first postgraduate year. In other words, are they safe and competent? 

If you are concerned that students are ‘borderline’ or ‘below expectation’ it is particularly important to consider:• Is there evidence of inappropriate attitudes or behaviour?• Is there a lack of awareness of limitations?• Is the level of knowledge potentially placing patients at risk?

24

25

Responding to specific instances and problem: gathering and using information about a student or junior doctor and translate that into an appropriate educational plan 

1. ‘Sum up’ the learner 2. Ask: is there a problem? 3. If there is, define the problem 4. Make an educational diagnosis 

26

27

28