1 

CRF Completion Guidelines  1 

 2 Kelly Hills,a Tara Bartlett,b Isabelle Leconte, PhD, CCDM c Meredith N. Zozus, PhD, CCDM d 3 a: Horizon Pharma Inc., Lake Forest, IL; b: Roche Pharmaceuticals, Toronto, Canada Area; c: Johnson & 4 Johnson. Allschwil, Switzerland; d: University of Arkansas for Medical Sciences, Little Rock AR  5 

1) Abstract 6 

Case Report Forms (CRFs) are a common data collection mechanism in clinical studies and 7 are sometimes the original recording of study data. CRF completion is one of the earliest 8 opportunities to assure accurate and complete data and to decrease downstream work 9 associated with identification and resolution of data discrepancies. This chapter covers 10 development, maintenance, and implementation of instructions for CRF completion, also 11 called CRF Completion Guidelines (CCGs). Recommendations in this chapter are based on 12 the International Council for Harmonisation (ICH) E6 addendum (ICH E6(R2)), the MHRA GXP 13 Data Integrity Guidance and Definitions, review of the literature, and writing group 14 consensus. 15 After reading this chapter, the reader should understand: 16 

The purpose of an regulatory basis for CRF completion guidelines 17 

The contents and organization of CRF completion guidelines 18 

Creation and maintenance of CRF completion guidelines 19 

Training clinical investigational sites and CRAs on CCGs  20 

2) Introduction 21 

Data collection forms, commonly called Case Report Forms (CRFs) in clinical studies, have 22 been used since the earliest studies. The main goal of paper and electronic CRFs alike is the 23 consistent and accurate collection and recording of data. CRF Completion Guidelines (CCGs) 24 support this by detailing the activities involved in CRF completion, correction, signing, and 25 data handling. (Bellary 2014) Problems in data collection may result in inaccurate, unusable, 26 or lost data. Further, in some cases, after the time of data collection has passed, so may the 27 opportunity to retrieve lost data or to correct inaccurate data. (Spilker 1991, Zozus 2017a) 28 As such, CRFs and associated instructions are a critical tool in preserving and maintaining 29 the quality and integrity of data. (Bellary 2014) Activities to assure data quality should be 30 implemented as early in the data collection process as possible. (Zozus 2017a) Form 31 completion instruction and controls are one of these early opportunities for assuring human 32 subject protection and data quality. 33 

Lack of adequate instruction on data collection forms has been cited as a common problem 34 in clinical studies.(Jones 2016, Zozus 2015, Boiko 1997) CRF Completion Guidelines (CCGs) 35 provide field‐specific instructions in support of correcting this problem and are ubiquitously 36 recommended in the literature. (Spilker 1991, Bellary 2014, Jones 2016, Zozus 2015, 37 Fienstein 1969a/b, Backhouse 2000, Boiko 1997) Where a site manual of operations (also 38 called manual of procedures) does not exist for a study, the CCGs are the most detailed 39 specification of the procedures by which data from observations and measurements are to 40 be obtained and recorded. The purpose of well‐written and comprehensive CCGs is to 41 increase data accuracy and consistency, provide traceability for decisions made during data 42 collection, and decrease downstream work including data queries, monitoring questions, 43 and audit findings. CCGs accomplish this by elaborating where needed on observation and 44 

  1 

measurement procedures defined in the study protocol as well as specifying and 45 constraining decisions made during data collection and recording on study forms. Though, 46 “Creation of a data collection form is often mistakenly viewed as a clerical rather than an 47 scientific task”, (Spilker 1991) data observation, measurement, and collection are among the 48 most scientifically important activities in a study. Anything short of scientifically rigorous 49 treatment of these activities is ill advised. 50 

Form completion instructions may include diagnostic criteria, definitions of terms used on 51 the form, specifications of time points for observations, measurement methods and 52 equipment, units, precision, and significant figures for continuous data elements, as well as 53 guidelines for handling variability, uncertainty, inconsistency, and error found in source 54 documents or encountered in measurement. When study conduct necessitates decisions 55 such as coding, calculations, or classification of data by sites during data collection, these 56 are specified in CCGs. As such, the CCGs establish traceability for data origination and 57 collection activities. 58 

3) Scope 59 

This chapter describes creation and maintenance of CCGs, their format, content, and 60 implementation toward the precise, accurate, and consistent capture of clinical study data. 61 CRF completion guidelines may cover observation and measurement procedures, important 62 relationships between data elements, instructions as to where data values are likely to be 63 found in the medical record, and which data values to choose as well as how to record the 64 data on collection forms. 65 

4) Minimum Standards 66 

CCGs specify operations performed on data during observation, measurement, abstraction 67 from source documents, and form completion. Regulation and guidance also address these 68 processes. The ICH E6(R2) Good Clinical Practice: Integrated Addendum contains several 69 passages particularly relevant to CCGs.  70 

Section 2.10, “All clinical trial information should be recorded, handled, and stored in a way 71 that allows its accurate reporting, interpretation, and verification.” 72 

Section 4.9 covers site responsibilities with respect to records and reports.  73 

Section 4.9.0 states that the investigator should maintain, “adequate and accurate 74 source documents and trial records” and goes on to specify, “Source data should be 75 attributable, legible, contemporaneous, original, accurate, and complete” and that 76 “changes to source data should be traceable, should not obscure the original entry, and 77 should be explained if necessary (e.g., via an audit trail).”  78 

Section 4.9.1 places responsibility on the investigator for ensuring the “accuracy, 79 completeness, legibility, and timeliness of the data reported to the sponsor in the CRFs 80 and in all required reports.”  81 

Section 4.9.2 states that data, “reported on the CRF, that are derived from source 82 documents, should be consistent with the source documents or the discrepancies should 83 be explained.”  84 

  1 

Section 4.9.3 further emphasizes good documentation practices, stating, “any change or 85 correction to a CRF should be dated, initialed, and explained (if necessary) and should 86 not obscure the original entry (i.e., an audit trail should be maintained).”  87 

Section 4.9.3 goes on to state, “Sponsors should provide guidance to investigators 88 and/or the investigators' designated representatives on making such corrections.” and 89 that  “Sponsors should have written procedures to assure that changes or corrections in 90 CRFs made by sponsor's designated representatives are documented, are necessary, and 91 are endorsed by the investigator. The investigator should retain records of the changes 92 and corrections.”  93 

Section 5.0 states, “The sponsor should implement a system to manage quality throughout 94 all stages of the trial process.” and goes on to specify that   95 

1) “Sponsors should focus on trial activities essential to ensuring human subject 96 protection and the reliability of trial results” and that  97 

2) “The methods used to assure and control the quality of the trial should be 98 proportionate to the risks inherent in the trial and the importance of the 99 information collected.” Identification of “processes and data that are critical 100 to ensure human subject protection and the reliability of trial results” is 101 specifically stated, as is risk management focused on the processes and data 102 deemed critical.  103 

Section 5.0 further states, “Protocols, case report forms, and other operational 104 documents should be clear, concise, and consistent.” 105 

Section 5.1.1 states that “The sponsor is responsible for implementing and maintaining 106 quality assurance and quality control systems with written SOPs to ensure that trials are 107 conducted and data are generated, documented (recorded), and reported in compliance 108 with the protocol, GCP, and the applicable regulatory requirement(s).” In particular, Section 109 5.1.3 states that “Quality control should be applied to each stage of data handling to ensure 110 that all data are reliable and have been processed correctly.”  111 

Section 5.5.1 states, “The sponsor should utilize appropriately qualified individuals to 112 supervise the overall conduct of the trial, to handle the data, to verify the data, to conduct 113 the statistical analyses, and to prepare the trial reports.”. Section 5.5.3 (e) further states 114 that the sponsor should “Maintain a list of the individuals who are authorized to make data 115 changes.” 116 

Section 5.5.4 under Trial Management, Data Handling and Recordkeeping, states, “If data 117 are transformed during processing, it should always be possible to compare the original data 118 and observations with the processed data.”  119 

The Medicines and Healthcare products Regulatory Agency (MHRA) GXP Data Integrity 120 Guidance and Definitions addresses principles of data integrity, establishing data criticality 121 and inherent risk, designing systems and processes to assure data integrity. , and also covers 122 the following topics particularly relevant to CCGs. 123 

Similar to ICH E6(R2), MHRA Section 2.6 states that, “Users of this guidance need to 124 understand their data processes (as a lifecycle) to identify data with the greatest GXP 125 impact. From that, the identification of the most effective and efficient risk‐based 126 control and review of the data can be determined and implemented.” 127 

Section 6.2, Raw Data states, “Raw data must permit full reconstruction of the activities.” 128 

  1 

Section 6.4 “Data integrity is the degree to which data are complete, consistent, accurate, 129 trustworthy, and reliable and that these characteristics of the data are maintained 130 throughout the data life cycle. The data should be collected and maintained in a secure 131 manner, so that they are attributable, legible, contemporaneously recorded, original (or a 132 true copy) and accurate” 133 

Section 6.7 Recording and Collection of Data states, “Organisations should have an 134 appropriate level of process understanding and technical knowledge of systems used for 135 data collection and recording, including their capabilities, limitations and vulnerabilities.” 136 and that “The selected method [of data collection and recording] should ensure that data of 137 appropriate accuracy, completeness, content and meaning are collected and retained for 138 their intended use.” Section 6.7 further states, “When used, blank forms … should be 139 controlled. … [to] allow detection of unofficial notebooks and any gaps in notebook pages.” 140 

Section 6.9 Data Processing states, “There should be adequate traceability of any user‐141 defined parameters used within data processing activities to the raw data, including 142 attribution to who performed the activity.” and that “Audit trails and retained records 143 should allow reconstruction of all data processing activities…” 144 

The FDA guidance, Use of Electronic Health Record Data in Clinical Investigations, 145 emphasizes that data sources should be documented and that source data and documents 146 be retained in compliance with 21 CFR 312.62(c) and 812.140(d). 147 

Section V.I states that, “Clinical investigators must retain all paper and electronic source 148 documents (e.g., originals or certified copies) and records as required to be maintained in 149 compliance with 21 CFR 312.62(c) and 812.140(d)”. 150 Similarly, the FDA’s guidance on electronic source data used in clinical investigations 151 recommends that all data sources at each site be identified. 152 

Section III.A states, “A list of all authorized data originators (i.e., persons, systems, devices, 153 and instruments) should be developed and maintained by the sponsor and made available 154 at each clinical site. In the case of electronic, patient‐reported outcome measures, the 155 subject (e.g., unique subject identifier) should be listed as the originator.” 156 

As such, we recommend the following minimum standards for the creation, maintenance, 157 and implementation of CCGs. 158 

CCGs specify procedures for observation, measurement, abstraction from source 159 documents, and form completion. As such, they support the evaluation of study 160 conduct and the quality of the data produced. CCGs should exist for every study. 161 

CCGs should specify procedures for assuring that data are Attributable, Legible, 162 Contemporaneous, Original, and Accurate, Complete, Consistent, Enduring, and 163 Available (ALCOA +) and Traceable.  164 

CCGs should exist within a quality management system focused on “ensuring human 165 subject protection and the reliability of trial results” (ICH E6 2018) and, in particular, 166 decisions affecting which data are used and their transformation during data 167 origination, collection, and recording. 168 

CCGs should be considered essential documents and managed as such. A standard 169 operating procedure(s) covering the process by which CCGs or equivalent 170 documentation are created, versioned, reviewed, approved, updated, and 171 distributed should exist. 172 

  1 

CCGs are developed for the use of study personnel, usually site coordinators and 173 monitors.  174 

CCGs should be concise, current, easy to understand, and available to those 175 performing relevant study operations. 176 

Training on CCGs should be provided and documented for individuals with 177 responsibility in observation, measurement, abstraction, and form completion 178 processes. Such training should occur prior to study enrollment and should be 179 revisited upon significant updates to CCGs. 180 

The quality management system in which the CCGs exist should provide for ongoing 181 oversight and control of observation, measurement, abstraction, and form 182 completion processes. 183 

5) Best Practices 184 

Creation and Maintenance of CCGs 185 

Develop guidelines in collaboration with the same roles that designed the CRF. These 186 include protocol authors, form designers, investigators, practicing physicians, 187 statisticians, site and medical monitors, site‐based study coordinators, those familiar 188 with the study database system, data entry, and data processing. (Spilker 1991, 189 Bellary 2014) [V], [VII] 190 

Develop standard CCGs that accompany standard CRF modules that can be used 191 across studies if external standards do not exist. (Spilker 1991) [V] 192 

Where external standards exist for data element definition and collection 193 instructions, use them if appropriate for the study (Jones 2016) [V] 194 

Allow sufficient time for development and testing of forms and instructions. (Spilker 195 1991) [V] 196 

CRF and CCGs cannot be finalized prior to finalization of protocol (Spilker 1991) [V] 197 

Design CRFs and associated CCGs simultaneously with protocol development (Spilker 198 1991) [V] 199 

Hold dedicated meetings for timelier review and finalization of the CCGs. (Backhouse 200 2000) [V] 201 

Format of the CCGs 202 

Ensure that the format and content of the CRF/eCRF and the CCGs that provide 203 instructions the form completer are “self‐contained”; i.e., with all needed instruction 204 or context available on the CRF/eCRF. (Spilker 1991) [V] 205 

Ensure that standard CRF modules are accompanied by associated CCGs and QA 206 guidelines (Backhouse 2000) [V] 207 

Content of the CCGs 208 

Include detailed instructions on proper CRF completion where needed; i.e., where 209 proper completion is not obvious based on form context. (Bellary 2014) [VII] 210 

Do not ask leading questions or otherwise suggest answers to users completing the 211 forms. (Spilker 1991) [V] 212 

Ensure forms are clear, provide necessary instructions, and are easy for the 213 investigator to complete. (Spilker 1991) [V] 214 

Place instructions and graphics that guide form flow on the form so that it is clear 215 where to stop procedures or form completion or where to skip to. (Spilker1991, 216 Bellary 2014) [V], [VII] 217 

  1 

Clearly state on the form the circumstances under which an item should be skipped. 218 (Spilker 1991) [V] 219 

Provide instructions for recording missing data. For example, include instructions to 220 leave an item blank or to provide more information such as “asked but not 221 answered” or “not done.” [VI] 222 

Provide necessary definitions and instructions on the form, next to the item to which 223 they apply. (Spilker 1991) [V] 224 

Accommodate linguistic and cultural differences within the CCGs. (Backhouse 2000) 225 [V] 226 

Include on the form all of the information needed to understand an item on a form. 227 In addition to the prompt or question, it may be necessary to include a basis of 228 comparison; e.g., over the last 24 hours, since the last visit, the assessment, time 229 points and units of measure, precision and number of significant figures, 230 measurement method. (Spilker 1991) [V] 231 

Provide explicit guidance as to order of day and month and to clarify noon versus 232 midnight on a twelve‐hour clock. (Spilker 1991) [V] 233 

Define important diagnoses with clear criteria. (Spilker 1991) [V] Often there are 234 multiple criteria sets in use for a given diagnosis. Specificity avoids confusion. 235 

If calculations are required to inform immediate site action and these cannot be 236 automated instructions (e.g., a worksheet) on how to complete and check the 237 calculations should be provided. (Spilker 1991) [V] 238 

Clearly state within the form’s instruction the role of the individual(s) completing the 239 form, e.g., physician, research staff, patient, or proxy. [VI] 240 

Implementation of the CCGs 241 

Use innovative technology when possible to improve the usability, accessibility, and 242 availability of CCGs. For example, CCGs may be included in electronic help and be 243 available on the screen. [VI] 244 

Provide training on CRF completion. (Backhouse 2000) [V] Such training may be 245 conducted in person at an investigators’ meeting (or similar forum), on site initiation 246 visits, or remotely. 247 

Use appropriate techniques such as analysis or data trends or review of monitoring 248 reports to identify undesirable events and trends in data collection and recording to 249 prompt improvement of CCGs. [VI] 250 

Re‐educate site personnel as needed and revise CRF completion guidelines as 251 necessary, particularly for long‐term studies or if a protocol amendment affects the 252 completion of the CRF. [VI] 253 

Provide data management, biostatistics, medical writing, and other clinical research 254 team members with finalized CRF completion guidelines so these groups are aware 255 of how data are collected and recorded. [VI] 256 

Establish metrics through which site performance in CRF completion will be assessed 257 at a frequency commensurate with the study length. [VI] 258 

CCGs should be tested by study staff. (Spilker 1991, Boiko 1997) [V], [III] Testing 259 minimizes changes. 260 

Question or the wording of prompts can influence the answer. All questions and 261 wording of prompts should be reviewed for its potential to bias data collection or 262 recording. (Spilker 1991) [V] 263 

  1 

Processes for Creation and Maintenance of CCGs  264 

Because the CCGs document the process by which data are collected or recorded, they 265 should be considered essential documents. (ICH E6(R2) 2018) [I] As such, the procedures 266 for creation, approval, and change control should be documented in organizational 267 procedures. (ICH E6, Bellary 2014) [I], [VII] 268 

Increasingly, standards exist for data elements used in clinical studies and instructions 269 for observing, measuring, or otherwise obtaining the corresponding data. Examples of 270 these include the Brighton Collaboration guidelines for collection, analysis, and 271 presentation of vaccine safety data (Jones 2016) [V] and The Joint Commission Core 272 Measures abstraction guidelines (TJC 2017). [V] Where such standards exist and are 273 appropriate, using them increases the ability to pool data and compare results with 274 other studies. Specialty, discipline, or organizational standards capture this knowledge 275 through ongoing improvement of forms and associated instructions. (Spilker 1991) [V] 276 Such specialty or discipline level standards are not yet available in many areas. Where 277 such standards do not exist, investigators develop data collection forms “from scratch” 278 often without the benefit of experiential knowledge gained from earlier studies. (Spilker 279 1991, Boiko 1997) Use of organizational standard forms and associated instructions, 280 while only providing the aforementioned advantage for studies within the organization, 281 still provide advantages in terms of consistency and efficiency in study start‐up and data 282 collection. Lack of standardization of data definition and collection has been associated 283 with the inability to compare trial results across different studies (Jones 2016, Nahm 284 2012, Boiko 1997) [V], [III], [III] and settings, as well as the creation of difficulties 285 drawing conclusions from groups of studies (Jones 2016) [V]. Thus, use of standard 286 forms and associated completion instructions is recommended with priority given to 287 specialty or discipline level standards. (Spilker 1991, Jones 2016, Bellary 2014) [V], [V], 288 [VII] 289 

CCGs accomplish their goal of increasing consistency in data collection and recording by 290 serving as a job aid to those collecting and recording data. As such, they should be 291 written in plain and precise language and simple sentences. (ICH E6 2018) [I] (Spilker 292 1991) [V] Unnecessary words and double negatives should be avoided. (Spilker 1991) [V] 293 

Timing of CCG creation 294 

While some recommend starting CRF design after a finalized protocol, ostensibly to 295 reduce rework in form design as the protocol evolves toward finalization, others 296 recommend simultaneous work on the protocol and CRF (Spilker 1991, Bellary 2014). 297 Because the process of designing a CRF and completion guidelines may identify areas 298 where additional clarity is needed in the protocol or where data required for the 299 protocol are not available or feasible to collect, (Spilker 1991) we recommend the latter. 300 (Spilker 1991) [V] Further, those who develop forms and completion instructions should 301 be intimately involved in protocol development or work closely with those who are. 302 (Spilker 1991) [V] This involvement assures that those designing forms and completion 303 instructions understand the study objectives and rationale behind the collection of each 304 data point. (Spilker 1991) [V] 305 

Authorship of the CCGs 306 

The author initiates the creation of the CRF completion guidelines document during or 307 following CRF design. The person drafting the CCGs must be familiar with the protocol 308 and corresponding CRF. (Spilker 1991) [V] In addition, and to the extent that the medical 309 record is the intended source, the CCG author must understand the data collected 310 

  1 

including how relevant data are documented in routine care and where they are 311 commonly found in medical records. [VI] The CCG author should also understand the 312 quality requirements for the data and how the data will later be used for the analyses. [I] 313 

A data manager or anyone with the appropriate knowledge of the protocol and relevant 314 data can serve as the author of CCGs. The CCGs are developed in close collaboration 315 with the following members of the study team. (Spilker 1991, Bellary 2014) [V], [VII] 316 

a protocol author, clinical scientist, or a clinical study physician familiar with the 317 study objectives and therapeutic area 318 

a biostatistician with knowledge of the statistical analysis plan for the study 319 

a drug safety physician or the study medical monitor 320 

team members responsible for site initiation and study monitoring or others having 321 regular contact with site staff 322 

those familiar with the study database system, data entry, and data processing 323 

Review, approval, and revision of CCGs 324 

The study team members outlined in the previous section should review the draft CCGs. 325 [VI] The review should focus on ensuring that the CCGs are complete, correspond to the 326 protocol, and provide adequate specification to the investigators, site staff, and 327 monitors who will be using the guidelines. [VI] 328 

The CCGs impact data collection and should be managed as a controlled document. (ICH 329 E6(R2) 2018) [I] As such, they are usually referenced by a study Data Management Plan. 330 Please see the Data Management Plan chapter for more information, including 331 recommendations, minimum standards, and best practices. Study, document, and 332 version identification should be visible on each page of printed CCGs and otherwise 333 associated with CCGs in electronic formats. (ICHE6 2018). [I] As a controlled document, 334 changes to approved CCGs should lead to a new version of the CCGs and should be 335 reviewed and approved. (ICH E6 2018). [I] 336 

The CCGs should be revised when any of the following occur: [VI] 337 

a protocol amendment is issued that has an impact on CCGs,  338 

changes to the database affect the eCRF completion guidelines 339 

when a trend in queries is identified that show that the CCGs are not adequately 340 guiding the site staff on CRF completion 341 

an error in the CCGs has been identified that has an impact on the CRF completion  342 

The changes made to the CCGs should be highlighted or summarized, e.g., in a revision 343 history section in the new version, in order to help study personnel to identify the 344 changes. [VI] 345 

Distribution of CCGs 346 

Enough time must be allocated to create, review, and approve the CCGs. (Spilker 1991) 347 [V] Approved CCGs should be made available to the site staff before they enroll any 348 subjects in the study. (ICH E6 2018) [I] For example, the site initiation visit can be used to 349 familiarize the site staff and monitors with the CCGs.  350 

Where CCGs include medical record abstraction guidelines, they should be reviewed and 351 tested by several sites prior to use. (Spilker 1991) [V] It is often not possible to reflect 352 intricacies of every site’s medical record; things like chart order, where things are 353 documented in the chart, and clinical documentation conventions and practices differ by 354 facility. Therefore, what may be specific and accurate direction for one site may not 355 match the record of another.  356 

  1 

If CCGs are not electronically available through the EDC system and a separate 357 document is being used for the CCGs, the distributed copy should be made available to 358 personnel involved in data collection and recording. (ICH E6 2018) [I] A copy should also 359 be filed in the Investigator site file. (ICH E6 2018) [I] The CCGs should also be distributed 360 to central study team members and be filed in the sponsor’s Trial Master File. (ICH E6 361 2018) [I] In cases where the CCGs are available through help text in an EDC system, site 362 training should include how to access the guidance. [VI] Please see the EDC chapters for 363 more information, including recommendations, minimum standards, and best practices. 364 Where CCGs are available on the screen (on line), a hard copy or printed version should 365 also be available. [VI] 366 

Training sites on form completion 367 

Sites should be trained on form completion prior to enrolling subjects in a study. (ICH 368 E6(R2) 2018) [I] Training should occur on approved versions of the CCGs. [VI] Please see 369 the Presentation at Investigator Meeting chapter for more information, including 370 recommendations, minimum standards, and best practices. Where CCGs include medical 371 record abstraction guidelines, such training should include practice abstracting, 372 independent review of the practice abstraction and feedback to the trainee to assure 373 the necessary inter‐rater‐reliability prior to enrollment. (Zozus 2015) [III] 374 

Format of CCGs 375 

CCGs can have multiple formats depending on the needs of the study. The author of the 376 CCGs determines the best medium to use. For studies utilizing paper, CRFs the CCGs are 377 often provided as guidance within the CRF booklet. (Bellary 2014) These may be 378 provided to study personnel as a printed hard copy or offered electronically. For EDC 379 studies, the electronic version may be made available within the EDC platform. 380 Alternatively, form specific instructions may be included as help text directly within each 381 eCRF to aid with the more complicated form/field entry and to help minimize the 382 number of queries. The format chosen must allow for clear and concise instructions that 383 align with the study protocol and other study documents such as the Clinical Monitoring 384 Plan, Data Management Plan, and External Vendor Manuals. (Bellary 2014) [VII].   385 

As best practice, it is useful for organizations to create a CCG template that can be used 386 across studies. (Kennedy 2002, Spilker 1991) [V] [V] This will allow for consistency in the 387 format and look of the guidelines and result in the creation of CCGs being more efficient. 388 These templates may consist of CRF modules, associated CCGs, and applicable quality 389 assurance guidelines. (Backhouse 2000) [V]  390 

CCG format for paper forms 391 

There are several options for placement of form instructions including: on adjoining 392 facing pages, on the top of the page, throughout the page, and on the front page for the 393 visit. Placing instructions on the back of the page to which they refer is not 394 recommended because they cannot be viewed while completing the form. (Spilker 1991) 395 [V] (Spilker 1991) and others (Bellary 2014) recommend placing instructions on adjoining 396 facing pages, i.e., on the back of the preceding page, for long or more complicated 397 instructions, and throughout the page for simple instructions. (Spilker 1991) [V], (Bellary 398 2014) [VII] 399 

  1 

CCG Format for Electronic Forms 400 

Electronic forms as described in the EDC Chapters provide additional options for making 401 instructional information available during form completion. Such options include mouse‐402 over or click‐to‐open help on a per question basis. Further, as described in the EDC 403 chapters, electronic forms provide the ability to enforce data element structure such as 404 "Select only one" or code lists for discrete data elements and significant figures and 405 precision for continuous measures. Workflow such as skip patterns, stops, and 406 availability of conditional and additional forms, may also be enforced. Such workflow 407 automation is a form of external representation in that instructions are embedded in the 408 functionality of the system and do not depend on a form completer reading or attending 409 to them. (Zhang 1994) Thus, such external representations decrease cognitive load 410 (Zhang 1994) and increase data accuracy (Miller 1956) and, as such, are recommended 411 wherever possible. [VI] Please see the EDC chapters for more information, including 412 recommendations, minimum standards, and best practices.   413 

Regardless of the format, each question for which instructions exist should indicate 414 where instructions are to be found. (Spilker 1991) [V] 415 

Outline of CCGs  416 

The CCGs should be based on the protocol and case report forms. (Spilker 1991) [V] 417 CCGs should provide unambiguous instructions on CRF completion for, “all practical 418 scenarios” that a one might encounter such as multiple data values, repeated 419 assessments, data collected outside the study schedule, data corrections, and data 420 resulting from unanticipated events. (Bellary 2014) [VII] CCGs often contain the 421 following details (listed below) to ensure that proper resources and instructions are 422 provided to study personnel. 423 

Identification of the data source  424 The CCGs or other study documentation should identify the expected source for all 425 study data. [I] (ICH E6(R2) Sections 2.10 and 4.9) There may be legitimate differences 426 in data sources across sites; for example, where a parameter is collected as part of 427 routine care at some sites but not at others, the sites documenting the parameter 428 during routine care may use the medical record as the source whereas sites that do 429 not document the parameter as part of routine care may use the CRF or a site 430 worksheet as the source. Procedures should account for site‐specific documentation 431 of data sources where facility‐to‐facility variability is expected. [VI] 432 

General conventions for form completion 433 The CCGs should include general guidelines as to the expected turnaround time for 434 CRF completion, e.g., general timeline expectations as well as expectations for 435 contemporaneous data recording (ICH E6(R2) 4.9.0) [I] as well as detailed 436 descriptions of the expected data formats. This would include items such as the 437 proper date format to be expected (e.g., DD‐MMM‐YYYY) or indicating how to 438 document partial dates, if acceptable. Structure for responses such as formatted 439 dates and a blank for each character of a continuous measure with the decimal 440 places are important form completion instructions. (Bellary 2014) [VII] As external 441 representations of the expected format of the response, they guide the form 442 completer. 443 Clarifying rounding rules and abbreviations and how to properly document visits or 444 assessments that were not performed should be clearly detailed. The CCGs should 445 

  1 

provide field definitions in cases where the field needs more guidance to reduce 446 ambiguity. (Bellary 2014) [VII] Screen shots of the CRF can be added where needed 447 to clarify instructions. 448 Instructions should also be used to call out linked data; for example, where an 449 adverse event indicates a drug was given, prompting the form completer to enter 450 the drug on the concomitant medication page. (Bellary 2014) [VII] Electronic CRFs 451 can go further and enforce such instruction by requiring presence of the linked data. 452 Please see the EDC chapters for more information, including recommendations, 453 minimum standards, and best practices.   454 For paper studies, it is important to outline how to complete the forms ensuring 455 legible entry utilizing indelible ink. How to properly document any required updates 456 by ensuring the original text is still visible, including adding the initials and date of 457 the person completing the update, should be clearly detailed in CCGs. (ICH GCP 458 E6(R2) 4.9.3) [I] (Bellary 2014) [VII] Clarification on how the paper CRFs are to be 459 delivered to Data Management may also be outlined here. 460 CCGs written for site investigators and research staff differ from those needed by 461 patients. Where forms designed for one type of form completer will be utilized with 462 a different type of form completer, the language and type of instructions provided in 463 the CCGs should be re‐evaluated. (Boiko 1997) [III] 464 

Accommodating linguistic and cultural differences within the CCGs  465 For international studies or studies where participants from different cultures or 466 who speak different languages are expected, the CCGs may need to provide support 467 to sites in accounting for those differences. (Backhouse 2000) [V] For example, 468 where lay health workers are involved in the study, CCGs may need to be translated 469 to local language. Language differences aside, how local differences in data are to be 470 handled, for example by converting units or obtaining source documents from 471 different places, may need to be accounted for in the CCGs. 472 

Description of form structure and workflow 473 For EDC studies, a section of CCGs should be devoted to clarifying the field/eCRF 474 dynamics that have been included in the study design. For example, specifying which 475 eCRFs are present once a subject is created in EDC and what entry is required in 476 order for additional forms or visit folders to populate. This will help ensure that site 477 personnel understand how to complete all of the expected entry. Outlining which 478 eCRFs are required based on a subject status should also be included in this section. 479 For example, the complete casebook may be expected for a subject who completed 480 the study per protocol; however’ only a selected amount of screening eCRFs may be 481 required for collection on a subject who is a screen failure. 482 

Where to locate information in the Medical Record 483 Where the medical record is the source of the information, the process of reviewing 484 the medical record and identifying the needed data is called Medical Record 485 Abstraction (MRA) or chart review. Form completion instructions should specify 486 where in the chart data needed for the CRF is to be found. (Zozus 2015) [III] Special 487 consideration should be given to the impact of time. (Feinstein 1969) [V] Similarly, 488 special consideration may need to be given to the location in the record from which 489 the information is to be extracted. Examples of such considerations include 490 specification between a five versus ten minute APGAR score; between ejection 491 fraction from a Trans‐esophageal versus a trans‐thoracic echo; between a 492 

  1 

medication order, a medication administration record, and medication reconciliation 493 data; between a problem list diagnosis and information in a pathology report, a 494 machine versus physician interpretation of an ECG, obtaining diagnostic test results 495 from a test report versus from a discharge summary, etc. Form completion 496 instructions should also address common variability in clinical settings and resulting 497 imperfections in clinical data. (Feinstein a 1969, Feinstein b 1969) [V] For example, 498 what to do when data within the protocol‐specified time window or from a specific 499 location are not present but other data values are, or multiple data values are 500 present, and whether to seek clinical records from another facility. 501 Medical evidence was categorized by Feinstein et al. (1969) as a description, a 502 designation, or an interpretation. These are fundamentally different processes. 503 Rebound tenderness in the right lower quadrant, pain, fever, and elevated white 504 blood cell count are descriptions. (Feinstein 1969b) [V] These descriptive items are 505 directly perceived, measured, or asked of research subjects (Zozus 2017b) [VII] and 506 can be observed systematically and often objectively. Assigning the diagnosis of 507 appendicitis on the other hand is a designation, and infected vermiform appendix or 508 rupture is an interpretation (until observed directly such as on an image or during 509 surgery). Feinstein et al. point out that descriptions can be cited directly whereas 510 designations and interpretations are arbitrary and require criteria. (Feinstein 1969b) 511 [V] Such criteria should (1) be provided in CCGs and, while not often done in 512 practice, (2) be validated a priori to be reliable through measures such as inter‐rater 513 reliability or a Kappa statistic or be characterized in terms of sensitivity, specificity, 514 positive predictive value, and negative predictive value against a gold‐standard or, at 515 minimum, should be characterized with inter‐rater reliability during the study. (Zozus 516 2015) [III] Such criteria‐based and objective consistency is necessary in experimental 517 designs such as randomized clinical trials and guidance for developing them can be 518 found in (Feinstein et al. 1969b). [V] The issues of subjectivity and irreproducibility in 519 designation and interpretation are the rationale behind the recommendation to (1) 520 collect “raw” or “primary”, i.e., original descriptive data and to (2) process the data 521 in subsequent steps. Types of challenges using medical records as source (Feinstein 522 et al. 1969b) include the following: 523 

Missing or otherwise imprecise data in descriptive information occurs when the 524 medical record does not contain documentation of the desired observations or 525 test results. In this case, the CCGs can only document applicable “null flavors” 526 and when to use each. (See the instructions for handling missing data section 527 below.) A special case occurs when data expected given a particular medical 528 condition is missing, for example, a white blood cell count in a patient with a 529 fever of unknown origin. Because the lab value is routinely charted in this case, 530 some tend toward considering its absence as a likely indication that it was not 531 done while others tend toward unknown. While the choice between these two 532 labels for missing data does not matter clinically, to assure consistency and 533 prevent later work in the Source Data Verification or data cleaning processes, 534 CCGs should indicate which to choose.[VI] 535 

Uncertain information occurs when the medical record contains vague language 536 or vague notation of clinical information. Such language is often a reflection of 537 the uncertainty present in clinical situations and medical decision‐making. 538 Examples include measured values stated as a range or limit such as “blood 539 glucose > 300 mmol/L” in a case where multiple measures were taken, variability 540 was noted but it was clear that the observed values were in the high and range. 541 

  1 

CCGs should indicate how uncertain quantitative information should be recorded 542 and how multiple measures should be handled in the case where more than one 543 value would meet the criteria for the singular field on the form.;  Clear 544 instruction on which value should be chosen such as “the peak (or trough or 545 average) value within the period” or “the first (or last or middle) value of the 546 period.” A similar situation surrounds designations of symptoms and diagnoses. 547 For example, a CRF may require a yes/no response for “Positive fecal occult 548 blood” but the medical record states, “dark tarry stool” or “scant bright red 549 blood reported with last bowel movement”, or a patient may report feeling “hot” 550 for the past two nights and “sweating” but did not measure a temperature yet 551 the CRF requires yes/no indication of fever within two days of admission. Such 552 cases also occur in clinical diagnosis where early in the diagnostic process for 553 example, the record may state a Bipolar diagnosis and state possible psychosis, 554 an emergency department work up for chest pain might be documented as 555 possible myocardial infarction in which case later confirmation (or not) would be 556 expected elsewhere in the chart. Such variability and uncertainty can be 557 expected in clinical documentation in many therapeutic areas. The data 558 management goals here are two‐fold: (1) accurately reflecting the uncertainty 559 and (2) consistency in how the uncertainty is reflected in the CRF. CCGs should 560 indicate how such foreseeable uncertainty should be recordable on the CRF 561 because it is reflective of reality. [VI] Uncertainty in attribution of a symptom to a 562 disease, identifying the initial clinical manifestation, and identifying a 563 precipitating event are common and instruction is required to achieve 564 consistency in the abstraction process. (Feinstein 1969b) [V] 565 

Inconsistent information occurs in the medical record when two reports from the 566 same or different reporters, measurements, places in the record fail to agree. 567 Given the extent to which data are pulled forward from one assessment to 568 another, summarized, re‐reported, measured by a different method, or 569 documented by a second observer, we should expect medical records to contain 570 many inconsistencies. CCGs should anticipate important data for which such 571 inconsistencies may occur and provide instruction as to which value to 572 choose.[VI] 573 

Errors also occur in the medical record. Given common practices indicated 574 above, some data values in the medical record such as information in discharge 575 summaries and clinical notes will have undergone several transformation steps. 576 (Hirschtick 2006, Spilker 1991, Burnum 1989) Some of the inconsistencies may be 577 errors, and error can exist without being inconsistent with other information in 578 the record. CCGs should anticipate important data for which such errors may 579 occur and provide instruction as to which value to choose. [VI] 580 

In all of these cases, study leadership can set any categorization, convention or 581 decision rule to be followed in abstracting data. Such categorization schemes, 582 conventions, and decision rules are arbitrary and chosen based on the type of data, 583 and the purpose of the study. As long as these are set a priori, scientifically valid, 584 bias free, logically consistent, reasonable to implement, reproducible, clearly stated 585 in the CCGs, and are applied diligently, they will increase consistency of the 586 abstraction and provide traceability. (Feinstein 1969b) [V] At the same time, caution 587 is wise; such rules to assure consistent abstraction will never account for all possible 588 cases and as such constrain an abstractor’s freedom to choose the most clinically 589 relevant value. Because these categorization schemes, conventions and decision 590 

  1 

rules represent data transformations and as such explain why one value was chosen 591 over another their documentation is required for traceability and they will be 592 consulted during audits and inspections.  593 The examples in this section emphasize the need for practicing clinicians to be 594 involved in development of CRF completion instructions, for data managers to be 595 familiar with the clinical documentation practices in a therapeutic area, and for study 596 staff at multiple centers to test forms and completion instructions. [VI]  597 

Where to locate other data 598 Include clear and precise instructions on where external data such as bottle 599 numbers, kit numbers, or accession numbers are to be located. A description of the 600 number should be included; for example,” the 10‐digit kit number is located in the 601 upper right‐hand corner of the kit.” Include a visual example so that the information 602 can be unambiguously identified. 603 

Field specific instructions for form completion 604 For each CRF field, a field definition (operational definition) should be provided 605 where needed to reduce ambiguity. (Bellary 2014) [VII] Medical record abstraction 606 instructions, inclusive of where to find data values in the medical record and which 607 values to use when multiple results are recorded, should be provided for data 608 expected to come from the medical record. (Zozus 2015) [III] Definitions for discrete 609 response options should be included where needed for consistency. [VI] Terms such 610 as ‘‘low‐grade”, ‘‘mild”, ‘‘moderate”, ‘‘high”, ‘‘severe”, or ‘‘significant” are prone to 611 wide interpretation. Where subjective classification cannot be avoided, each 612 category should be clearly defined with definitions available during form completion. 613 (Jones 2016) [V] Such classification should be validated or characterized by 614 calculation of inter‐rater reliability with the instructions tested used in the form 615 completion instructions. (Jones 2016) [V] 616 

Including directions on the CRF 617 All of the information needed to understand the question should be on the form 618 including basis of comparison, e.g., “over the last 24 hours”, “since the last visit”, 619 assessment, time points and units of measure, precision and number of significant 620 figures, measurement method (Spilker 1991) [V] 621 For emergency medicine and inpatient studies, careful definition and instruction 622 must be given regarding important study patient milestones. Designation of the 623 timing of an index event such as occurrence of cancer, myocardial infarction, stroke, 624 bleeding, or a psychotic episode may seem simple, but there are multiple choices 625 such as symptom onset, first treatment, or hospitalization. However, these may be 626 nuanced in clinical settings; for example, is new onset ischemia or myocardial 627 infarction within 24 hours of a coronary intervention a new event or a complication 628 of treating the initial event? (Feinstein 1969) [V] 629 

Instructions for handling missing data  630 There are multiple reasons why a datum might be missing. Because one of these 631 reasons is oversight, and because data are usually important to be collected, 632 instances of missing data are usually checked. CCGs should provide clear direction or 633 a mechanism to document the reason for a missing datum. (Spilker 1991, Bellary 634 2014) [V], [VII] The most complete categorization of reasons for missing datum is in 635 the ISO 21090 standard. The standard calls reasons for missing “null flavors” and 636 

  1 

defines a null flavor as an ancillary piece of data providing additional (often 637 explanatory) information when the primary piece of data to which it is related is 638 missing. The ISO 21090 list of null flavors includes familiar values like Unknown, 639 Other, Asked but unknown, Masked, and Not Applicable among its fourteen terms. 640 (ISO 2011) Null flavors for all required data should be enumerated and defined in 641 CCGs. [VI] Some EDC systems may provide special functionality for associating a 642 missing value with a reason why it is missing. 643 CCGs should include or reference the time and events table and clearly specify the 644 minimum data required for screen failures, early terminators and lost to follow‐up 645 patients. Any additional special data collection rules for these and similar situations 646 should also be provided. Some EDC systems may provide special functionality for 647 controlling the visibility of pages once a subject is indicated as an early‐terminator 648 missing. 649 CCGs should include instructions on how to mark empty pages and any scenarios 650 that require different handling of empty pages. For paper studies, the CCGs should 651 further specify disposition of empty pages such as sending them to the data center 652 with the headers completed and otherwise marked empty or leaving them in subject 653 binders to be retrieved and reconciled at close‐out. Some EDC systems may provide 654 special functionality for associating a missing page with a reason why it is missing or 655 for marking a missing page. 656 

Forms and fields requiring monitoring 657 For EDC studies, some organizations find it helpful to include instructions on steps 658 required for the monitor to take in order to indicate that source data verification has 659 been completed. Likewise, details for adding, canceling, answering, and closing 660 queries are helpful if the role that is expected to perform monitoring has these rights 661 within the system. While the former is merely informative to sites regarding how 662 monitoring will occur and be documented, the latter includes steps that site 663 personnel are required to take and should be available to sites in CCGs or other 664 documentation. [VI] 665 

Calling special forms to attention, e.g., patient completed questionnaires 666 Although site personnel are not usually responsible for transcribing or entering data 667 from a patient completed questionnaire, instructions for such may be included in 668 CCGs. [VI] When transcribing, entering or managing patient‐reported data, changes 669 should not be made unless agreed procedures and conventions exist and are 670 exhaustively documented. (ICH E6(R2) 2018) [I] Additional directions to sites may 671 include details of instructions to be provided to subjects before completing the 672 questionnaire or procedures for reviewing the responses for completeness prior to 673 the subject leaving the site. [VI] Please see the Patient Reported Outcomes (PRO) 674 chapter for more information including recommendations, minimum standards, and 675 best practices. 676 

Calling to attention data collected by external devices 677 For EDC studies, if data are integrated from external sources it may be helpful to 678 communicate the expected frequency of the data integration. Clarifying the data 679 points that will not be enterable by site personnel and providing details as to when 680 such data will be available through the EDC system and how to report or respond to 681 reported discrepancies in external data should be included within this section of the 682 guidelines. [VI] Please see the EDC and Integration of External Data chapters for 683 

  1 

more information, including recommendations, minimum standards, and best 684 practices. 685 

Forms requiring Investigator signature 686 Forms requiring Investigator signature should be specified in the CCGs. [VI] Although 687 not all CRFs may require signature, the details provided to the investigators should 688 remind them that they are ultimately responsible for all data submitted within the 689 subjects’ casebooks. [VI] 690 For EDC studies, instructions on steps required for investigators to apply their 691 electronic signatures should also be provided.[VI] Details for removing a signature or 692 how data modifications may necessitate re‐signing are also helpful tips to consider 693 including. (Bellary 2014) [VII] 694 

Contact information 695 A contact for questions and clarifications should be identified within the CCGs. [VI] 696 

6) Recommended Standard Operating Procedures 697 

ICH E6 states that, “During protocol development the Sponsor should identify processes and 698 data that are critical to ensure human subject protection and the reliability of trial results.” 699 (ICH E6(R2) Section 5.0.1) This implies that organizations should map out the processes 700 involved in study design, start‐up, conduct, and closeout and make explicit decisions about 701 which are considered to impact human subject protection and the reliability of trial results. 702 Organizational processes may be partitioned differently leading to different scope and titles 703 for SOPs. We provide the following as a list of processes commonly considered to impact 704 human subject protection and the reliability of trial results. Organizations may differ as to 705 how these processes are covered in SOPs. 706 

Creation, approval and change control of CCGs [I] 707 

Training investigators, site staff and monitors on CCGs [I] 708 

7) Literature Review details and References 709 

This revision is based on a systematic review of the peer‐reviewed literature indexed for 710 retrieval. The goals of literature review were to (1) identify published research results and 711 reports of evaluation of new methods regarding CRF Completion Guidelines and (2) identify, 712 evaluate, and summarize evidence capable of informing the practice of CCG creation, 713 maintenance, and implementation.  714 

The following PubMed query was used: 715 (“form completion” OR “CRF completion” OR “CRF guidelines” OR “data collection 716 guidelines” OR “medical record abstraction form” OR “chart review form” OR “chart review 717 form”) 718 

The search query was customized for and executed on the following databases: PubMed (78 719 results), CINAHL (1 results), EMBASE (156 results), Science Citation Index/Web of Science (3 720 results), PsychSOURCE (0 result), Association for Computing Machinery (ACM) Guide to the 721 Computing Literature (not searched due to lack of dependence on CCGs on computers), the 722 Institute of Electrical and Electronics Engineers (IEEE) (0 results). A total of 238 works were 723 identified through the searches. The searches were conducted in February. Search results 724 were consolidated to obtain a list of 208 distinct articles. Because this was the first review 725 

  1 

for this chapter, the searches were not restricted to any time range. Literature review and 726 screening details are included in the PRISMA diagram for the chapter, which follows the 727 references. 728 Two reviewers used inclusion criteria to screen all abstracts. Disagreements were 729 adjudicated by the writing group. Twenty articles meeting inclusion criteria were selected 730 for review. Two individuals reviewed each of the twenty selected articles and the eight 731 additional sources identified through the review. Each was read for mention of explicit 732 practice recommendations or research results informing practice. Relevant findings have 733 been included in the chapter and graded according to the GCDMP evidence grading criteria 734 in the table following the PRISMA Diagram. This synthesis of the literature relevant to CRF 735 Completion Guidelines supports transition of this chapter to an evidence‐based guideline. 736  737 

Regulations, Guidance, and Standards 738 

1. U.S. Department of Health and Human Services Food and Drug Administration 739 Center for Drug Evaluation and Research (CDER) Center for Biologics Evaluation and 740 Research (CBER), E6(R2) Good Clinical Practice: Integrated Addendum to ICH E6(R2) 741 Guidance for Industry, March 2018. Available from 742 https://www.fda.gov/downloads/Drugs/Guidances/UCM464506.pdf 743 

2. Medicines & Healthcare products Regulatory Agency (MHRA), ‘GXP’ Data Integrity 744 Guidance and Definitions. Revision 1: March 2018. Accessed June 2, 2018, available 745 from 746 https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attac747 hment_data/file/687246/MHRA_GxP_data_integrity_guide_March_edited_Final.pdf 748 

3. Investigational New Drug Application, Title 21 CFR § 312.62(c) (1987). 749 4. Investigational Device Exemptions, Title 21 CFR § 812.140(d) (2018). 750 5. U.S. Department of Health and Human Services Food and Drug Administration, 751 

Guidance for industry electronic source data in clinical investigations. September 752 2013. Accessed August 8, 2018. Available from 753 https://www.fda.gov/downloads/Drugs/GuidanceComplianceRegulatoryInformation754 /Guidances/UCM328691.pdf 755 

6. U.S. Department of Health and Human Services Food and Drug Administration, Use 756 of electronic health record data in clinical investigations guidance for industry. July 757 2018. Accessed August 8, 2018. Available from 758 https://www.fda.gov/downloads/Drugs/GuidanceComplianceRegulatoryInformation759 /Guidances/UCM501068.pdf 760 

7. The Joint Commission (TJC), Specifications Manual for Joint Commission National 761 Quality Measures (v2017B2). 2017, available from 762 https://manual.jointcommission.org/releases/TJC2017B2/. Accessed June 16, 2018. 763 

8. International Organization for Standardization (ISO) ISO/DIS 21090, Health 764 Informatics — Harmonized data types for information interchange. 2011. 765 

 766 

Referenced in Text 767 

1. Spilker B, Guide to Clinical Trials. Raven Press, New York, 1991. Chapter 36. 768 2. Zozus MN, Chapter 5, Fundamental Dynamic Aspects of Data in The Data Book: 769 

Collection and Management of Research Data. Taylor & Francis/CRC Press, Boca 770 Raton, FL 2017a. 771 

  1 

3. Bellary S, Krishnankutty B, Latha MS, Basics of case report form designing in clinical 772 research. Perspect Clin Res. 2014 Oct‐Dec; 5(4): 159–166. 773 

4. Jones CE, Munoz FM, Spiegel HM, Heininger U, Zuber PL, Edwards KM, Lambach P, 774 Neels P, Kohl KS, Gidudu J, Hirschfeld S, Oleske JM, Khuri‐Bulos N, Bauwens J, Eckert 775 LO, Kochhar S, Bonhoeffer J, Heath PT; Brighton Collaboration Immunization in 776 Pregnancy Working Group. Guideline for collection, analysis and presentation of 777 safety data in clinical trials of vaccines in pregnant women. Vaccine, 2016 Dec 778 1;34(49):5998‐6006. doi: 10.1016/j.vaccine.2016.07.032. Epub 2016 Jul 29. 779 

5. Zozus MN, Pieper C, Johnson CM, Johnson TR, Franklin A, Smith J, Zhang J., Factors 780 Affecting Accuracy of Data Abstracted from Medical Records. PLoS One. 2015 Oct 781 20;10(10):e0138649. 782 

6. Boiko A., Part IV: Data collection guidelines for questionnaires to be used in case‐783 control studies of multiple sclerosis. Neurology 1997 49:2 Suppl 2 (S75‐80) 784 

7. Backhouse M.E., Gnanasakthy A., Schulman K.A., Akehurst R., Glick H., The 785 development of standard economic datasets for use in the economic evaluation of 786 medicines Drug Information Journal 2000 34:4 (1273‐1291) 787 

8. Nahm, M.  Knowledge acquisition from and semantic variability in schizophrenia 788 clinical trial data.  Proceedings of the International Conference on Information 789 Quality (ICIQ) November 2012. Available from http://mitiq.mit.edu/ICIQ/2012 790 

9. Kennedy D and Hutchinson D, CRF Design a Practical Guide to Case Report Form 791 Design and Production. 2002, Carary Ltd. Surrey UK. 792 

10. Zhang, Jiajie and Donald A. Norman. “Representations in Distributed Cognitive 793 Tasks.” Cognitive Science 18 (1994): 87‐122. 794 

11. Miller, G. A. (1956). "The magical number seven, plus or minus two: Some limits on 795 our capacity for processing information". Psychological Review. 63 (2): 81–97. 796 

12. Feinstein AR, Pritchett RRL, Schimpff CR, The epidemiology of cancer therapy IV the 797 extraction of data from medical records. Arch Intern Med Vol. 123, May 1969. 798 

13. Feinstein AR, Pritchett RRL, Schimpff CR, The epidemiology of cancer therapy III the 799 management of imperfect data. Arch Intern Med Vol. 123, May 1969. 800 

14. Zozus MN, Chapter 2, Defining Data and Information in The Data Book: Collection 801 and Management of Research Data. Taylor & Francis/CRC Press, Boca Raton, FL 802 2017b.  803 

15. Hirschtick RE. A piece of my mind. JAMA 2006;20:2335– 60. 804 16. Burnum JF., The misinformation era: the fall of the medical record. Ann Intern Med. 805 

1989 Mar 15;110(6):482‐4. 806  807 

For Further Reading  808 

1. Spilker B and Schoenfelder J., Data Collection Forms in Clinical Trials. Raven Press, 809 New York, 1991. Chapters 1 – 3. 810 

2. Lin, 2015. A multi‐technique approach to bridge electronic case report form design 811 and data standard adoption. J. of Biomedical Informatics 53, C (February 2015), 49‐812 57. DOI: http://dx.doi.org/10.1016/j.jbi.2014.08.013 813 

3. Hallum‐Montes R.M., Opdyke K.M., Ruggeri C., Aliaga M., Bal D., Hurlbert M., Gates‐814 Ferris K. “Implementation of electronic client‐level data collection via tablet 815 technology among organizations supported by the Avon breast health outreach 816 program.” Thirty‐Sixth Annual CTRC‐AACR San Antonio Breast Cancer Symposium, 817 vol. 73, no. 24, 2013.  818 

  1 

4. Constable et al.: Developing effective and efficient study specific training to enable 819 rapid study start up. Trials 2013 14(Suppl 1):P129. 820 

5. Martins W.A., Felipe A.R., Nogueira P.M.M., Mattos M.A.D., Assad M., Toscano M.L., 821 Fonseca L.H.D.O., Barros C.N.D., Campos L.A.D.A., What interferes with the 822 completion of the simplified acute physiology score form? Gomes R.V., Intensive 823 Care Medicine 2013 39 SUPPL. 2 (S524) 824 

6. Bengelink E., Bonham T., Connor C., Deyampert A., Dillon C.R., Durkalski V., 825 Frederiksen S., Harney D., Harsh D., Mawocha S., Pauls K., Pinkerton J., 826 Ramakrishnan A., Stevenson V., Zhao W., Silbergleit R., Correlation of a form‐based 827 versus item‐based metric of data accuracy in case report form completion in a 828 clinical trial network Clinical Trials 2013 10 SUPPL. 2 (S33) 829 

7. Gareen I., Duan F., Snyder B., Sicks J. Response rate and time to response for patient 830 reported outcomes collected using a centralized system in two american college of 831 radiology imaging network cancer screening trials. American Journal of Epidemiology 832 2013 177 SUPPL. 11 (S103) 833 

8. Gupta N., Anthony F., Kiley M.‐L., Phan K., Young C., Permanente K. Potential pitfall 834 of using national databases to monitor non‐evidence‐based treatment. Journal of 835 the American College of Cardiology 2013 61:10 SUPPL. 1 (E389) 836 

9. Berkhout C., Vandaele‐Bétancourt M., Robert S., Lespinasse S., Mitha G., Bradier Q., 837 Vambergue A., Fontaine P. Enhancing field GP engagement in hospital‐based studies. 838 Rationale, design, main results and participation in the Diagest 3‐GP motivation 839 study. BMC family practice 2012 13 (63) 840 

10. Hallum‐Montes R., Senter L., D'Souza R., Hurlbert M., Gates‐Ferris K., Anastario M. 841 Comparing data quality of client intake forms by interview mode: Results of a pilot 842 study on the use of audio computer‐assisted self‐interview (ACASI) in the Avon 843 Breast Health Outreach Program. Cancer Research 2012 72:24 SUPPL. 3 844 

11.  Korol E.E., Kayaniyil S., Osenenko K.M. Designing medical record abstraction forms 845 for retrospective chart review studies: Considerations and recommendations. 846 Pharmacoepidemiology and Drug Safety 2016 25 Supplement 3 (166‐167) 847 

12. Key factors in design of case report form Fu H.‐J., Luo X.‐X. Yaoxue Xuebao 2015 848 50:11 (1452‐1455) 849 

13. The practical challenges of ensuring high quality data for a large multinational stroke 850 rehabilitation trial (AVERT) Collier J. International Journal of Stroke 2010 5 SUPPL. 1 851 (4) 852 

   853 

  1 

 854 PRISMA Diagram for CRF Completion Guideline Chapter 

 855 

 856 

Evidence Level 

Criteria 

I  Large controlled experiments, meta, or pooled analysis of controlled experiments, regulation or regulatory guidance 

II  Small controlled experiments with unclear results 

III  Reviews or synthesis of the empirical literature 

IV  Observational studies with a comparison group 

V  Observational studies including demonstration projects and case studies with no control 

VI  Consensus of the writing group including GCDMP Executive Committee and public comment process 

VII  Opinion papers 

 857 

Records identified through database searching

(n = 198) Screening

Included

Eligibility

Identification

Additional records identified through other sources

(n = 10)

Records after duplicates removed (n = 208)

Records screened (n = 208)

Records excluded (n = 182)

Full‐text articles assessed for eligibility

(n =26)

Full‐text articles excluded, with reasons

(n =14)

Studies included in recommendation synthesis

(n =12)

Studies included in quantitative synthesis

(meta‐analysis) (n =0)

  1 

Appendix: Example CRF Completion Guidelines  858 

These example guidelines are reprinted verbatim with permission.* Though they were 859 intended for use with paper CRFs, we included them here as an example of some of the 860 types of things covered in CCGs and how they are presented. As with all appendices, this 861 information is provided as an example only and with no guarantee of completeness, 862 accuracy, or compliance. 863 

General Instructions 864 

These forms are printed on 3‐part NCR paper. Please ensure that the 865 guardboard/wrap‐around cover is inserted between each page before writing. 866 

Press firmly when writing. 867 

Complete the CRF using a black ballpoint pen. Other colours [pen tips] may not 868 show on all copies. 869 

Ensure that all entries are printed and legible. 870 

Ensure that the header information (i.e. centre no., subject’s initials and subject’s ID) 871 is completed consistently throughout the CRF. If a subject prematurely discontinues 872 from the trial, the header information and CRF pages must be completed and a 873 single line drawn across each page.  874 

Ensure that all fields are completed on each page or an explanation for missing data 875 is recorded on the Comments page. 876 

Notes: 877 o If a test was not done, record ‘ND’ in he relevant box(es). Where information is 878 

not known, record ‘NK’ in the relevant box(es). The reason for incomplete data 879 should be recorded on the Comments page for the visit. 880 

o The Principal Investigator must sign and date the Study Completion page to 881 certify the accuracy, completeness and legibility of the data reported to the 882 Sponsor company in the CRF. 883 

Centre Number 884 

The sponsor company will have allocated the centre number to you. Ensure that the 885 number is recorded on each CRF page. 886 

Subject’s Initials 887 

Ensure the subject’s initials are recorded (first, middle and last name). If the subject 888 only has two initials, these should be recorded with a dash (e.g. D‐K). Ensure that the 889 initials remain consistent throughout the CRF. 890 

Subject Identification Number 891 

Ensure that the subject’s ID is recorded and remains consistent throughout the CRF. 892 

Date Fields 893 

All dates must be completed as day, month and year. The month should be 894 completed with the first three characters of the month (e.g. 13/NOV/2001). 895 

Partial dates should be recorded as, for example, NK/NOV/2001. 896 

 * Kennedy D and Hutchinson D, CRF Design a Practical Guide to Case Report Form Design and Production. 2002, Carary 

Ltd. Surrey UK, pgs 95‐112. 

  1 

Correction of Mistakes 897 

Any changes or correction to the CRF should be dated, initialed and explained (if 898 necessary). 899 

The original entry should be crossed out with a single line and must not be obscured. 900 

The data correction should be legible and made as near to the original entry as 901 possible. 902 

The use of correction fluid is not permitted. 903 

Early Discontinuation from the Trial 904 

If the subject discontinues early from the trial, ensure that the Study Completion 905 pages are completed. 906 

If a subject discontinues early, ensure that the Header information for all the 907 remaining pages is completed and a single line is drawn through each page. 908 

Note: These pages are to be returned to the sponsor company with the rest of the CRF. 909 

DEMOGRAPHICS 910 

Informed Consent 911 

Please record the date on which informed consent was obtained. 912 

Informed consent must be obtained from the subject or their legally acceptable 913 representative prior to enrollment in the trial. 914 

Sex 915 

Indicate the subject’s sex by entering the appropriate code. 916 

Date of Birth 917 

Enter the subject’s date of birth. 918 

Ensure that the subject is between 18 and XX years of age. 919 

Race 920 

Indicate the subject’s race by entering the appropriate code. 921 

If a subject cannot be classified, enter the details as ‘Other” and specify. 922  923 

RELEVANT MEDICAL HISTORY / CURRENT MEDICAL CONDITIONS 924 

History/Condition 925 

If there have been no conditions, enter ‘NONE’ in the History/Condition field. 926 

Enter each medical condition on a separate line. 927 

Enter only relevant past/current medical conditions and those for which the subject 928 is taking medication. 929 

Enter details of both the underlying condition and the surgery/procedure that may 930 have resulted. 931 

Date of Diagnosis/Surgery 932 

Enter the date on which the condition was first diagnosed, and the date of the 933 surgical procedure or the date of onset of the medical condition. 934 

Ongoing? 935 

For each history/condition, the investigator must specify whether the condition is an 936 active problem at the start of treatment. 937 

  1 

A surgical procedure would not consider to be active. 938 

If treatment is being taken for a condition, the condition is still ‘active’. 939 Note: If treatment is currently being taken for any of the conditions this must be 940 recorded on the Medications and Therapies page.  941 

 942 

SUBSTANCES 943 

Alcohol Consumption 944 

Indicate if the subject has a history of alcohol abuse by entering the appropriate 945 code. 946 

Indicate the subject’s alcohol intake per day by entering the appropriate code. For 947 example: 1 unit = 45 ml/1.5 fl oz distilled spirits, 948 

150 ml/5 fl oz wine,  949 360 ml/12 fl oz beer 950 

Smoking Habits 951 

Indicate the subject’s smoking status by entering the appropriate code. 952 

If the subject is currently smoking, please record details for all categories that apply 953 (cigarettes, cigars, pipe and other), the average number smoked per day (in whole 954 numbers) and the duration of smoking (in years). 955 

Substance Abuse 956 

Indicate if there is any evidence to suggest chemical substance abuse by entering the 957 appropriate code. 958 

If the response is Yes, please provide details. 959  960 

RISK OF PREGNANCY 961 

Note: All female subjects of childbearing potential should have a pregnancy test performed 962 at the screening visit. 963 

Childbearing Potential 964 

Indicate the subject’s childbearing potential. 965 

If subject = Male, ‘0’ should be entered. 966 

If female, indicate the appropriate status at the time of completion, by entering the 967 appropriate code. 968 

If the subject is pregnant, they should be immediately withdrawn from the trial and 969 the End of Study page completed. 970 

Method of Contraception 971 

Indicate the appropriate method of contraception at the time of completion, by 972 entering the appropriate code. 973 

If option 88 is used, please specify in the field provided. 974 

Pregnancy Test 975 

Record the date on which the test was performed and the result. 976  977 

  1 

VITAL SIGNS 978 

Systolic and Diastolic Blood Pressure 979 

Blood pressure should be taken in the sitting position after a resting period of XX 980 minutes. 981 

Record the blood pressure in mmHg. 982 

Ensure that the systolic blood pressure is within the specified range, e.g. 90‐180 983 mmHg. 984 

Whenever possible, the same cuff size should be used. 985 

Heart Rate 986 

Record the heart rate in beats per minute (bpm). 987 

Ensure that the heart rate is within the specified range, e.g., 40‐130 bpm. 988 

Respiratory Rate 989 

Record the respiratory rate as the number of respirations per minute (rpm). 990 

Ensure that the respiratory rate is within the specified range, e.g., 14‐25 rpm. 991 

Body Temperature 992 

Record the body temperature in oC. 993 

Ensure that the body temperature is within the specified range, e.g. 35.6‐37.5 oC. 994 

Height 995 

Enter the height in centimeters (to one decimal place). 996 

Weight 997 

Enter the weight in kilograms (to one decimal place). 998 

Ensure that the weight is within the acceptable range, e.g. X‐Y kg. 999 

If the defined parameters fall outside the limits, please provide an explanatory 1000 comment on the Comments page. 1001 

Physical Examination 1002 

Please indicate if a physical examination was performed, by entering the appropriate 1003 code. 1004 

Record any abnormalities where detected, by entering the appropriate code. 1005 

If abnormalities were detected, please record the findings on the Medical History 1006 page for screening/pre‐drug conditions, or Adverse Events page for new or 1007 worsening conditions. 1008 

COMMENTS 1009 

Please record any additional information relevant to the trial from particular CRF 1010 pages. 1011 

CRF Page No. 1012 

Enter the page number(s) of the CRF page(s) being referenced. 1013 

STUDY COMPLETION 1014 

Last Known Date of Treatment 1015 

Enter the date of the last known day on which treatment was taken. 1016 

  1 

Did the Subject Complete the Entire Study? 1017 

Indicate if the subject completed the study, by entering the appropriate code. 1018 

If the subject did not complete the study, enter the code that best reflects the 1019 primary reason for discontinuation. 1020 

Date of Death 1021 

If the primary reason for premature discontinuation was death, please record the 1022 date of death and the principal cause. 1023 

Autopsy 1024 

If the primary reason for discontinuation was death, please record whether an 1025 autopsy was performed, by entering the appropriate code. 1026 

If an autopsy was performed, please record the date. 1027 

Comments 1028 

Provide all relevant information related to the reason for premature discontinuation 1029 and list and contributory factors.  1030 

Investigator Declaration 1031 

All date in the CRF should be verified and this page signed and dated by the Principal 1032 Investigator. 1033 

The investigator should sign this page only after all necessary corrections have been 1034 made. 1035 

MEDICINES AND THERAPIES 1036 

This page should be updated on a continual basis if there are any changes to current 1037 medications or if any new medications are started during the study. 1038 

Medication/Therapy 1039 

Use the generic name (not abbreviated) whenever possible. 1040 

If there is more than one formulation commercially available, record this along with 1041 the medication name. 1042 

For females of childbearing potential, record the oral contraceptive. 1043 

Dosage 1044 

Record the dosage taken, unit, route and frequency of the medication (e.g. 1 tablet, 1045 by mouth, twice daily). 1046 

Reason 1047 

Enter the reason for the medication/therapy being given (e.g. headache). 1048 

If a treatment is prescribed/taken for prophylactic reasons, the reason should be 1049 given as the medical condition plus the word prophylaxis. 1050 

Start Date/Stop Date 1051 

Record complete dates where possible. 1052 

Ensure that either the ‘continuing’ box is ticked or the ‘Stop date’ is completed. 1053 

ADVERSE EVENTS 1054 

A serious adverse event (SAE) is any event that 1055 

Is fatal or life‐threatening 1056 

Requires in‐patient or prolonged hospitalization 1057 

  1 

Causes permanent disability 1058 

Is a congenital anomaly/birth defect 1059 

Is of medical importance and may jeopardize the patient or require intervention 1060 The study monitor must be informed of all SAEs within 24 hours. Details must be recorded 1061 on an SAE form. 1062 

Adverse Event (AE) 1063 

Describe the adverse event (diagnosis if made or individual symptom); enter ne per 1064 line. 1065 

Do not combine symptoms (e.g. ‘nausea/vomiting’); these must be recorded as two 1066 separate events. 1067 

Severity 1068 

Enter the code that best indicates the severity of the adverse event. 1069 

Relationship 1070 

Enter the code that best reflects the relationship of the treatment to the adverse 1071 event. 1072 

Start Date 1073 

Enter the date on which the adverse event started. 1074 

If the event occurs prior to treatment, the details should be recorded on the Medical 1075 History page. 1076 

Stop Date 1077 

Enter the date on which the adverse event changed in severity, was interrupted or 1078 discontinued. If the adverse event is continuing at the end of the study, tick the ‘ ‘ if 1079 continuing’ box. 1080 

Action Taken 1081 

Please indicate the action taken, by entering the appropriate code. 1082 

INCLUSION CRITERIA 1083 

Answer all questions by entering the appropriate code. 1084 Note: If any of the questions are answered as No, the subject is not eligible to continue in 1085 the trial. If the subject is withdrawn from the trial, ensure the end of study pages are 1086 completed. 1087 

EXCLUSION CRITERIA 1088 

Answer all questions by entering the appropriate code. 1089 Note: If any of the questions are answered Yes, the subject is not eligible to continue in the 1090 trial. If the subject is withdrawn from the trial, ensure the End of Study pages are 1091 completed. 1092 

Fitness and Eligibility 1093 ‐ Please indicate if the subject is not eligible to continue in the trial, by entering the 1094 

appropriate code.  1095 Note: If the subject is not eligible to continue in the trial, ensure the End of Study pages are 1096 completed. 1097 

  1 

Laboratory Data 1098 

If laboratory results are reported as abnormal/out of range, please indicate if they 1099 are clinically significant by entering the appropriate code. 1100 

If results are clinically significant please comment on them. 1101 

Physical Examination 1102 

Please indicate the status of each system, by entering the appropriate code. 1103 

If abnormal is indicated, please describe the abnormality. 1104 

Record any findings that do not fit into the category provided as Other and describe 1105 the body system. 1106 

Fitness and Eligibility 1107 

Please indicate if the subject is still eligible and fit to continue in the trial, by entering 1108 the appropriate code.  1109 

Note: If the subject is not eligible to continue in the trial, ensure the End of Study pages are 1110 completed. 1111 

Randomisation 1112 

Please indicate if the subject will be randomized, by entering the appropriate code. 1113 

If the subject is randomized, please record the number that they have been 1114 allocated. 1115 

Blood Collection 1116 

Please record the visit date 1117 

Please record the time of the dose 1118 

Please record the actual time at which the samples were taken in 24‐hour clock 1119 format. 1120 

If a sample was not available, tick the ‘ ‘ box. 1121 

Please enter a comment if the actual time of blood drawn was delayed or a sample 1122 was not available. 1123 

Study Treatment Dispensing Record 1124 

Please record the date on which treatment was dispensed (this should coincide with 1125 the visit dates). 1126 

Record the number of tablets or treatment packs dispensed. 1127 

Enter the dose regimen. 1128 

Record the date returned. 1129 

Record the number of tablets or treatment packs returned at each visit. 1130 

Indicate if the dosing was as per the protocol, by entering the appropriate code. 1131 

If dosing was not as per protocol, please record the details on the Comments pages 1132 for the relevant visit. 1133 

Urinalysis 1134 

Please record the date urinalysis was performed. 1135 

Record the result of each test, by entering the appropriate code. 1136 

Indicate if the urinalysis result was clinically significant, by entering the appropriate 1137 code. 1138 

Indicate if microscopy was performed, by entering the appropriate code. 1139 

  1 

If microscopy was performed, please enter the results and comment. 1140