연구 데이터 관리와데이터 관리 계획서 (DMP)

2017.8.22 (화)

한국과학기술정보연구원

과학데이터연구센터

Dr. 김선태 stkim@kisti.re.kr

2017 한국정보관리학회 하계학술대회,‘17.8.22연세대학교 위당관 문과대학 100주년 기념홀

Part 04• 데이터 관리 계획서

목차

• 진정한 과학과 연구자 환경

• 연구환경과 데이터 인식변화

• 데이터와 데이터세트

• 메타데이터와 연구기록

• 연구 데이터

• 데이터 관리 계획서

데이터 관리 계획서Data Management Plan

DMP

DMP정의• A data management plan or DMP is a formal document that outlines how data are to be

handled both during a research project, and after the project is completed.

DMP 목적• 프로젝트가 시작되기 전에 데이터 관리, 메타데이터 생성, 데이터 보존, 데이터 분석과 같은

다양한 측면을 미리 고민하는데 있음• 현재와 미래에 데이터가 잘 관리되도록하며, 데이터 보존을 위한 준비가 가능

DMP 효과• 데이터 수집 전, DMP 준비 : 정확한 형식의 데이터 수집, 제대로된 데이터 관리, 충실한 데이

터 설명이 가능• 데이터의 재구성, 포맷변환, 그리고 데이터에 대한 상세내역을 기억하기 위한 노력이 불필요• 데이터 수집자 및 타 연구자들이 잘 설명된 데이터에 대해 이해할 수 있어 재사용 가능

출처: https://en.wikipedia.org/wiki/Data_management_plan

DMP란 무엇인가?

Data Collectionwhat & how

Documentation & Metadata

Ethics &Legal Compliance

Storage & Backup

Selection & Preservation

Data Sharing

Responsibilities &Resources

DMPonline 0.2.14 13in7

수집과 생산 대상 데이터

• What type, format and volume of data?• Do your chosen formats and software enable sharing and

long-term access to the data?• Are there any existing data that you can reuse?

유형(type) 형식(format)

크기(volume)

데이터의 장기적 접근

기존 데이터 재사용 여부

Outline and justify your choice of format e.g. SPSS, Open Document Format, tab-delimited format, MS Excel. Decisions may be based on staff expertise, a preference for open formats, the standards accepted by data centres or widespread usage within a given

community. Using standardised and interchangeable or open lossless data formats ensures the long-term usability of data. (출처: https://dmponline.dcc.ac.uk/plans/18778/phases/1/edit#question-form-9)

데이터 수집과 생산 방법

• What standards or methodologies will you use?• How will you structure and name your folders and files?• How will you handle versioning?• What quality assurance processes will you adopt?

커뮤니티 데이터 표준

폴더 구조 파일 명명법

버전 컨트롤 수집 일관성

품질제어 방법 문서화 하는 방법

데이터 문서와 메타데이터

• What information is needed for the data to be to be read and interpreted in the future?

• How will you capture / create this documentation and metadata?• What metadata standards will you use and why?

미래에 제3자의 데이터 이해 및 재사용

데이터 검색을 위한 기본항목(데이터 생산자, 데이터 공헌자, 데이터 이름, 데이터 생산일, 데이터 접근 조건 등)

선택사항 포함 (데이터 생산 방법, 분석 방법, 절차 정보, 변수정의, 용어집, 측정 단위, 가정(가설), 데이터 형식 및 유형)

가능한 커뮤니티 표준 사용

윤리적 이슈

• Have you gained consent for data preservation and sharing?• How will you protect the identity of participants if required? e.g.

via anonymisation• How will sensitive data be handled to ensure it is stored and

transferred securely?

피시험자가 포함된 연구의 경우, 데이터 보존과 공유를 위한동의 확보 여부필요한 경우, 개인정보 보호 방법 (익명처리 등)개인정보 취급 방법 (안전한 저장 및 전송 방법)

윤리적 이슈는 데이터 저장 방법, 데이터 접근 대상 및 이용방법, 데이터 보존 기간에 영향을 줌

윤리적 문제를 다룬다는 것은 데이터의 익명처리, 부서나 조직의 윤리위원회로 이첩, 공식적 동의확보 등을 포함

저작권 이슈

• Who owns the data?• How will the data be licensed for reuse?• Are there any restrictions on the reuse of third-party data?• Will data sharing be postponed / restricted e.g. to publish or seek

patents?

수집되거나 생산된 데이터와 관련하여 저작권과 지적재산권을누가 소유하는가? 데이터 (재)사용 권한은 누가 갖는가?

다자협력 프로젝트의 경우, 지적재산권 소유는 컨소시엄 협약에서 다루어져야 함

저작권과 지적재산권에 대한 다양한 이해그룹의 정책 참고 (연구비지원기관, 소속 기관, 부서, 그룹 정책)

제 3자 데이터 사용 허가권 및 데이터 공유와 관련된 제약조건고려 필요

데이터 저장과 백업

• Do you have sufficient storage or will you need to include charges for additional services?

• How will the data be backed up?• Who will be responsible for backup and recovery?• How will the data be recovered in the event of an incident?

백업 주기, 백업 위치, 복사본 수

노트북, 컴퓨터 하드디스크, 외장디바이스 저장 지양대학 IT팀이 제공하는 강력한 저장장치 지향수동에 의한 백업 지양, IT서비스로 제공되는 자동백업 지향

제 3서비스 백업서비스 사용시연구비지원기관, 소속기관, 부서 및 그룹 정책과의 충돌 검토(데이터가 보관 위치 혹은 민감데이터 보호 등)

데이터 접근제어 및 보안

• What are the risks to data security and how will these be managed?

• How will you control access to keep the data secure?• How will you ensure that collaborators can access your data

securely?• If creating or collecting data in the field how will you ensure its

safe transfer into your main secured systems?

데이터 보안 위협 요소데이터 보안 위협 요소 처리방안데이터 보안을 유지하기 위한 접근 제어 방법협력자들의 안전한 데이터 접근 방법야외에서 생산, 수집되는 데이터의 안전한 전송

민감정보가 포함된 데이터의 경우, 합리적인 보안 수단제시 필요. ISO 27001과 같은 공식적 표준 준수와 같은표기 필요

장기보존 데이터 선별

• What data must be retained/destroyed for contractual, legal, or regulatory purposes?

• How will you decide what other data to keep?• What are the foreseeable research uses for the data?• How long will the data be retained and preserved?

계약, 법률, 규제와 관련하여 보존/파기 되어야 하는 데이터유지 되어야하는 데이터 결정 방법미래에 데이터를 사용할 예측가능한 연구데이터 보유 및 보존 기간잠재적 재사용 가치 (potential reuse value)

연구 발견 검증 및 새로운 연구 수행 또는 교육을 위해서데이터가 어떻게 재사용될 수 있는지....

데이터 공유와 보존을 위해서 파일형식 변환과 같은 부수적인 노력이 요구될 수 있음을 기억해야 함

데이터 장기보존 계획

• Where e.g. in which repository or archive will the data be held?• What costs if any will your selected data repository or archive

charge?• Have you costed in time and effort to prepare the data for

sharing / preservation?

데이터 장기보존 계획리포지터리 혹은 아카이브데이터 보존 비용

프로젝트가 종료된 후 장기 보존이 필요한 데이터세트를 어떻게 보존할것인가? 데이터 공유 및 아카이빙을 위한 준비작업과 문서작업 계획.

확실히 자리잡은 리포지터리를 사용하지 않을 경우, 프로젝트가 종료되어도데이터가 효율적으로 관리되도록 하기 위한, 자원들과 시스템이 어떻게 구축되는지를 기술해야 함

데이터 공유 방법

• How will potential users find out about your data?• With whom will you share the data, and under what conditions?• Will you share data via a repository, handle requests directly or

use another mechanism?• When will you make the data available?• Will you pursue getting a persistent identifier for your data?

잠재적 이용자의 데이터 검색데이터 공유 대상과 공유 조건리포지터리를 통해 데이터를 공유할 것인가?데이터 사용 요구를 직접 처리할 것인가?데이터 사용을 언제 가능하다록 할 것인가?데이터 식별자를 사용할 것인가?

데이터 재사용시 인용방법

데이터 공유 관련 제약

• What action will you take to overcome or minimise restrictions?• For how long do you need exclusive use of the data and why?• Will a data sharing agreement (or equivalent) be required?

데이터 공유와 관련된 제약조건은 무엇인가?

제약조건을극복하고 최소화하기 위한 조치

데이터 배타적 사용권 기간과 이유데이터 공유 협약이 필요한가?

비공개 협약이 기밀데이터를 충분히 보호해주는지 검토필요

데이터 관리 책임• Who is responsible for implementing the DMP, and ensuring it is reviewed

and revised?• Who will be responsible for each data management activity?• How will responsibilities be split across partner sites in collaborative

research projects?• Will data ownership and responsibilities for RDM be part of any

consortium agreement or contract agreed between partners?

DMP 시행/검토/수정 책임자데이터 관리 활동 책임자

협력 연구 프로젝트의 경우, 데이터 관리 책임 소재데이터 소유권 및 연구데이터 관리책임이 연구 파트너 사이의 컨소시엄 협약 혹은 계약에 포함되어 있는가?

다음 내용과 관련된 역할과 책임 명시 (데이터 획득, 메타데이터 생산, 데이터 품질, 저장 및 백업, 데이터 아카이빙과 데이터 공유)

관련된 정책 준수 여부 확인자 (가능한한 이름 명시)

DMP 이행을 위한 자원

• Is additional specialist expertise (or training for existing staff) required?• Do you require hardware or software which is additional or exceptional to

existing institutional provision?• Will charges be applied by data repositories?

데이터 관리 계획을 이행하기 위해 요구되는 자원

전문가, 하드웨어, 소프트웨어

데이터 리포지터리 이용을 위한 비용

DMP 항목 분석

DMP 항목

DMP 템플릿 분석 (1/2)

BCO-DMO NSF OCE: Biological and Chemical Oceanography / NSF-AGS: Atmospheric and Geospace SciencesNSF-AST: Astronomical Sciences / NSF-BIO: Biological Sciences (2015- )NSF-CHE: Chemistry Division / NSF-CISE: Computer and Information Science and EngineeringNSF-DMR: Materials Research / NSF-EAR: Earth Sciences / NSF-EHR: Education and Human ResourcesNSF-ENG: Engineering / NSF-GEN: Generic / NSF-PHY: Physics /NSF-SBE: Social, Behavioral, Economic Sciences

DMP 템플릿 분석 (2/2)

Institute of Museum and Library Services IMLS (2014-): Research Data / IMLS (2014-): Digital ContentIMLS (2014-): New Software Tools or Applications / U.S. Geological Survey DMP Guidance

DMP 연구사례

명확하지 않은 DMP 요구

• NSF Grant Proposal Guide : samples 포함• Directorate for Biological Sciences (BIO) Guide : samples 미포함

• DMP 최소 요구사항도 NSF 연구주제 분야마다 다양했음• 제안서 작성자에게 투명성과 명확성을 제공하지 못함• 심지어 데이터에 대한 정의도 일관되지 못했음

• 이는 NSF 만의 문제가 아니었으며, 2012년 당시 여러 연구비 지원기관들이다양하면서 명확하지 않은 DMP 항목을 요구하고 있었음

• The U.S. Department of Energy, U.S Environmental Protection Agency, Sloan Foundation, and other funders also have very imprecise DMP requirements (Dietrich, Adamus, Miner, & Steinhart, 2012).

[9] Mischo WH, Schlembach MC and O’Donnell MN (2014) An analysis of data management plans in University of Illinois National Science Foundation grant proposals. Journal of eScience Librarianship 3(1): 31–43. DOI: 10.7191/jeslib.2014.1060.

(출처: Dietrich, Dianne, Trisha Adamus, Alison Miner, and Gail Steinhart. “De-Mystifying the Data Management Requirements of Research Funders.” Issues in Science and Technology Librarianship, Summer 2012:1- 16, http://dx.doi.org/10.5062/F44M92G2)

DMP 연구사례 (1/5)

(출처: Susan Wells Parham, Chris Doty. (2012) NSF DMP Content Analysis: What Are Researchers Saying? Bulletin of the A merican Society forInformation Science and Technology – October/November 2012 – Volume 39, Number 1)

• 연구자원 : 조지아텍 대학의 사서와 정보 기술자들이 DMP 개발가이드 제시. 그후, 2011년 9월6일까지, 8개월 동안 제출된 181개 DMP를 조사

• 연구방법 : 표절시스템을 이용한 DMP 분석- 조지아텍 대학의 리포지터리가 기술된 경우는 39개(22%) DMP에 불과- 리포지터리 관련 서비스 내용 조사- 연구자간, 부서간 DMP 공유 조사- 클라우드 기반의 툴 조사- 데이터 리포지터리 인식 조사- 표현방식 조사- 홍보 및 교육 필요 제안- 연구 데이터 큐레이션 서비스에 대한 전략적 계획 필요- 관련된 데이터 책임소재 계획 필요

Curty et al. (2013)

• 데이터 관리 계획과 관련된 연구자들의 인식(태도)과 실제 연구현장의 사례를 온라인 조사

• 68개 DMP 조사

• 연구결과: 연구자들이 데이터 관리의 중요성을 완전히 인식하고 있음. 하지만 DMP를 작성하고 실행하는 방법은 의견이 분분함 / 이메일과 같은 비공식적이고 개인적 방법으로 데이터 공유 / 메타데이터 표준 기술 작성 문제 / 데이터 재사용 및 재배포 관련 정책부분 작성 문제파악

(출처: Curty R, Kim Y and Qin J (2013) What have scientists planned for data sharing and reuse? A content analysis of NSF awardees’ data management plans. In: Research data access & preservation summit 2013, Baltimore, MD, USA. Available at: http://surface.syr.edu/ischool )

Nicholls et al. (2014)

연구비를 받은 엔지니어링분야 104개 DMP

NSF 가이드라인을 잘 따르고 있는지 분석

• 대부분의 DMPs가 수용가능한 품질임

• 데이터 관리 주체, 데이터 보유기간과 같은 필수항목을 누락하고 있음

(출처: Nicholls NH, Samuel SM, Lalwani LN, et al. (2014) Resources to support faculty writing data management plans: Lessons learned from an engineering pilot. International Journal of Digital Curation 9(1): 242–252. DOI: 10.2218/ijdc.v9i1.315.)

DMP 연구사례 (2/5)

DMP 연구사례 (3/5)

Mischo et al. (2014)일리노이 주립 대학 1260개 DMP

• 연구결과를 설명하는 scholarly paper와 연구 과정에서 생산되는 데이터의 차이를 잘못 이해함으로써 DMP에는 전통적인 학술적 연구 결과물들만 기술됨

• 데이터 저장소와 연구제안서 채택과의 연관성은 없음

• 연구 데이터 보존 장소로 IR에대한 의존성이 증가하고 있음

(출처: Mischo WH, Schlembach MC and O’Donnell MN (2014) An analysis of data management plans in University of Illinois National Science Foundation grant proposals. Journal of eScience Librarianship 3(1): 31–43. DOI: 10.7191/jeslib.2014.1060)

Bishoff and Johnston (2015)미네소타 대학 182개 DMP 분석

• 데이터 공유 방법, 데이터 공유 대상, 데이터 보존 전략이 다양함을 발견(출처: Bishoff C and Johnston L (2015) Approaches to data sharing: An analysis of NSF Data Management Plans from a large research university. Journal of Librarianship and Scholarly Communication 3(2): eP1231. DOI: 10.7710/ 2162-3309.123)

<본 연구가 가능하게 한 것>

• 관리자들과 캠퍼스 연구 데이터 서비스에 대한논의

• 데이터 관리 및 출판도구 개발

• 데이터 큐레이션과 보존정책 개발

• This detailed analysis has allowed us – to engage in a dialog with university administrators regarding the creation of a campus-wide research data

service and

– to develop campus-wide tools and services that can be used by Illinois researchers to manage their data, provide access to it through dataset publication, and

– to develop best practices and standard approaches for data curation and management.

(출처: Mischo WH, Schlembach MC and O’Donnell MN (2014) An analysis of data management plans in University of Illinois National Science Foundation grant proposals. Journal of eScience Librarianship 3(1): 31–43. DOI: 10.7191/jeslib.2014.1060.)

the creation of a campus-wide research data service

campus-wide tools and services

data curation and management

데이터 큐레이션과보존

데이터 관리 및출판도구

캠퍼스연구 데이터 서비스

Rolando et al. (2015)

연구배경: 현재, DMPTool이나 DMP Online과 같은 도구가 있으나 연구목적으로 DMP를 분석할 수 있는 도구는 존재하지 않음

연구결과: 분석적 지시문 개발

DART를 활용하여, DMPs 평가

• DMP 품질이 다양함

• DMPs에서 자주 누락되는 요소 발견

– 데이터 관리 역할과 책임소재

– 메타데이터 표준

– 지적재산권 정책

(출처: Rolando L, Carlson J, Hswe P, et al. (2015) Data management plans as a research tool. Bulletin of the American Society for Information Science and Technology 41(5): 43–45. DOI: 10.1002/bult.2015.1720410510)

연구자들이 작성한 DMP를분석함으로써, 연구자들이무엇을 요구하는지? 데이터에 대한 연구자들의 인식 수준은 무엇인지? 도서관이 새로운 RDM 서비스를 어떻게 기획해야 하는지 아이디어를 얻을 수 있다. 따라서 DMP는 RDM서비스 기획의 시작도구로사용될 수 있다.

DMP 연구사례 (4/5)

James E. Van Loon et al. (2017)

• Wayne State University, 도서관 시스템 (연구 데이터 서비스)를 운영하는 팀에서 연구 수행

• 2012년부터 2014년까지 제출된 NSF 연구비신청시 함께 제출된 119개 DMPs 분석

• 분석내용: 대부분의 연구자들은 데이터 공유에 대한 필요성 이해. 하지만 프로젝트를 수행을 통해 생산된데이터에 대해서는 DMPs에 충분히 설명을 하지 못하고 있음

• 연구결과: academic librarian들이 DMPs작성과 연구데이터 배포에 지속적으로 도움을 주고 있음. DMPs의부족한 내용들이 분야별로 다양함을 밟혔으며, 미래의 NSF DMPs를 향상시킬 차별화된 교육 서비스의 필요성을 제안하였음

• ‘연구 데이터가 어떻게 관리되고 공유될 것인가?’에 대한 기술 내용이 완벽하지 않고 애매모호함. 따라서 Wayne State 대학의 DMP 품질 개선이 필요하다 판단됨

• Engineering과 Liberal Arts and Sciences 분야의 DMP 내용에 차이점을 발견하였음 연구자들이 보다 완

벽한 DMP를 작성하도록 또한 연구 데이터 관리 및 배포를 성공적으로 할 수 있도록 도서관이 여러가지 홍보와 교육, 컨설팅을 제공해야함. 이러한 일련의 활동은 특정 연구자집단의 요구에 맞춤형으로 제공되어야함 (출처: James E. Van Loon, Katherine G. Akers, Cole Hudson and Alexandra Sarkozy, 2017, Quality evaluation of data management plans at a research university.

Vol 43, Issue 1, 2017)

DMP 연구사례 (5/5)

NSF DMP FAQs

NSF DMP FAQs

DMP 에서의 ‘data’란?• 동료평가 혹은 프로그램 관리 프로세스를 통해 이해관계 그룹에 의해 data 범위 결정• 데이터, 출판물, 샘플, 물리적 컬렉션, 소프트웨어, 모델을 포함할 수 있으나 여기에 국한되

지도 않음

데이터나 샘플을 생산하지 않는 프로젝트도 DMP 제출을 해야 하는가?• 제출해야 함. • 관리 및 공유가 요구되는 데이터 혹은 샘플의 생산이 예상되지 않음이라고 기술

공공 데이터베이스에 데이터를 제출해야 하는가?• 이해 관계그룹의 동료평가 및 프로그램 관리 과정을 통해서 결정된다.

영국의 경우, 일부 펀딩기관들은 자체적으로 제공하는 리포지터리에 데이터 제출을 요구하고 있으며, 일부 펀딩기관은 자체적으로 리포지터리를구축하는 비용을 연구비에 포함해서 지원하고 있음

• (출처: https://www.nsf.gov/bfa/dias/policy/dmpfaqs.jsp)

NSF DMP FAQs

공공데이터베이스가 없을 경우는?• 프로젝트에서 생산되는 데이터를 제출하기에 적합한 공공 데이터베이스가

없는 경우, NSF가 이를 지원하기 위한 서비스를 제공하는 것으로 판단됨

DMP 구현을 위한 예산신청은 가능한가?• DMP를 시행하는데 소요되는 예산신청은 신청예산원칙에 부합되는 경우 가

능

연구자가 생산한 데이터가 소속기관 소유이며 연구자가 기관을 떠나는 경우는데이터가 기관에 귀속된다. 이런 경우, 데이터 관리 및 접근에 대해 어떠한 영향을 주는가? • 기관에 의해 데이터가 유지되고 아카이빙 되는 것은 데이터 보존과 접근이

실현되는 하나의 수단이다. 데이터 접근 계획은 반드시 관련 데이터와 지원도구에 대한 접근을 제공하는 기관의 전략을 다루어야함

(출처: https://www.nsf.gov/bfa/dias/policy/dmpfaqs.jsp)

NSF DMP FAQs

데이터 아카이브 및 접근 가능기간은?• 커뮤니티 협의 및 프로젝트에 따라 다름

출판전에 즉시 데이터를 공개해야 하는가?• 아니요. 커뮤니티 협의 및 프로그램 관리에 따라 다름

데이터가 상업적 가치를 담고 있을 때에도 공개해야 하는가?• 아니요. 지식재산권도 보장 받아야함

데이터나 샘플에 대한 분석이 모두 끝나지 않은 상황에서 데이터가 요구될 경우에 데이터를 공유해야 하는가? • 아니요.

오픈 액세스 정책 이슈와 관련이 있는가?• DMP 시행에서 오픈 액세스 논문 출판 내용은 다루어지지 않아도 된다. 오픈

액세스 논문 출판은 또다른 이슈이다. (출처: https://www.nsf.gov/bfa/dias/policy/dmpfaqs.jsp)

결론

데이터 생태계 이해그룹 관계도

Open ScieneOpen AccessOpen Data

Funders Researchers

Libraries

DMP

Data Policy

RDMRDS

PreservationData RepositoriesData Publishing

Data Policy

Data JournalsDCI

Publishers

연구 데이터 서비스

• 데이터 리포지터리 운영 및 선정지원

• DMPs 작성을 위한 컨설팅• 메타데이터 작성 지원• Data Citation Index 서비스• 연구기록 & 데이터 연계 서비스• 연구데이터 관리 서비스

연구 데이터 서비스

Journal Paper &Supporting Data & DMP

ReproducibilityReplicability

Generalzability

DMP Guidance

DMPSharing

Data &DMP

Q & A