Access and Use of Government Data by Research and Advocacy Organisations in India: A Survey of (Potential) Open Data Ecosystem

Sumandro Chattapadhyayajantriks.net

A Survey of (Potential) Open Data Ecosystem in India

­  Supported by World Wide Web Foundation and IDRC, Canada

­  Study of the practices of accessing and using government data by selected (non­­governmental and non­­commercial) research and advocacy organisations in India

­ Wider policy context of India adopting an open government data policy and launching an open data portal in 2012

­ Most of the organisations interacted with are yet to begin substantial usage of the open data portal, but they are working with national­­scale government data for a long time

­ Objective of the study is not to establish existence of 'open data intermediary organisations' in India, but to understand the factors that determine their existence, relevance, or otherwise

Open Government Data Platform of Indiadata.gov.in

Organisations Engaged with in the Study

­  Accountability Initiative, Delhi­ ASER Centre, Delhi­ Association for Democractic Reforms, Delhi­ Akvo, Delhi­ Hyderabad Urban Portal, Hyderabad­ India Biodiversity Portal (Strand Life Sciences), Bangalore­ India Energy Portal (The Energy and Resource Institute), Delhi­ India Environment Portal (Centre for Science and Environment), Delhi­ India Urban Portal (National Institute of Urban Affairs), Delhi­ India Water Portal (Arghyam), Bangalore­ Karnataka Learning Partnership, Bangalore­ PRS Legislative, Delhi­ Transparent Chennai, Chennai

Sectors Engaged with in the Study

­  Budget and expenditure­ Education and social sector expenditure­ Political representatives and candidates­ Water and sanitation­ Urban development­ Biodiversity­ Energy and natural resources­ Environment­ Urban development­ Water and sanitation­ Education­ Political representatives and parliamentary affairs­ Urban development

Open Data Ecosystem (Working Description)

­ The adjective open applies to both data and ecosystem 

­ In other words, open data ecosystem needs to be conceptualised (and realised) as a network of creators and users of open data, where there is no unidirectional flow of open data

­ The government agencies, in an open data ecosystem, are neither theonly creators of openly shared data, nor the only agency involved in (re)sharing data

Open Data Intermediary Organisations (Working Description)

Open data intermediary organisations:

­ Either access data generated by other entities or self­create data

­ Add value to data (through acts of sanitising, organising, compiling, formatting, documenting, etc.) or not

­ Publish the data as open data to be used by other entities

What are the Key Challenges in Accessing Government Data?

­ A great wealth of existing government data is not made publicly accessible at all (either commercially or otherwise) in digital formats

­ Much unpublished data sets are not kept out of public circulation due to any specific characteristics of the data itself, but shaped by the reporting structure between local, state and central government agencies

­ Another key reason for non­publication of certain data set is a simple lack of precedence of sharing of that data, or lack of confidence of the agency, that is aversion of risk of bureacratic criticism

­ Among organisations interacted with, there is a general feeling that the government has failed to revise and expand its statistical machinery, leading to lacking quality and timeliness in data publication

What are the Key Challenges in Sharing Government Data?

­ For organisations working in certain sectors, such as budget and expenditure, re­­sharing of data is not a major concern as original data published by the government is often in a good, directly usable form

­ For organisations working in sectors where official data is produced by multiple government agencies and are not published in an uniform and easily­ accessible manner, say water and sanitation, re­sharing of data by is more of a common practice

­ Key reasons gives for not sharing data: (1) there is no demand from final users for disaggregated data, (2) lack of confidence regarding the capability and motivation of re­­users of data, and (3) lack of an organisational history of (re)sharing data

Major Findings

­ Similar reasons are often given by both government and non­government organisations for not sharing disaggregated data (lack of confidence in capability and motivation of data re­users, lack of existing practice, etc.)

­ Critical need for government agencies, across the bureaucratic hierarchy, to start internal usage of the data collected by them

­ Long­­term relationship with government agencies can translate into very effective models of data sharing, however, such agency­­to­­agency channels involve the danger of creating new gatekeepers of data

­ Mutual difficulties created by the lack of direct interactions between government agencies that collect and manage data, and the non­governmental organisations and individuals that want to use such data

Study website: ajantriks.github.io/oddc

Sumandro Chattapadhyayajantriks.net