20150625 mr - odi lunchtime lecture v1

13
About us Who we are We were established in 1996 to protect and improve the environment. We have around 10,600 employees. Our head office is in Bristol and we have another office in London. We have offices across England, divided into 16 areas listed below. Responsibilities Within England were responsible for: Within England we re responsible for: regulating major industry and waste treatment of contaminated land water quality and resources fisheries inland river, estuary and harbour navigations conservation and ecology We are also responsible for managing the risk of flooding from main rivers, reservoirs, estuaries and the sea. Priorities Our priorities are to: work with businesses and other organisations to manage the use of resources increase the resilience of people, property and businesses to the risks of flooding and coastal erosion protect and improving water, land and biodiversity protect and improving water, land and biodiversity improve the way we work as a regulator to protect people and the environment and support sustainable growth 1

Upload: michael-rose

Post on 11-Aug-2015

118 views

Category:

Data & Analytics


2 download

TRANSCRIPT

Page 1: 20150625   mr - odi lunchtime lecture v1

About us

Who we areWe were established in 1996 to protect and improve the environment. We have around 10,600 employees. Our head office is in Bristol and we have another office in London. We have offices across England, divided into 16 areas listed below.

ResponsibilitiesWithin England we’re responsible for:Within England we re responsible for:•regulating major industry and waste•treatment of contaminated land•water quality and resources•fisheries•inland river, estuary and harbour navigations•conservation and ecologyWe are also responsible for managing the risk of flooding from main rivers, reservoirs, estuaries and the sea.

PrioritiesOur priorities are to:•work with businesses and other organisations to manage the use of resources•increase the resilience of people, property and businesses to the risks of flooding and coastal erosion•protect and improving water, land and biodiversityprotect and improving water, land and biodiversity•improve the way we work as a regulator to protect people and the environment and support sustainable growth

1

Page 2: 20150625   mr - odi lunchtime lecture v1

I am going to talk about our Open Data journey – from the days pre Open Data, through our f f ( )incident, deciding on our plan and what the future looks like for us (and others)

2

Page 3: 20150625   mr - odi lunchtime lecture v1

Photo (c) https://www.flickr.com/photos/kalexanderson/ [Licence] // / / / /https://creativecommons.org/licenses/by‐nc‐nd/2.0/

Since 1997 we have had an approach of charging others to re‐use our data. Initially this was any user, in 2010 we limited it to those making commercial use of our data – in 2014/15 we obtained £6m of income for this. The majority of this money came from royalties charged for the reuse of our data within conveyancing reports.

Alongside this we had been exploring how we utilised Open Data as a mechanism for getting our Alongside this we had been exploring how we utilised Open Data as a mechanism for getting our data out – specifically we developed a linked Open Data approach to disseminating data relating to bathing waters. We were releasing data as Open Data over the past few years, but other than the Bathing water it would be fair to say that it was the data that we would not have been able to derive a revenue from.

Whilst deriving a revenue was important to us, as the £6m was ‘free cash’ which could be spent on any of our environmental activities (rather than being ring fenced to a specific area), equally important was the contractual relationship with those re‐using our data allowing us some controlover things like them updating the data with the latest versions.

Our approach was very much supported by a piece of Government Policy called the Wider Markets Initiative which encouraged Government to sell spare irreducible capacity where they could.

3

Page 4: 20150625   mr - odi lunchtime lecture v1

All this changed over the winter of 2013 to 2014. You will remember that we had a storm surge along the east coast larger than that in 1953 that killed 300+ people in December 2013  this was followed by a sustained coast larger than that in 1953 that killed 300+ people in December 2013, this was followed by a sustained period of extreme rainfall and weather that caused multiple flooding events pretty much across the whole of the country.

We issued 50 Severe Flood Warnings – which is the highest level of warningOver 8000 properties floodedOver 200,000 properties were protected from flooding by our defencesThe Thames Barrier was closed more than 25 times during this period.

The Barrier has only closed 175 times since it was opened.The Barrier has only closed 175 times since it was opened.

It was an unprecedented set of weather events, however in terms of impact it was not as significant as the floods of 2007 where 13 people died and more than 40,000 properties were affected. What was different this time was the political interest and pressure that was generated.

The flooding incident(s) lasted from December 2013 (storm surge started) to May 2014 (Groundwater flooding ended). However what was less obvious is that we had a “data incident” running behind this.

We were asked, at short notice by number 10, to make our live flood warning data Open Data to facilitate a hack event. This was at about 4pm on Valentines Day (a Friday) with the Hack event happening on the Sunday. We did what we were asked, with the help of lots of internal staff and Shoothill, stating that the data would be Open for 3 months.

Once the live Flood data was Open it was unrealistic to think that we could close it again and we confirmed it would be Open permanently in May 2014. 

This fundamentally changed how we looked at Open Data – if we could open up this data where the accuracy is critical such as flood warnings – then you could argue that the only remaining issue for the rest of our data i     f   S   l id  thi   t    itt d t  b i g   O  D t   g i tiis one of revenue. So alongside this announcement we committed to becoming an Open Data organisation.

4

Page 5: 20150625   mr - odi lunchtime lecture v1

Following the commitment (May to December) there was a lot of activity within the Environment ffAgency in kicking off our transition, however we continued to deal with the situation like an 

‘incident’. We set up a specific project to deliver the transition and we looked at quick wins which created business wide resource concerns and as a result we probably over complicated our transition in this initial phase.

My view is that this was in part due to the continued political interest in flooding and the senior engagement that was occurring, meaning that the ‘doers’ were having to keep senior managers informed what was going on rather than getting on with it.informed what was going on rather than getting on with it.

In this time we worked with Cabinet Office to release Nafra (Rofras) as Open Data, as part of our initial transition to Open Data. We made this release in December 2014. We almost immediatelysaw the impact was seeing how proliferation of products and services.

The consequence of this is that it demonstrated to the ‘non data’ part of the Environment Agency that Open Data had potential to deliver serious environmental outcomes by extending the reach 

f fand influence of our data. 

Alongsidemanaging our “data incident” we were already looking towards the next stage of Open Data and we had appointed Tom Smith as the independent chair to our embryonic EADAG andbegun recruiting members. More about that in a bit.

5

Page 6: 20150625   mr - odi lunchtime lecture v1

I think that the release of NAFRAwas the end of the flooding “data incident” for us in Environment f f fAgency. We had delivered the transition of a significant charged for data set to Open Data. We 

gave up £1m per year of income in this transition. 

This immediately showed we were taking the Open Data agenda seriously and reduced the political pressure allowing us to get ‘back to normal’.

The benefit of this was we were able to draw breath and think about whatwe needed to do next, how do we adapt the organisation to deliver Open Data . The question was how to maintain the how do we adapt the organisation to deliver Open Data . The question was how to maintain the momentum to transition.

For me, this is where the data advisory group commitment initially came into play, by setting up this group to advise and shape our transition from a users perspective which engagedwith us at a senior (Executive Director) level we had set up the perfect forum to maintain steady pressure to move forwards.

6

Page 7: 20150625   mr - odi lunchtime lecture v1

Photo (c) https://www.flickr.com/photos/askpang/5596606622 [Licence]// / / / /https://creativecommons.org/licenses/by‐nc‐sa/2.0/

Working with the advisory group we began planning and prioritising which data we should be looking at making open first as it potentially held the most interest for the external users. We balanced this against the data that our internal data owners (we call them custodians) thought could help deliver our corporate outcomes as Open Data.

This refined our long list (of 1700 odd datasets) to the top 5 for us to look at first and to work This refined our long list (of 1700 odd datasets) to the top 5 for us to look at first and to work through the obstacles that needed to be navigated. The workings of the DAG are open and available from the EADAG.org blog site. By working with transparency we reassured the wider community that we were taking Open Data seriously and were understood the things we needed to do whilst pausing to plan.

It was also clear from these initial discussions that users had already defined our high impact data, the data that was being paid for! So we had to produce a plan for migrating the charged for data 

ff fto open data that was credible – and got signed off by those who had the right level of authorisation to give up £5m of income – in a time when there is significant budget pressure across the public sector.

7

Page 8: 20150625   mr - odi lunchtime lecture v1

On 3 June we took a 2 part paper to our Executive Director Team chaired by our Chief Executive –f fwhere they do have the right level of accountability to give up that aforementioned revenue.

The decision was to move the charged for data to Open Data by April 2018 with significant releases in April 2016 and April 2017. Alongside this the decision was made to make LIDAR Open from 01 September 2015 showing our commitment to moving forwards.

It was interesting to reflect on the decision making process on LIDAR, when we were initially talking about giving up the income associated with LIDAR there was a reflection on how much it talking about giving up the income associated with LIDAR there was a reflection on how much it cost us to capture the data. However when we started to discuss the potential direct impacts on our area operational staff if those submitting Flood Risk Assessments had better quality flood modelling data – regardless of the source – as a result of them using LIDAR to model it became clear that this wouldn't be a wholly altruistic change – we would get some significant, if not monetary, value.

These decisions have now given us a working model going forwards and a clear mandate for me and my team to make it happen.

8

Page 9: 20150625   mr - odi lunchtime lecture v1

So, is that it? Well no, this is the beginning of a significant shift in our data culture within the Environment Agency. We need the whole organisation to understand and believe the importance of thinking about Open Data as they do their jobs. 

The ecosystem we work within will change, up until now, with a few exceptions it has been a closed internal ecosystem where thinking in a siloedway to deliver your day job is perfectly acceptable. What we need to do now is to get people to realise they are part of the user community rather than the whole user community.

To begin this culture change we are changing how we communicate our strategy for data. We are implementing what I call a ‘feel not tell’ strategy. This is it on the slide. The strategy is the words you can see here – 7 words replacing a 5 page document (which itself was an edited version of a 15 page document).

How this works is, everyone in this room will understandwhat these words mean, in they will probably mean something different to each of you. And this is fine, we are moving away from 

fneeding to tell you what they mean to allowing you to feel what they mean to you. Your interpretation will not be a million miles away from mine – but it will be your interpretation, you own it so you are more likely to understand and believe it and act differently.

This strategy is be supported by our data governance framework. We have implemented a data maturity model covering basic data management and we have recently done the ODI maturity assessment looking at how we are doing at open data. We will be refining our approach using these tools will allow us to improve how we do both of these things over the coming years –these tools will allow us to improve how we do both of these things over the coming years moving us from a siloedway of thinking to a more holistic attitude towards data.  

For example, we have identified that we need to much better support data creators in making the right choices at the right time so they create data that can be Open Data (I am trying to coin the phrase we are “preparing to share”).

9

Page 10: 20150625   mr - odi lunchtime lecture v1

But more than that, we will be building upon the strides forward made with the Data Advisory fGroup. Often we have included stakeholder engagement in our data development work BUTwe 

speak to the people we know about what they want from our data. 

Often this is after we have articulated our business needs, by talking to our business users and we are 95% towards the product that is going to be created. 

In the futurewe need to utilise the Data Advisory Group and other user communities to get prospective users to actually tell us what they want so that it is considered in the initial thinking prospective users to actually tell us what they want so that it is considered in the initial thinking stage of development.

A good example of where we have done this is the new flood warning service we have put onto www.gov.uk. We initially had put up a map of flood warnings showing where all the flood warnings are in the country – however when we were looking to update this service and we spoke to users the primary requirement they wanted was the ability to search to find out if THEY were at risk – the service now looks completely different as we understood what the users actually 

fwanted because we asked them first.

Another element we need to develop is trust. We need to trust that those who use our data will know what they are doing. We are used to telling people what we think they need to know and releasing the data that we believe is appropriate for people to use in our expert opinion. As shown by the growth of the data science profession, we are no longer the only experts in our data and we need to accept that and more readily trust that poor use of our data will be “spotted”, “outed” and “discredited”.more readily trust that poor use of our data will be  spotted ,  outed  and  discredited .

10

Page 11: 20150625   mr - odi lunchtime lecture v1

One of my personal objectives is to share the knowledge and experiences we have had over the fpast few years, and in particular the last year in driving my organisations transition to Open Data. 

I am speaking as often as possible to those who want to know more, doing sessions like this one, speaking to other organisations in the UK and beyond about some of the opportunities, obstacles and benefits of being more Open and Transparent.

We have learned a lot, and those on a similar journey can learn from us.

Inside GovernmentTaiwanese EPAOFCOMBGSSEPANRWCEHOS

11

Page 12: 20150625   mr - odi lunchtime lecture v1

So, to conclude –

Open Data will become Business as Usual over the next few years.

You may have heard the Secretary of State talk about the 8000 Open Datasets in the next 12 months. I am part of the Defra Data Accelerator project that is looking at how we deliver an approach similar to that we have been doing in the Environment Agency across the whole of Defra, this is an ambitious but achievable task.

Over the next few years Open Data will become just part of how we do stuff.

And in this new world, we will need to begin to think about who, and how, and when we target particular individuals, groups and companies to work with to deliver some of the outcomes we desire in true partnership...... But that is the next part of the journey.......

12

Page 13: 20150625   mr - odi lunchtime lecture v1

13