audit of the public sector alliances and resource ... · pdf fileinternal audit of the public...

23
Internal Audit of the Public Sector Alliances and Resource Mobilization Office (PARMO) December 2013 Office of Internal Audit and Investigations (OIAI) Report 2013/54

Upload: vodien

Post on 08-Mar-2018

216 views

Category:

Documents


2 download

TRANSCRIPT

  

Internal Audit of the Public Sector Alliances and Resource Mobilization Office 

(PARMO)   

December 2013  

Office of Internal Audit and Investigations (OIAI) 

Report 2013/54   

      

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 2 ____________________________________________________________________________________________

Summary  The Office of  Internal Audit and  Investigations  (OIAI) has conducted an audit of  the Public Sector Alliances and Resource Mobilization Office (PARMO). The audit was conducted from May to July 2013, and covered the period from January 2012 to May 2013.  PARMO has  the  lead  responsibility  for UNICEF’s overall  resource mobilization  from public sector donors.  (“Resource mobilization” and “fundraising” are often used  interchangeably, but  the  former  also  includes mobilizing  resources  in  the  form of people, partnerships, or equipment. However, fundraising is its largest single component.) As UNICEF’s primary liaison with  donor  governments,  PARMO  is  responsible  for  the  management  of  the  overall relationship with them. It works both through partnerships with public‐sector donors, and by providing UNICEF offices with advice and support for their own resource‐mobilization efforts.   In an uncertain global economic environment  in 2012, PARMO raised US$ 2.84 billion (US$ 2.75 billion  in 2011) as  income from public sector resources. This constituted 72 percent of UNICEF total revenue and exceeded the target by 15 percent or US$ 365 million. The share of UNICEF’s total regular resources raised by PARMO was 48 percent.  (Regular Resources are core  resources  that are not earmarked  for a specific purpose, and can be used by UNICEF wherever they are needed.)  As of July 2013, PARMO had 58 approved posts, of which six were vacant. PARMO has offices in New York, Brussels and Tokyo. Its New York office is divided  into eight clusters, of which seven manage  a  specific  portfolio  of  donors  (including  inter‐UN  organizations)  and  one coordinates  strategic  planning,  field  support  and  advocacy.  The  office  in  Brussels  leads engagement with the European Union; and the Tokyo office, with Japan and the Republic of Korea. The approved budget of PARMO for 2012‐2013 was US$ 21 million.   UNICEF  initiated an organization‐wide Effectiveness and Efficiency  review of headquarters functions  in 2012.  In May 2013  it  identified several proposals, and  two of them related to fundraising and contribution management (areas that directly relate to PARMO’s activities). The audit did not review the basis of the proposals. As of the end of the audit, the exercise was on‐going and PARMO considered them in formulating the agreed action plans.   

Action agreed following audit As a result of the audit, and in discussion with the audit team, PARMO has agreed to take a number of measures, in association with other divisions and offices as appropriate. The Office of the Executive Director has agreed to implement the following two as high priority:  

Issue a revised executive directive on fundraising, setting out the strategic vision and implementation framework for UNICEF’s resource mobilization and outlining the roles and responsibilities assigned to PARMO and other UNICEF organizational units. 

Establish a strategy at the global level to improve the quality and timeliness of donor reports;  and  clarify  responsibilities  regarding  oversight  and  support  on  donor reporting. 

    

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 3 ____________________________________________________________________________________________

Conclusion The audit concluded that overall, subject to implementation of the agreed actions described, the  controls  and processes over  the management of public  sector  alliances  and  resource mobilization, as defined above, were generally established and functioning during the period under audit. The Office of the Executive Director and PARMO will work with OIAI to monitor implementation of the measures that have been agreed.  

Office of Internal Audit and Investigations (OIAI)           December 2013

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 4 ____________________________________________________________________________________________

Contents  Summary                       2  Objectives and Scope                    5    Audit Observations                     6     Governance of public sector alliances and resource mobilization       6 

Satisfactory key controls                 6 Risk management                   6 Roles and responsibilities                   7 

  Governance area: Conclusion                 9    

Donor relationship management             10   Satisfactory key controls               10 

Guidance on donor visibility and recognition          10   Donor information systems               11 

Emerging‐economy donors               12   Donor relationship management: Conclusion         13    

Oversight of contributions management            14   Structures and mechanisms for grant management         14 

Review and approval of donor agreements           15 Donor reporting                 17 Grant extensions and amendments             18 Expired grants                  20 

  Oversight of contribution management: Conclusion        21  Annex A: Methodology, and definition of priorities and conclusions     22      

  

     

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 5 ____________________________________________________________________________________________

Objectives and Scope   The objective of the audit was to provide assurance as to whether there were adequate and effective  controls,  risk‐management  and  governance  processes  over  the  following  areas selected for audit:  

Governance of public sector alliances and resource mobilization. 

Donor relationship management. 

Oversight of contributions management.  The report  is split  into the three areas mentioned above. The  introductory paragraphs that begin each of these sections explain what was covered in that particular area, and between them define the scope of this audit. Where appropriate, the report also identifies satisfactory key controls in these three areas.   The audit reviewed the grants involving PARMO and not those handled by other divisions. The audit did not review the use of grants for compliance with agreements, since the responsibility for managing the contribution rests with the office that received it (country or regional office, or HQ division). OIAI reviews these areas as part of the internal audit of the office concerned.   The audit covered the period from January 2012 to March 2013.   Effectiveness and efficiency: UNICEF began an organization‐wide Effectiveness and Efficiency review of headquarters  functions and processes  in 2012.  In May 2013,  it  identified several proposals and two of them were related to fundraising and contribution management (areas that directly relate to PARMO’s activities). They were as follows:   

Establish a  fundraising  strategy and division of  labour  to adapt  to  the  changing donor landscape. 

Streamline donor  reporting and cash management  through an  improved contributions management unit. 

 The audit did not review the basis of the proposals. As of the end of the audit, the exercise was  ongoing,  and  PARMO  and  the  Office  of  the  Executive  Director  considered  them  in formulating the agreed action plans.    

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 7 ____________________________________________________________________________________________

strategy  or  policy),  should  be  escalated  to  the  appropriate  risk  owner  for  timely  and appropriate action.   Although  PARMO  and  PFP  are  identified  as  the  risk  owners  for  “funding  and  external stakeholder relations”, there are risks related to public sector resource mobilization that cut across multiple  offices,  have wider  impact  beyond  PARMO,  and  require  global  corporate action or policy change. Such  risks would need  to be escalated beyond  the  risk owner  for better  coordination,  involving  assistance  from  the  Deputy  Executive  Director  (External Relations) and the ERM focal point in UNICEF’s Change Management Office (CMO). Risks and opportunities in resource mobilization that require such escalation can relate to coordination between PARMO and other divisions. This could be the case for PFP in the context of the One Country approach,2 or country offices seeking Regular Resources without affecting available opportunities for thematic or Other Resources,3 or crafting and negotiating complex clauses in grant agreements. There are several other examples. These  risks had not hitherto been escalated because the new guidelines on escalation were issued only in March 2013. As of the end of the audit, PARMO indicated that it had updated its risk assessment in the Performance Management System.  Agreed action 1  (medium priority): The Public Sector Alliances and Resource Mobilization Office,  as  the main  risk owner  for public  sector  resource mobilization,  agrees  to  conduct annual reviews of risks related to public sector resource mobilization, including those that cut across multiple offices, have wider impact beyond PARMO, and/or require global corporate action  or  policy  change.  It  also  agrees  to  escalate  the  risks  that  cannot  be  addressed by PARMO  to  the  Deputy  Executive  Director  for  External  Relations  as  part  of  their  ongoing meetings,  for  review and guidance  in accordance with  the Risk Assessment and Reporting Guidelines.   Responsible staff: Director, Deputy Director and Senior Advisor for Strategic Planning, Field Office Support and Advocacy  Date by which action will be completed: Ongoing with annual review and reporting on risk assessment in line with PARMO’s OMP and Performance Management System.   

Roles and responsibilities UNICEF’s  strategic  vision  and  implementation  framework  for  resource mobilization  with governments  and  intergovernmental  organizations  have  been  outlined  in  two  executive directives over the last two decades.   The first, CF/EXD/1994‐005, established field offices as partners in fundraising for UNICEF, and  2 The One Country Approach aims to create an agreed agenda with clear goals, actions and accountabilities for different UNICEF offices involved in NATCOM countries. (A NATCOM is a National Committee for UNICEF in a donor country.) The cardinal rule of the ‘One Country Approach’ is that there should be no “one size fits all”, with an approach tailored to the unique contexts in each of the 36 NATCOM countries. See Mobilizing Resources in a Changing Environment: UNICEF Strategy and Action Plan 2011‐2012 (page 15). 3 As stated earlier,Regular Resources are core resources that are not earmarked for a specific purpose, and can be used by UNICEF wherever they are needed. Other Resources are contributions that may have been made for a specific purpose such as a particular programme, strategic priority or emergency response, and may not always be used for other purposes without the donor’s agreement. Country offices are expected to raise the bulk of the resources it needs for the country programme itself, as Other Resources. 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 8 ____________________________________________________________________________________________

defined  their  specific  fundraising  responsibilities  and    their  relationship  in  this  area with regional offices and relevant HQ divisions. The subsequent directive, CF/EXD/2003‐13, stated: the fundraising goal (to raise resources to help children); the objectives for 2002‐2005 in terms of  regular  resources and other resources and  the related  fundraising  framework; and how UNICEF would address new challenges and opportunities.  CF/EXD/2003‐13 specifically assigned the Programme Funding Office (PFO, now PARMO) to “orchestrate UNICEF’s overall resource mobilization within  the  framework of  the Medium‐Term Strategic Plan, coordinating with all other UNICEF organizational units”.   To deal with new  challenges  and  opportunities,  the  directive  also made  PFO  the  convenor  of  a  group composed of PD, PFO, DPP, and DFAM4 “to provide timely, efficient and effective guidance and decisions on non‐standard funding modalities”.  PARMO refers to the executive directive CF/EXD/2003‐13 as its main policy document.    The directives were  issued  in the context of major changes both within UNICEF and  in the general environment for public sector resource mobilization, and they helped shape the way forward and the policies governing resource mobilization efforts.   However,  there has not been a similar executive directive since 2003, although  significant changes have taken place within UNICEF and  in  its operating environment. For example, as part of  the on‐going Effectiveness and Efficiency  review, PARMO has  identified areas  that would benefit from clarification of accountabilities, including management of the Global Polio Eradication  Initiative, or GPEI  (between PARMO and PD), and  inter‐agency common policy positions on development funding and transition financing (between PARMO and GMA5). The significance of  the  role of PD  and Office of  Emergency Programmes  (EMOPS)  in  resource mobilization  (including  Central  Emergency  Response  Fund  and  Humanitarian  Thematic Funding)  also  needs  clarification.  PARMO  has  also  perceived  the  need  to  engage  with countries on a more streamlined and coordinated basis with GMA and EMOPS, especially since currently  all  three Divisions  hold  lead  responsibilities  in  donor  intelligence‐gathering  and analysis, liaising with specific missions to the UN, and policy advice. Further, the role of the Tokyo office in fundraising needed to be clear. These and other concerns were captured in the Effectiveness  and  Efficiency  review  proposal  to  “establish  a  global  resource mobilization strategy and division of labour to adapt to the changing donor landscape”.  This review was on‐going as of the time of the audit.  In  addition  to  the  above,  other  significant  changes  influencing  UNICEF  since  the  2003 executive directive include the introduction of Enterprise Risk Management. They also include an  increased  need  for  collaboration  between  PARMO  and  PFP  (together  with  National Committees)  in  the  context  of  the  need  to  increase  core  resources,  public‐private partnerships, the One Country Approach and decentralized donor decision‐making. The UN General Assembly’s 2012  resolution on  the  ‘full‐cost  recovery principle’ will also  influence organizational  resource mobilization  strategies,  since  it will  lead  to  a  larger  share of  core resources being allocated to programme activities; in so doing, it will make provision of core resources  more  attractive  to  donors.  It  will  also  have  an  effect  on  different  types  of contributions such as government cost‐sharing and South‐South cooperation.   In  this  context, and given  the  time  that has elapsed  since  the previous directives, a  clear 

4 PD = Programme Division; DPP = Division of Policy and Practice; DFAM = Division of Financial and Administrative Management. 5 GMA is UNICEF’s office of Governance, UN and Multilateral Affairs.  

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 9 ____________________________________________________________________________________________

organizational  policy  on  resource  mobilization,  issued  as  an  executive  directive,  would improve consistency between UNICEF offices in their understanding of the vision, strategies, principles and accountabilities underlying the resource mobilization activities.   Oversight  of  contributions management:  Contributions management  processes  typically involve multiple divisions and offices, depending on the nature of the contribution. In general, PARMO,  country  offices  and  DFAM  are  involved  in  all  grants  related  to  public‐sector contributions,  and  some  cases  may  also  involve  regional  offices  and  HQ  divisions.  The Programme Policy and Procedures Manual (PPPM) emphasizes that the primary responsibility for  contributions management  resides with  the  office  (country  office,  regional  office, HQ division) managing the grant, and that regional offices, in collaboration with Division of Policy and Strategy (DPS), have an oversight role with regard to the use of funds in accordance with the donor agreements. However,  the  institutional/corporate oversight  responsibilities and procedures were not clearly articulated  in policy documents such as the PPPM or PARMO’s draft  directive  on  Contributions  to  UNICEF  and  Management  of  Other  Resources Contributions.   In their responses to an audit questionnaire, regional offices indicated the need for increased system  support and  advice  for monitoring  and overseeing  the  contributions management functions. The  launch of the VISION regional dashboard, under development at the time of the audit, was expected to increase regional offices’ capacity to oversee the performance of country offices regarding contributions management. Organization‐level system reports that are  not  currently  available,  but which  could  enhance  global  oversight  and  overall  donor engagement, would include causal analysis for refunds and reprogrammed amounts of grants, underspent/overspent contributions, ageing reports for expired grants, proportion of funds utilization to elapsed grant period, and ageing of receivables.   Clear  assignment of oversight  responsibilities,  and  adequate  institutional‐level monitoring indicators  and  systems,  would  help  provide  enhanced  global  oversight  on  contributions management, and more effective engagement with donors. As part of the organization‐wide Effectiveness and Efficiency review that was on‐going at the time of the audit, the Office of the Executive Director had already identified the need to establish a fundraising strategy and division  of  labour  to  adapt  to  the  changing  donor  landscape;  and  to  streamline  donor reporting. This would inform the revision of the executive directive on fundraising, including contributions management.  Agreed  action  2  (high  priority):  The  Office  of  the  Executive  Director  agrees  to  issue  an executive directive stating the strategic vision and  implementation framework for UNICEF’s resource mobilization function, and outlining the roles and responsibilities assigned to PARMO and other UNICEF organizational units.   Responsible staff: Deputy Executive Director for External Relations Date by which action will be completed: September 2014   

Governance area: Conclusion Based on the audit work performed, OIAI concluded that, subject to implementation of the agreed actions described, the controls and processes over the Governance area, as defined above, were generally established and functioning during the period under audit. 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 10 ____________________________________________________________________________________________

 

2  Donor relationship management  In this area, the audit reviewed the structures of engagement with donors and the processes for partnership development  and  for protecting  and  increasing public‐sector  funding. The scope of the audit in this area included the following:  

Intra‐divisional structures and capacity for effective engagement with donors. 

Systems and tools for gathering and sharing intelligence on funding opportunities, donor trends and priorities amongst HQ divisions, country offices and regional offices. 

Mechanisms for soliciting, evaluating and responding to donor feedback. 

Cohesion  in  communications  and  advocacy  strategy  amongst  country offices,  regional offices and HQ divisions. 

  

Satisfactory key controls There was clear demarcation of responsibilities for donor engagement between the divisional staff. This was managed through creation of clusters in New York and offices in Brussels and Tokyo  with  designated  staff  representing  specific  portfolios  of  public‐sector  donors.  In addition,  PARMO’s  offices  in  Brussels  and  Tokyo  enabled  strategic  engagement with  the European  Commission  (and  other  European  Union  institutions);  and with  Japan  and  the Republic of Korea respectively. PARMO had also maintained strategic engagement, including face‐to‐face meetings with donors, which contributed to mobilizing US$ 2.84 billion in 2012 from public sector donors (15 percent more than the target).   PARMO had prepared an Advocacy and Communication Strategy 2012‐13 to provide UNICEF staff  engaged  in  resource  mobilization  with  a  concise,  comprehensive  and  actionable overview of the organization’s advocacy and communications activities. About once a month, it also issued a succinct one‐page newsletter with: updates on the global economic situation, aid efficiency, effectiveness and results;  insights on development cooperation strategy and trends; and global aid environment and perspectives.   The  Brussels  office  issued  a  quarterly  newsletter  to  provide  useful  information  about developments  in the European Union (EU) aid environment; this was being circulated to all UNICEF offices. In 2012, PARMO Brussels Office continued to position UNICEF as a strategic partner for EU institutions – which led the EU to donate its Nobel Peace Prize money to UNICEF for its work in Pakistan.  PARMO obtained feedback from resource partners through formal and informal procedures including Executive Board interaction, donor assessments, consultations and donor briefings.   

Guidance on donor visibility and recognition Recent  experience  has  shown  that  donors  prefer  to  support  highly  visible  programme interventions and that they need visibility and recognition of contributions (not only financial but also  supplies and materials)  to  justify  their  investments. PARMO has  received various types of donor  requests  for  visibility and  recognition  including an expression of  thanks  in reports  and  publications,  use  of  donors’  names  and  logos  in  press  reports,  or  a  press conference  and  a  TV  event  to  announce  the  grant. However,  the  audit  found no  specific guidance on criteria to be applied consistently and fairly across all offices and divisions. At the 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 11 ____________________________________________________________________________________________

time  of  the  audit,  PARMO  and  the Division  of Communication were working  together  to finalize the donor visibility and recognition guidelines.  Agreed action 3  (medium priority): The Public Sector Alliances and Resource Mobilization Office agrees to, together with the Division of Communication and with the participation and inputs from Regional and Country Offices, finalize and disseminate guidelines on public sector resource partners visibility and recognition.  Responsible staff: Senior Adviser  for Strategic Planning, Field Office Support and Advocacy (PARMO); Deputy Director (Division of Communication) Date by which action will be completed: 31 March 2014   

Donor information systems The document  entitled Organization of UNICEF  (E/ICEF/Organization/Rev.3 dated  24 April 1998) requires PARMO to maintain up‐to‐date information on actual and potential donors and produce donor profiles. PARMO currently has a system for maintaining donor profiles within the intranet (by country) and also uses Google Maps for highlighting donor priority countries, websites, main thematic areas of interest, etc.   Donor profiles typically include information on political context, ODA policies and processes, and partnerships with UNICEF. Different clusters within PARMO are responsible for keeping the donor profiles updated with latest donor intelligence and funding trends. However, the audit found that the nature and extent of donor information recorded varied, depending on the clusters managing it; there were no guidelines on what information should be available on the intranet, or how often it should be reviewed and updated.   Regional  offices  have  indicated  that  the  current  process  is  not  systematic  enough  for coordinated engagement by HQ, regional and country offices, and that donor intelligence and opportunities  are  not  shared  systematically  across  the  three  levels.  Regional  offices  also commented that field offices that contacted PARMO when meeting with donors found that it did not always have information on the strategic approach of specific governments – which can be  critical when discussing  regional  cooperation. This was especially  important  in  the absence of a mechanism for systematic feedback from country‐ and regional‐level strategic engagement with government donors  that could assist donor  relationships at global  level. PARMO, with the Division of IT Solutions and Services (ITSS), had prepared a business case for development of an online template; this would have a standardized structure that staff could use  to  update  donor  profiles,  and  to  enable  direct  participation  by  country  and  regional offices.  Besides  providing  PARMO  with  the  latest  information,  this  should  strengthen accountability within Divisions and promote communication and  learning between country offices.   There is an opportunity for greater coordination between PARMO and PFP in tools for donor intelligence. In 2012 PFP launched a “Funding Marketplace” tool for sharing content between the NATCOMs and the country offices. The next phase of the system’s development will allow country offices to edit documents and upload them back into the system, thus making it truly collaborative. A dashboard for country offices and NATCOMs was also being planned, along with options to integrate information from VISION to this web platform.   Coordination between PARMO and PFP would also be useful for  income forecasting. While PARMO  does  this  using  spreadsheets,  PFP  has  been  using  market  software.  Greater 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 12 ____________________________________________________________________________________________

technological  linkages between  the donor  intelligence  systems of PARMO  and PFP would assist resource mobilization, especially in the context of the One Country approach, increased focus  on  public‐private  partnerships  and  the  importance  of  engaging  with  NATCOMs. Enhanced  coordination  amongst  divisions  would  increase  efficiencies  and  resource mobilization. PARMO indicated that it had initiated steps to leverage the benefits of current systems with PFP.  Agreed action 4  (medium priority): The Public Sector Alliances and Resource Mobilization Office (PARMO) agrees to:  i. Launch PARMO’s Donor Partnership Management System (DPMS, Phase I), to gather and 

disseminate  resource  partner  intelligence  for  use  by  UNICEF  staff,  to  facilitate  and strengthen targeted partnership engagement.  

ii. Develop  tools  such  as  Private  Fundraising  and  Partnership  Division’s  ‘Funding Marketplace’ tool, for an external audience, to allow viewing information such as funding status per partner, funding gaps and reports. 

 Responsible staff: Senior Adviser  for Strategic Planning, Field Office Support and Advocacy  (PARMO); Deputy Director (Division of Policy and Strategy) Chief Programme, Donor Matching (PARMO) and ITSS specialist (Information Technology Solutions and Services)  Date by which action will be completed: 31 March 2014 (i), 31 March 2015 (ii)   

Emerging‐economy donors PARMO’s  Office Management  Plan  (OMP)  for  2014‐17  highlighted  the  strategic  need  to broaden  the donor base, and emerging donors were considered  important  in  this  respect. There should be mechanisms in place to analyze a heterogeneous emerging donor base, and develop partnerships and mobilize resources accordingly.  PARMO  established  a  separate  cluster  to manage  emerging  donors  in  2012.  To  broaden UNICEF’s donor base, PARMO expanded its partnerships with countries that had both UNICEF programmes of cooperation and good potential for resource mobilization, including the BRICS (Brazil,  Russia,  India,  China  and  South  Africa),  Gulf  countries  and  other  middle‐income countries  (MICs).  Engagement  with  these  countries  also  entails  resource  development opportunities in the nature of south‐south cooperation, government cost‐sharing, etc.  For 2012‐2013, PARMO had prepared resource mobilization, advocacy and communications strategies for the BRICS, the Gulf and four other countries (Argentina, Mexico, Malaysia, and Turkey).  The purpose of  these  strategies was  to  review  current public  and  private  sector resource mobilization activities, and  identify  funding trends, opportunities and suggestions for future engagement. The selected countries were chosen based on their funding potential and economic growth. PARMO informed the audit that it had started reviewing its emerging‐donor base so as to identify other MICs with funding potential.   Agreed action 5  (medium priority): The Public Sector Alliances and Resource Mobilization Office  (PARMO) agrees to update  its  resource mobilization, advocacy and communications strategies to include all middle‐income countries with funding potential.   Responsible staff: Senior Advisor for Emerging Partnerships and Innovative Financing  Date by which action will be completed: December 2014  

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 13 ____________________________________________________________________________________________

 

Donor relationship management: Conclusion Based on the audit work performed, OIAI concluded that, subject to implementation of the agreed  actions  described,  the  controls  and  processes  over  the  donor  relationship management, as defined above, were generally established and functioning during the period under audit.   

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 14 ____________________________________________________________________________________________

 

3  Oversight of contributions management  In this area, the audit reviewed the effectiveness of the following:      

Policy  and  procedures  with  respect  to  oversight  responsibilities  for  contributions management. 

Intra‐divisional structures and coordination for grant management in VISION. 

Process for review and approval of donor agreements, grant extensions and amendments; and organization‐level monitoring systems for timeliness and quality of donor reporting.  

Systems for monitoring expired grants (from grant expiry to grant closure in VISION).  Contributions are recorded as grants in VISION, which captures their lifecycle from inception to closure. Grants are created  in VISION by various divisions  including PARMO  (for public‐sector contributions), PFP (for private‐sector contributions), Supply Division (for procurement services on behalf of Government and other organizations), Division of Human Resources (for contributions related to Junior Professional Officers), and DFAM (for RR budget allocations, RR  set‐aside, and RR  for unfunded OR and Central Emergency Response Fund  loans). This review covers only the grants which are authorized by PARMO in VISION.   The audit did not review the utilization of the grants for compliance with agreements, since the  responsibility  for managing  the  contribution  and  ensuring  its  utilization  for  intended purposes rests with the office that is the recipient of funding (country office, regional office or HQ division). This review also excludes the processes for allocation of global thematic or multi‐country non‐thematic contributions, as these are not direct responsibilities of PARMO.  In May  2013,  the  organization‐wide  Effectiveness  and  Efficiency  review  of  headquarters functions  and  processes  proposed  streamlining  donor  reporting  and  cash  management through an improved contributions management unit. The audit did not review the basis for this proposal. As of the end of the audit, the exercise was ongoing and PARMO considered it in formulating the agreed action plans.  

Structures and mechanisms for grant management Within PARMO, designated staff  in New York, Brussels and Tokyo are assigned  to manage specific portfolios of public‐sector donors. In the New York office, such assignment has been by ‘cluster’, each of which is headed by a Senior Advisor and aided by professional and support staff.  Each  cluster  and  office  had  its  own  designated  staff  to  manage  all  aspects  of contributions for its portfolio of donors, and could exercise flexibility in management of these processes.  The  key  processes  in  the  contribution  management  cycle,  involving  many stakeholders  in the organization, are the management of new contributions; modifications (amendments,  extensions  etc.)  to  existing  contributions;  and  reporting  and  closure  of contributions. These processes in turn each involve a large number of activities, some handled by PARMO and some by DFAM.  The Grants Management System in VISION, as a management information system for PARMO, did not fully meet the information and reporting requirements at the global and transactional level, and diluted user’s confidence  in the system and reliability of  its  information. This  led PARMO clusters and offices to develop ad hoc tools in isolation from each other. The existing structure  of  PARMO  did  not  provide  for  effective  coordination  of  work  processes  and 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 15 ____________________________________________________________________________________________

knowledge‐sharing  among  those  of  its  staff  entrusted  with  direct  responsibility  for contribution management.  As  part  of  the  organization‐wide  Effectiveness  and  Efficiency review  that was  on‐going  at  the  time  of  the  audit,  PARMO  staff  had  identified  issues  of inequity  in  terms of  capacity  and workloads of  clusters  and offices, non‐standardized  job descriptions  of  contribution  management  staff,  and  ambiguity  on  responsibility  and  on reporting on results.    Agreed action 6  (medium priority): The Public Sector Alliances and Resource Mobilization Office  (PARMO)  agrees  to  review  its  existing  divisional  structures  for  contribution management responsibilities,  to ensure effective  intra‐divisional coordination and  improve inter‐divisional efficiency gains. PARMO also agrees to define its information monitoring and reporting needs for contribution management (in association with the Division of Information Technology Solutions and Services) and ensure its information needs are promptly addressed.   Responsible staff: Focal point for contribution management  Date by which action will be completed: To be confirmed based on conclusion of Effectiveness and Efficiency review   

Review and approval of donor agreements Some PARMO offices, and clusters within the New York office, followed good practices that deserved to be more widely used in the division. For instance, one office of PARMO sends a cover letter (after the donor agreement is signed) to the office responsible for managing the grant to highlight salient features of the agreement such as the duration, important dates and milestones, reporting accountabilities, recommendations for meeting donor representatives and  suggested methods  for  donor  visibility  and  recognition.  In  another  case,  a  cluster  in PARMO had produced a catalogue of standard clauses that could be included in an agreement without having to re‐negotiate text with their portfolio of donors each time. These practices merited broader use within PARMO. However, the audit also noted the following.  Divisional  capacity  to address  complex  issues  in  agreements:  The  review  of  draft donor agreements  in  PARMO was  done  by  the  staff managing  the  relevant  donor  relationship. Though the staff understood  fiduciary aspects and programme management well, they did not necessarily have  legal expertise. They sought guidance from the  legal office for specific issues as they thought necessary. PARMO did not have dedicated  legal capacity to provide such advice/clearance or help resolve complex  issues  in relation to grant agreements. The absence of such capacity resulted in avoidable delays, non‐optimal use of existing resources and lack of guidance for a coordinated divisional approach to dealing with complex issues.   At the time of the audit, PARMO was working on an arrangement with the office of the Legal Advisor in the Office of the Executive Director to provide it with funding for a legal specialist to support PARMO regarding contribution agreements (including complex clauses).  Prior  approval  for  signing  grants  agreements: Draft  agreements  between UNICEF  and  a donor for restricted contributions (OR) are expected to be cleared by the Director of PARMO, or a delegated authority within PARMO.   In  general,  offices  did  consult  PARMO  before  signing  donor  agreements  by  the  offices negotiating the grant. However, there was no systematic record of PARMO’s approval, or of cases where agreements had been signed before  it was given. These  included a  few cases wherein PARMO learned of the agreements when they had not only been signed by country 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 16 ____________________________________________________________________________________________

offices, but the grant had been received and then expired without the use of funds. In other instances, pertaining to UN Joint Funding mechanisms, agreements were signed  locally  (by the country office) without the involvement and/or prior approval of PARMO. In one instance, an  agreement  signed  locally  by  a  country  office with  a  donor was  later  cancelled when amendments suggested by PARMO were not mutually acceptable to the parties concerned. Systematic monitoring  of  compliance  exceptions would  prevent  such  practices,  especially when offices are eager to tap funding opportunities in a difficult aid environment. Adequate involvement of PARMO and its prior approval would improve donor relationship management and protect the interests of UNICEF.   Type of instruments and complex clauses:  UNICEF’s Medium Term Strategic Plan 2006‐2013 states (para 175) that the use of standard agreements will be sought whenever possible and that the extent to which they are used will be monitored as a proxy indicator for transaction costs and  flexibility of  contributions. Grant  agreements  are negotiated with  the donor by PARMO, other HQ divisions, or locally by country or regional offices, depending on the nature of grant and the donor; but they are expected to be reviewed and approved by PARMO before they are signed. It is important to also ensure that contractual agreements and arrangements in any  instrument type comply with the broad framework of UN and specific UNICEF rules, regulations and stated policies.  However,  eagerness  to  tap  funding  opportunities  without  strategic  perspective  caused different types of donor agreements to be signed, without PARMO involvement. Donors often influenced the type of instruments used, which could be standard agreements, Memoranda of Understanding as part of General Framework Agreements, Arrangement Schedule to the Master Arrangement, Project Cooperation Agreements, Exchange of Letter, and tailor‐made agreements. The criteria for using types of contractual instruments with emerging‐economy donors were unclear;  they varied  from exchange of  letters to tailor‐made agreements and stipulations. The number,  type and content of clauses  in  the  legal  instruments would vary from donor to donor and, with a single donor, from agency to agency.   The  types of  clauses  in  the grant agreement may have  legal, programmatic, and  fiduciary implications. Certain  clauses are more  complex and need more engagement between  the negotiating offices, PARMO clusters handling the agreement and the UNICEF Legal Advisor. Examples included clauses related to donor visibility, anti‐terrorism, transparency, efficiency (value for money), and repayment in cases of fraud or misuse. Many agreements had a non‐standard donor visibility clause; these varied from a simple paragraph of thanks in the reports and publications, to use of the donor’s name and logo in press reports, to a clear stipulation for UNICEF to have a press conference and a TV event to announce the grant in the recipient country.    A  single  organizational  standard  or  framework  agreement  for  all  grants  would  not  be practical. However, the use of defined principles and criteria for selection of instrument types and definitive guidance on  clauses  for  legal agreements would minimize  reputational  risk. PARMO recognized the legal capacity needs (in the 2014‐2017 OMP) and has called for a Legal Specialist  to be contracted under  the Legal Advisor and  funded by PARMO  to support  the division’s work.  Agreed action 7  (medium priority): The Public Sector Alliances and Resource Mobilization Office (PARMO) agrees to:   

i. Strengthen its capacity to enable internal coordination within the division on matters 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 17 ____________________________________________________________________________________________

of grant agreements.  ii. Maintain a record of approvals and monitor grants signed prior to their clearance.   iii. Provide  training  to  the  staff  concerned on managing  risks  related  to  contribution 

agreements, and on addressing complex issues in donor agreements.   Responsible staff: Focal point for contribution management  Date by which action will be completed: To be confirmed based on conclusion of Effectiveness and Efficiency review   

Donor reporting The offices managing utilization of the grant have the principal responsibility for submission of high‐quality donor reports as scheduled in the agreement with the donor.6 Reports to public sector donors  should always be submitted  through PARMO, or Brussels  in  the case of  the European Union (EU), unless otherwise specified in the agreement with the donor.7 However, regional offices are  responsible  for monitoring  the quality and  timeliness of donor  reports submitted by country offices.   Independent  assessments  of  donor  reporting  conducted  in  2012  by  the  Multilateral Organisation  Performance  Assessment  Network  (MOPAN),8    and  also  by  an  external consultant, called for improved reporting on results. UNICEF has acknowledged the need for improved timeliness and quality of donor reports. In June 2013, DPS and PARMO updated the guidance for donor reporting to integrate recommendations from the external and  internal evaluations. The guidance includes an 11‐point checklist for donor reporting, and a checklist for the preparation, review and clearance of donor reports. The checklist also provides  for review of reports by the regional office.  The audit reviewed the information in VISION for timeliness of submission of donor reports for  non‐thematic  grants  between  January  2012  and December  2012  (for  thematic  areas, individual consolidated reports are prepared). At the time of the audit, as per the information in VISION, 34 percent of the reports had not been submitted in time to donors. Of these, 62 percent were delayed beyond 30 days of due date.   At the time of the audit, 21 percent of reports were overdue.   According  to PARMO,  it had  reviewed  the  information provided  in VISION with  respect  to report submissions and  found that  it was not entirely accurate.  In many cases, the date of actual submission was recorded either incorrectly or not at all. In some cases, VISION was not updated when, after signature of a donor agreement, it was agreed to include the report as part of the consolidated report.  In other cases, offices entered the submission date as the same as the due date, though the reports had in fact been submitted late.  Where a delay had occurred, however, PARMO identified the following reasons:  

Deficiencies  in quality of draft donor  reports  require exchanges between PARMO and country offices for correction and revision. 

The financial reporting to the EU is unique in format and cannot be generated from the 

6 CF/EXD/2003‐013 Annex 1 – Reporting. 7 CF/EXD/2003‐013 Annex 1 – Reporting. 8 MOPAN is a network of 17 donor countries with a common interest in assessing the organizational effectiveness of multilateral organisations. MOPAN was established in 2002 in response to international fora on aid effectiveness and calls for greater donor harmonization and coordination. 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 18 ____________________________________________________________________________________________

system  in a standard form, as  in the case of other donors. PARMO stated that, though offices were reminded in advance of the EU requirements, there were still delays.  

Some grant types, such as thematic, require only one consolidated donor report, even though there are many sub‐grants assigned to a number of regional and country offices. Instead of flagging the donor report requirement only for the main grant, the system flags all sub‐grants in VISION, giving a false count of reports required and due.  

 VISION consists of SAP9 ERP and the Performance Management System (PMS). PARMO had started  working  with  ITSS  to  improve  donor  report  tracking  in  SAP  to  better  clarify responsibilities of the different offices. PMS reports had been modified to better show the office responsible for sending the reports. 

 Interviews with  regional offices  showed  that  they used  the VISION Dashboard  to monitor overdue reports as part of their oversight responsibility, as they are also a key performance indicator  for  country offices. However,  there are no specific ageing  reports  for analysis of delayed submissions. Further, four of the seven regional offices confirmed that they did not conduct an annual quality assurance  review of a sample of donor  reports, although  this  is recommended as a best practice by the PPPM.   Concerted efforts to minimize the proportion of late or unsatisfactory quality of donor reports would enhance relations with donors and lead to improved resource mobilization.  Agreed action 8  (high priority): The Office of  the Executive Director agrees  to establish a strategy and clarify the requirements (as part of the revised executive directive referred to in agreed action 2) to  improve the quality and timeliness of donor reports at the global  level; and clarify the responsibilities of PARMO and Regional Offices regarding oversight and support on donor reporting.  Responsible staff: Deputy Executive Director for External Relations Date by which action will be completed: September 2014   

Grant extensions and amendments A PARMO ‘draft’ directive (PARMO/Directive/2012‐001/Supplement 6: Grant Extensions for Non‐Thematic  Other  Resources  Contributions)  requires  country  offices  to  seek  grant extensions only in exceptional cases and to request them from the donor in a timely manner, and at least three months prior to the grant expiry date. All requests for extension must be made  in  the VISION Grant Management  System. According  to  the directive,  the  action  to amend the grants in the SAP Grant Management System will be done by PARMO.   The DFAM policy on revenue management explains what reasons may be given for making amendments to grant agreements, and the process by which they should be made. Offices are expected to provide a new comprehensive plan for project implementation in the proposed extended period, to avoid multiple grant extensions. For  locally negotiated grants, country offices  should obtain  approval  for  an  extension  from  the  local  donor  representative,  and should  attach  a  copy of  the  completed  and  signed extension  request  form  to  the VISION 

9 SAP is an acronym for Systeme, Anwendungenund Produkte in der Datenverarbeitung (Systems, Applications and Products in Data Processing). The acronym serves as the name of the German‐based software corporation SAP AG. SAP ERP (Enterprise Resource Planning) software allows the updating of data in real time across a range of locations. 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 19 ____________________________________________________________________________________________

records, for PARMO’s review and update of the grant master records.   The audit reviewed the information in VISION from January 2012 to April 2013 and found that as of 2 May 2013,  from a  total of 4,260 grants, 714 extensions had been agreed and 409 amendments made. Of the extensions, 11 percent related to requests for multiple (two to six) extensions of the same grant. To assist analysis, VISION provides for assignment of a reason code for extensions and amendments. However, the defined reason codes are insufficient for constructive  analysis.  For  example,  reasons  assigned  for  extensions  include  Agreeable extensions and Funding/Agreement related, constituting 53 percent of the cases. Further, in 18 percent of cases, the reason codes were not assigned. Similar issues were observed in cases of amendments. Extensions to grants, unless  justified by exceptional situations, may affect the confidence of the donors in UNICEF’s capacity to plan effectively and deliver on time.  The  audit  reviewed  a  sample  of  18  extensions  and  13  amendments,  and  identified  the following shortcomings:  

Extension request forms in VISION had incorrect information in data fields. For example, the dates of the request form and the original and proposed expiry dates were the same in most cases; and in many cases the data field for the authorizing person (to be manually entered) was either blank or had wrong data.  

Justifications for extensions were not clearly explained in the extension request forms in VISION in 39 percent of the sampled cases.  

Appropriate information and attachments were generally not available in VISION records. Extensions were also posted based on emails received from country offices, but without necessarily reviewing the approval from the donor. PARMO staff did not always review details received from country offices and/or verify the data in the request form in VISION before posting extensions and changing the expiry date. 

PARMO staff were inconsistent in the way they updated information in VISION to record extensions. In some cases it was done by creating an amendment to the grant master, and in others by  editing  the master data on  the  grant expiry dates.  Amendment options should be used, as they constitute a change to the original grant agreement. 

There  was  no  periodic  institutional  analysis  on  the  reasons  for  extensions  and amendments (though some clusters maintained relevant worksheets for their portfolio of donors).  

 The  above  shortcomings were  caused  by:  the  absence  of  formal  guidance  specifying  the procedural  responsibilities  of  staff  in  PARMO  and  country  offices;  lack  of  VISION  data validation checks on fields  like dates,  justification, authorization etc., causing data  integrity issues; and the need for better training and awareness in country offices. Reliable information on extensions and amendments in VISION would improve PARMO’s capacity to analyze causes and implement corrective action.  At the time of the audit, PARMO indicated that it was working with ITSS to improve reporting within the limitations of the system.   Agreed action 9  (medium priority): The Public Sector Alliances and Resource Mobilization Office (PARMO) agrees to:  

i. Review and clarify guidance on the use of VISION for extensions and amendments.  ii. Address data validation checks to strengthen data integrity in association with ITSS.  iii. Design reports for analysis of extensions and amendments. 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 20 ____________________________________________________________________________________________

 Responsible staff: Focal point for contribution management Date by which action will be completed: To be confirmed based on conclusion of Effectiveness and Efficiency review   

Expired grants UNICEF Financial and Administrative Policy 3 on Revenue Management (Supplement 1), and PARMO’s draft directive on Contributions  to UNICEF and Management of Other Resources Contributions, provide guidance to PARMO and DFAM for action to be taken on expired grants (with  unspent,  overspent  or  unpaid  balances),  leading  to  their  closure  in  the  SAP  grant management  system.  Grants  related  to  public‐sector  contributions  can  only  be  created, amended  and  extended  in  VISION  by  PARMO.  Hence,  it  needs  to  ensure  that  the  grant information recorded in VISION is accurate and complete.    PARMO  receives  a  cumulative  summary  report  from DFAM  each  year  after  the  year‐end financial closure, reflecting the status of all contributions by donor. This report also includes previous  years’  contributions  relating  to  expired  grants with  unspent  balances,  on which action  should be  taken  (transfer  to RR,  re‐programme or  refund). PARMO  liaises with  the donors  on  unspent  balances  and,  upon  agreement with  them,  recommends  appropriate action through a Note for the Record to DFAM for settlement and closure of the grant.   The audit noted the following shortcomings in the management of expired grants:  

The respective clusters managing donor relationships share the annual cumulative report (provided by DFAM) with donors,  seeking  their advice on unspent balances. However, there was no mechanism  for  subsequent coordinated divisional monitoring of expired grants with unspent balances and the actions taken regarding them.  

The refunds to donors of unutilized grants in 2012 and 2011 were US$ 4.1 million and US$ 7.8 million respectively. There were no mechanisms for a consolidated analysis, by donor and cause, for refunds and underutilization (including transfers to regular resources and reallocations to other programmes).  

The grant management system did not accurately reflect the status of expired grants. As per VISION data (May 2013), 104 grants that expired prior to 2005 (including 25 grants expired prior  to year 2000), and 2,119 grants  that expired during 2006‐2010, awaited closure in the grant management system. An expired grant is closed in VISION by DFAM, following advice provided by PARMO after its review and communication with the donor.  

 PARMO has, with DFAM, begun  to  review  the  results above  and  reflect  the  status of  the expired grant records more accurately. PARMO indicated that it was working with DFAM to clarify  the  procedures  and  responsibilities  for  the  different  steps  of  grant  closure  and reviewing  the  feasibility of an electronic Note  for  the Record workflow. The availability of ageing reports on open expired grants, key monitoring indicators for expired grants and the assignment of responsibilities would help PARMO provide more effective oversight.   Agreed action 10 (medium priority): Taking into account its lead responsibility in managing the  records  in  the  grant management module  of VISION,  the  Public  Sector Alliances  and Resource Mobilization Office (PARMO) agrees to, together with DFAM:  

i. Clarify the procedures and responsibilities related to expired grants;  ii. Identify  key  report  requirements  and  establish  plans  for  developing  the  reports 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 21 ____________________________________________________________________________________________

accordingly. iii. Periodically monitor the expired grants until closure in VISION.  

 Responsible staff: Focal point for contribution management  Date by which action will be completed: To be confirmed based on conclusion of Effectiveness and Efficiency review   

Oversight of contribution management: Conclusion Based on the audit work performed, OIAI concluded that, subject to implementation of the agreed  actions  described,  the  controls  and  processes  over  the  oversight  of  contribution management, as defined above, were generally established and functioning during the period under audit.    

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 22 ____________________________________________________________________________________________

Annex A:  Methodology, and definition  of priorities and conclusions 

 The  audit  team  used  a  combination  of  methods,  including  interviews,  questionnaires, document reviews, and testing samples of transactions. The audit compared actual controls, governance  and  risk management  practices  found  in  PARMO  against UNICEF  established standards from various sources including the 1998 accountability document (Organization of UNICEF; E/ICEF/Organization/Rev.3 dated April 1998); the Executive Directive on Fund Raising (CF/EXD/2003‐013); PARMO Directives on Contributions to UNICEF and Management of Other Resources Contributions (draft); PARMO Office Management Plans; DFAM policy on revenue management; and the Programme Policy and Procedures Manual. Structured questionnaires were sent to all seven regional offices and their responses analyzed. In addition, interviews were held with staff from six HQ divisions (PD, EMOPS, PFP, DOC, DPS and GMA) that have significant  roles  in  collaborating  with  PARMO  on  public  sector  alliances  and  resource mobilization.  OIAI  is  firmly  committed  to working with  auditees  and  helping  them  to  strengthen  their internal controls, governance and risk management practices in the way that is most practical for  them. With  support  from  the  Office  of  the  Executive  Director,  PARMO  reviews  and comments upon a draft report before the finalization of the audit. The Director and their staff then work with  the audit  team on agreed action plans  to address  the observations. These plans are presented in the report together with the observations they address. OIAI follows up on these actions, and reports quarterly to management on the extent to which they have been  implemented.  When  appropriate,  OIAI  may  agree  an  action  with,  or  address  a recommendation to, an office other than the auditee’s (for example, a regional office or HQ division).  The audit looks for areas where internal controls can be strengthened to reduce exposure to fraud or irregularities. It is not looking for fraud itself. This is consistent with normal practices. However, UNICEF’s auditors will consider any suspected fraud or mismanagement reported before or during an audit, and will ensure that the relevant bodies are  informed. This may include asking the Investigations section to take action if appropriate.  The audit was conducted in accordance with the International Standards for the Professional Practice  of  Internal  Auditing  of  the  Institute  of  Internal  Auditors. OIAI  also  followed  the reporting standards of International Organization of Supreme Audit Institutions.   

Priorities attached to agreed actions  

High:  Action  is  considered  imperative  to  ensure  that  the  audited  entity  is  not exposed  to  high  risks.  Failure  to  take  action  could  result  in  major consequences and issues. 

 Medium:  Action is considered necessary to avoid exposure to significant risks. Failure 

to take action could result in significant consequences.  Low:  Action is considered desirable and should result in enhanced control or better 

value for money. Low‐priority actions, if any, are agreed with the auditee but are not included in the final report. 

 Internal Audit of the Public Sector Alliances and Resource Mobilization Office (2013/54) 23 ____________________________________________________________________________________________

 

Conclusions  

The conclusions presented at the end of each audit area fall into four categories:  [Unqualified (satisfactory) conclusion] Based on the audit work performed, OIAI concluded at the end of the audit that the control processes over the country office [or audit area] were generally established and functioning during the period under audit.  [Qualified conclusion, moderate] Based on the audit work performed, OIAI concluded at the end of the audit that, subject to implementation of the agreed actions described, the controls and processes over [audit area], as defined above, were generally established and functioning during the period under audit.  [Qualified conclusion, strong] Based on  the audit work performed, OIAI concluded  that  the controls and processes over [audit  area],  as  defined  above,  needed  improvement  to  be  adequately  established  and functioning.    [Adverse conclusion] Based on  the audit work performed, OIAI concluded  that  the controls and processes over [audit area], as defined above, needed significant improvement to be adequately established and functioning.    [Note:  the  wording  for  a  strongly  qualified  conclusion  is  the  same  as  for  an  adverse conclusion but omits the word “significant”.]  The audit team would normally issue an unqualified conclusion for an office/audit area only where none of  the  agreed  actions have been  accorded high priority. The  auditor may,  in exceptional circumstances, issue an unqualified conclusion despite a high‐priority action. This might  occur  if,  for  example,  a  control was weakened  during  a  natural  disaster  or  other emergency,  and where  the office was  aware  the  issue  and was  addressing  it.   Normally, however, where one or more high‐priority actions had been agreed, a qualified conclusion will be issued for the audit area.   An adverse conclusion would be issued where high priority had been accorded to a significant number of the actions agreed. What constitutes “significant” is for the auditor to judge. It may be  that  there  are  a  large  number  of  high  priorities,  but  that  they  are  concentrated  in  a particular  type  of  activity,  and  that  controls  over  other  activities  in  the  audit  area were generally satisfactory.  In  that case,  the auditor may  feel  that an adverse conclusion  is not justified.