where museums, libraries, and archives intersect niso z39.87 developments robin l. dale rlg

Where museums, libraries, and archives intersect

NISO Z39.87 Developments

Robin L. DaleRLG

Cornell Metadata Working Group, 20 May 2005

• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Brief Background

1999 NISO/RLG/CLIR sponsored meeting– “metadata necessary to preserve images”

8/2000 NISO committee AU convened 7/2002 Z39.87 Draft Standard for Trial Use

released– Comprehensive list of technical data elements

required to manage and preserve digital image collections

– 18 month DSFTU evaluation period– Allowed for evaluation via implementation


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

NISO Z39.87 Technical Metadata for Digital Still Images

Predominantly implemented through MIX (NISO Metadata for Images in XML Schema)– MIX schema created by Library of Congress– METS extension schema

“First line of defense” against obsolescence for images

Subset of broader preservation metadata set


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Z39.87-2002 [DSFTU]

Sections– Basic image parameters record information crucial to

displaying a viewable image– Image creation metadata records information crucial

to understanding the technical environment in which a digital image file was captured

– Imaging performance assessment metadata records information that allows evaluation of the digital image’s quality, or output accuracy

– Change history metadata records information about the processes applied to an image over its life cycle


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Comments Received

27 submitted comments– “Too TIFF centric”– “not general enough to allow detailed

characterization of other image formats…”– “should be able to record JPEG 2000 files…”– “controlled elements are problematic…”– “but why doesn’t it include xx field??”– “not future proofed… what about local lists?”– And more………


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

NISO Z39.87 Revisions (1 of 2)

Original draft: TIFF-centric– Now: more applicable to all still image formats,

including JPEG 2000 Original draft: closed data value lists

– Now: future-proofing through open lists, local lists, string values

Original draft: only data dictionary, no data format– Now: XML aware [XML Schema as Appendix (NOT

part of standard)]– Allows for embedded profiles, color maps, etc.

Corrects some minor errors


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

NISO Z39.87 Revisions (2 of 2)

Complete restructuring Harmonization with PREMIS on basic

digital object information Most data can be automatically extracted

from image files Other data is constant and can be

“batched” in


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •NISO Components & Elements (1 of 2)

Basic Digital Object Information– Object identifier, file size, format designation,

byte order, compression, fixity

Basic Image Information– Characteristics (image width & height, color

space, color profile, etc)– Special format characteristics (JPEG2000,

MrSID, djvu, etc.)


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •NISO Components & Elements (2 of 2)

Image Capture– Source, capture (scanner and digital camera)

information Image Assessment

– Spatial metrics (sampling frequency), Image color encoding (bits per sample, color map, primary chromaticities, etc), target data (type, id, external target, performance data)

Change History– Image processing (date, source, software),

previous image metadata


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

MIX

New schema in development– Library of Congress– www.loc.gov/standards/mix/

Version 1.0 status Available once standard completes

balloting


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Use the Data Dictionary To…

Capture Data– Capture data from image fileheaders– Capture data from policies

Manage Data– Build a Digital Asset Management Database– Evaluate a Digital Asset Management Database

Educate the vendor community– Streamline automated capture of technical

metadata


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Automatic Exposure – an RLG initiative

Overarching goal: Economic implementation of NISO Z39.87– Minimize the cost of technical metadata

acquisition– Maximize the ability to ensure long-term

access to digital images Encouragement of standards & tools to

support automated metadata harvesting Identification of existing tools Initiative supported by DLF and MCN


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Automatic Exposure investigations Goals

– Capture mechanism: a host for the metadata– Editing mechanism: a place to add metadata– Export mechanism: a way to transfer metadata from the file to a

preservation database Leveraging existing specifications

– Available Metadata• What technical metadata do we currently have access to?• Mapping Z39.87 to TIFF, EXIF, JPEG 2000 (JPX)

– Extraction Tools• How can technical metadata be extracted for transfer into

preservation databases? Expanding to NISO Z39.87

– What mechanisms can we identify which could give us access to the extractable NISO Z39.87 elements?


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Automatic Exposure – Next Steps

Leveraging– “Scorecard” for Tools

• Communicate to community options for technical metadata extraction

– RLG DigiNews October 2004 > Spotlight

– Adobe XMP custom panel– JPEG 2000 revised mapping

Expanding to NISO Z39.87– Keep communicating with industry– Ask you to exert pressure when you purchase!


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Getting at the Metadata: Leveraging Existing Tools

Viewing– A community standard: Adobe Photoshop CS

Extraction Tools– JHOVE – NLNZ Metadata Extract Tool

Mapping– TIFF– EXIF– JPEG 2000 (jpx metadata)


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Viewing Metadata: an example (1)


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Viewing Metadata: an example (2)


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Viewing Via Photoshop


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Leveraging Existing Technologies – Metadata Extraction Tools

Community based– JHOVE

• The JSTOR-Harvard Object Validation Environment

– National Library of New Zealand• “Metadata Extract Tool”

– University of Basel extractor tool

Industry based– Adobe Extensible Metadata Platform (XMP)– Eastman Kodak Picture Metadata Toolkit


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Example 1: JHOVE

RepresentationInformation: DSC00012.JPGReportingModule: JPEG-hul, Rel. 1.0 (2004-06-23)LastModified: 2004-10-22 16:19:16 EDTSize: 154377Format: JPEGStatus: Well-formed and validMIMEtype: image/jpegJPEGMetadata:

CompressionType: Huffman coding, Baseline DCTImages:

Image:NisoImageMetadata:

MIMEType: image/jpegByteOrder: big-endianCompressionScheme: JPEGScannerManufacturer: MINOLTAScannerModelName: Dimage VImageWidth: 640ImageLength: 480BitsPerSample: 8SamplesPerPixel: 3

Scans: 1QuantizationTables:

QuantizationTable:Precision: 8-bit

DestinationIdentifier: 0Exif:ExifVersion: 0100FlashpixVersion: 0100ComponentsConfiguration: 1, 2, 3, 0CompressedBitsPerPixel: 2DateTimeOriginal: 2004:03:30 12:54:14DateTimeDigitized: 2004:03:30 12:54:14ExposureProgram: unidentifiedMeteringMode: paternLightSource: unknownFlash: firedFocalPlaneResolutionUnit: inchesFileSource: DSCSceneType: directly photographed imageCustomRendered: normalFocalLengthIn35mmFilm: 0SceneCaptureType: standardSaturation: normalSharpness: normalSubjectDistanceRange: unknown

ApplicationSegments: APP1


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Example 2: National Library of New Zealand


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

NLNZ Tool (2 of 3)


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

NLNZ Tool (3 of 3)


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Extracted NLNZ XML record


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Example 3: Adobe XMP Open-Source specification for sharing metadata across

applications Extracts existing metadata (TIFF, EXIF, DIG35) Embeds metadata as an XMP packet (XML) Access for viewing / editing metadata

– Adobe Photoshop File Info

Option to customize metadata set– Adding fields through a custom panel

Export metadata– Individual file: “Save” on File Info – Advanced Screen– Batch: Script and Droplet– Creates XML file


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Remember PhotoShop File Info?


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

XMP: Script and Droplet


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

NISO Z39.87-2005

The standard– With NISO for editing– Expected balloting by 1 July– 6 week ballot

Use of the standard– Harvesting tools– MIX / METS– Local metadata schema

Cornell’s Use? . . Oya


• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

where museums, libraries, and archives intersect niso z39.87 developments robin l. dale rlg

Documents

cornell metadata

technical metadata

image formats

image files

mix niso metadata

digital image file

digital image collections

niso z39