Sea2Data
Havforskningsinstituttets datainfrastrukturprosjekt for feltdata
INTERNT
EKSTERNT
DATA BEARBEIDING
DATA HJELP
KVALITETSSIKRING
2. LINJE
FEILRETTING
1. LINJE
FEILRETTING
BRUKERE
FEILRETTING
DATA INN DATA UT
Kvalitetssikret innen 6 mnd Program
- Prosjekt - Felt - Lab - Annet Historiske data
Leverandører - UiB - PINRO - EU - Andre
Program Prosjekt Forskere Info
MAREANO Forsvaret MRDB
Artsdatabanken Norge Digitalt ICES
IOC/IODE HI www.imr.no
- Termograf - Snitt etc Andre
KONVERTERING RIKTIGFORMAT
Bestillere
NMD ansvarsområde
Data flyt Data flyt
Data flyt Data –
Lagring Vedlikehold Aggregering Data flyt
Mål
• Effektivisera dataflyt og sikra data
• Førebu instituttet på å verta eit nasjonalt senter for marine data
– Barents watch, ADMAR, BarEcoRe, etc
• Operasjonelle fartøydata som døme
– Bruka dette som mal på andre typar data
Skuffer og skap Skuffer og skap
Tradisjonell tilnærming
• Einbrukartankegang mot datalager
– Parallelle dataløyper oppstår
Datainnlegging Post tokt Kvalitetssikring
i ettertid
Analyse?
Datainnsamling på tokt
DBDBDBDBTindor
Kvalitetssikring på tokt
Kvalitetssikring i ettertid
ICES arbeidsgrupper
Skuffer og skap
Ny tilnærming
• Fleirbrukartankegang
– Alle arbeider mot det same systemet, ingen redundans
Datainnlegging Post tokt
Kvalitetssikring
i ettertid Analyse Datainnlegging
på tokt
DBDBDBDBNMD
Biotic data DBDBDBDBNMD
Biotic data
Kvalitetssikring på tokt
NMD Fartøy
ICES arbeidsgrupper Analyse
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
Teknologi
• Felles teknologi
– Samkjøring av teknologival mellom IT, NMD og andre – Kompetanseheving
– Mindre sårbart
• Modulært (Byggeklossar)
– Enkelt å implementera nye dataløyper – Byggeklossar – Enkelt å skifta ut teknologi
Sluttbrukar applikasjon
WEB
grensesnitt R/matlab/etc NN
DBDB DBDB
IMR
Biotic data
Datahåndteringslag
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
Operasjonell infrastruktur
• Skreddarsydd infrastruktur
Ny ”regfisk”
(fiskelaben) dB management
(instrument)
DBDBDBDBBiotic
Brulogg (styrehuset)
Trålregistrering
(trålbas) Toktdata
(toktleiar) Sensordata
(”automatisk”)
HUB REF
BIO
ECHO
HUB REF
BIO
ECHO
HUB REF
BIO
Sy nc
ECHOH R B E
Operasjonell infrastruktur
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
Eksterne operasjonelle data
• Innsamling av data frå fiskeflåten
• Registrering av nødvendig informasjon som til dømes fiskeinnsats etc er i dag problematisk
– RegFisk er ikkje fleksibelt nok til å registrera data på maskevidde, agntype, og miljødata som
influerer fisket
– RegFisk er ikkje kompatibel med dagens
operativsystem, og må kjørast på gammalt system
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
Litt historie om historiske data
• Behovet for dataflyt og tilgang har vært presserende lenge
– Innleggingsplan for data i Havforskningsinstituttets forskningsdatabase (Fotland et al. 1994)
– KULT (Kvalitetssikring, Utvalg, Lagring og Tilgang) 2004-2007
• Vurdere prosedyrer og IT-løsninger for forskningsdata
• Kartlegging, tilgjengeliggjøring, dataverktøy for uthenting og bearbeiding/analyse, prosedyrer/rutiner
– Datasett og lange tidsserier (Moksness et al. 2007)
• Prioritert liste over HI sine lange tidsserier basert på evalueringskriterier
• Datasett som i 2007 potensielt kunne utvikles til lange tidsserier i fremtiden
• Særlig viktige datasett
• Føringene i disse dokumentene danner grunnlag for arbeidet
med de historiske dataene
Fra føringer til bits and bytes
Fra føringer til bits and bytes
• Sea2data vil i første omgang konsentrere seg om noen få, sentrale, løpende tidsserier:
– Bunntråltokt i Barentshavet feb/mar (1981 - ) – Økosystemtoktet i Barentshavet aug/sep (2003 -)
• Bunntrål og akustikk + mange andre tidsserier
– Akustisk tokt NVG sild og kolmule i Norskehavet mai (1996 -)
• Data fra samarbeidspartnere
– Internasjonale tokt
– Trenger fullstendig datasett for å reprodusere indekser – Hvilke restriksjoner ligger på data fra samarbeidspartnere?
• Kompetanse- og tidkrevende arbeid
– Gode verktøy
– Ressurskrevende – langt lerret å bleke
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
Dataprodukt
• Døme frå akustisk mengdeestimering (Ny BEAM)
• Kan køyrast frå Studio eller skript (R, matlab etc)
• Tilgang på mellomrekningar
DBDB DBDB
NMD Biotic data Datahåndteringslag
Dataprodukt
DBDB DBDB
NMD Biotic data Datahåndteringslag
Automatisk generert toktrapport?
Skript
Generering av fiskefordelingskart?
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)
Operasjonalisering
• Sea2Data produserer mange produkt:
– Spesifikasjonar (t.d. forklaring av ei dataløype) – IT-løysingar (t.d. modul for innlegging av data) – Bruksrettleiingar (t.d. for bruken av
innleggingsmodulen)
– Prosedyrar (t.d. instruks for innlegging av data)
Implementeringsplan
• Implementeringsplan, informasjon under Hinnsiden
• Opplæring
• Prosedyrar (mange nye må skrivast) vil inngå som ein del av den nye elektroniske kvalitetshandboka (som kjem på nyåret)
• Stegvis implementasjon
• Vi er avhengige av ein del velvilje i
implemeteringsfasen…
WP5 – External operational data (Jon Helge
Vølstad)
Data source WP6 NMD
WP6a – NMD Data models
WP6b – NMD Products (Nils Olav Handegard) WP4 –
Historical data (Geir Odd Johansen)
IMR
WP3 – Field infrastructure
(Jens-Otto Krakstad)
WP1 – National and international coordination (Helge Sagen) WP2 – Technological solutions (Trond Westgård)
WP0 – Coordination and project management (Erlend Moksness)
WP 7 Operationalisation and implementation (Harald Gjøsæter)