9/84 Tove Fjeldvig og Anne Golden
■ N a s iM » » Ills
AUTOMATISK
ROTLEMMATISERING — ET LINGVISTISK
HJELPEMIDDEL FOR TEKSTSØKING
NORIS (64) og NORIS (58)
COMPLEX
INSTITUTT FOR RETTSINFORMATIKK
UNIVERSITETSFORLAGET
IBM Bergen Drerjqsaimenmnq 10'12 IH (OSi i l 5f‘ 00 IBM H am ar Parkcjl 2 li: (065) 27 7<tr.
IBM Kristiansand S Rad husijl 3 tit 1042)29 100 IBM Sarpsborg Kirkegl 63. til (031i57 03t' I B M S t a v a n g e r Auqlend:;< )alen )1 Ut (0**> fjtt bf) 00 IBM Trondheim Kongensgt f>0 til lO/Si 30 f>«
IB M Tonsberg Ni?drp la n q q i 33 IK (033)12 013 IBM Ålesund Parkqt 7. tit (071124387
IBM Oslo Dronninij M am lsqt 10 11 tit | 0 2 ) 2 0 ^ ‘>0
FABRITIUS FA BRITIUS f A BRITIUS F A B R IIIU S F ABRITIUS F ABRITIUS F ABRITIUS FABRITIUS F AB IUS FABRITIUS FABRITIUS F A BRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FA BRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS F ABRI TIUS FABRITIUS FABRITIUS FABRITIUS F<\BRlTlUS FABRITIUS FAB IUS FABRITIUS FABRITIUS F A8RITIUS FA BRITIUS FABRITIUS FA
FABRITIUS FABRITIUS FA BRITIUS FABRITIUS FA BRITIUS F*^.
IUS FABRITIUS FABRITIUS FA BRITIUS FABRITIUS FA»
FABRITIUS FABRITIUS FA BRITIUS FA BRITIUS FA£.
IUS FABRITIUS FABRITIUS FABRITIUS F A ^ , FABRITIUS FABRITIUS FA BRITIUS FA»
IUS FABRITIUS FABRITIUS FAP£^.
FABRITIUS FABRITIUS FA».
IUS FABRITIUS FAR»;
FABRITIUS FAP£, IUS F ABRI FABRITIUS IUS FABRIT FABRITIUS I IUS FABRITR FABRITIUS F*
IUS F ABRITIU!
FABRITIUS F At IUS FABRITIUS FABRITIUS FABF>
IUS FABRITIUS FABRITIUS FABRl IUS FABRITIUS F FABRITIUS FABRITl IUS FABRITIUS FAI FABRITIUS FABRITIU IUS FABRITIUS FABl FABRITIUS FABRITIUS FAB
FAjjRITIUS FABRITIUS FABRITIUS FAB ITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FAB S FABRITIUS BRITIUS FAB
£ FABRITIUS RITIUS FAB FABRITIUS ITIUS FAB FABRITIUS TIUS FAB 8RITIUS US FAB RITIUS S FAB
!S FABRITIUS S FA8RITIUS FAB FABRITIUS FABRITIUS S FABRITIUS FABRITIUS FAB FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB IUS FABRITIUS FABRITIUS FA8RITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FA BRITIUS FA BRITIUS FABRITIUS FABRITIUS FABRITIUS FABRITIUS FAB
U\(grskJormitgJbr
JUS og EDB
Postboks 7557, Skillebekk. OSLO 2 P o s tg iro 5 139654 B a nk g iro 820042 49727
P o s tg iro C o m p L e x 2 12 1663
F o r e n i n g e n s t å r bl.a. for
s a l g e t av C o m p L e x - h e f t e n e
og v e d l i k e h o l d e r a b o n n e m e n t s
o r d n i n g e n e for serien.
CompLcx nr. 9/84
Institut! for rettsinformatikk Niels Juels gate 16
0272 O SLO 2
Tove F jeldvig og A nne G olden
AUTOMATISK ROTLEMMATISERING — ET LINGVISTISK HJELPEMIDDEL FOR
TEKSTSØKING
NORIS (64) og NORIS (58)
Prosjektet er støttet av N orges tek nisk-naturvitenskapelige forskningsråd ( N T N F ) , o g Statens rasjonaliseringsdirektorat har gitt et bidrag
til publisering av d e n n e rapporten.
U n iv e r s ite t s f o r la g e t O s lo
© U niversitetsforlaget 1984 ISBN 82-00-07035-2
U tgivelsene i sk riftserien C om pL ex stø ttes av D en norske B ank fo ren in g
B ergens T id en d e
N orsk A rbeidsgiverforening Televerket
N orsk senter for in fo rm a tik k A /S D en N orske A d v o k atfo ren in g N orges F o rsik rin g sfo rb u n d O rk la In d u strie r
I N N H O L D S F O R T E G N E L S E
F O R O R D s i d e
1 . S Y N O N Y M P R O B L E M E T I T E K S T S Ø K I N G 8
1 .1 T e k s t s ø k i n q 8
1 .2 S y n o n y m e r i t e k s t s ø k i n g 10
1 .3 H j e l p e m i d l e r ti l b r u k v e d f o r m u l e r i n g av
s ø k e a r g u m e n t e t 11
1 .4 F o r s k n i n g o m k r i n g l i n q v i s t i s k e h j e l p e m i d l e r 14 1 .5 B e h o v e t f or en m e t o d e f o r l ø s n i n g av de m o r f o l o g i s k e
p r o b l e m e n e p å n o r s k 17
2. M E T O D E F O R A U T O M A T I S K R O T L E M M A T I S E R I N G 19
2 .1 R e g e l b a s e r t m e t o d e 19
2 . 2 B e g r e p e t " a u t o m a t i s k r o t l e m m a t i s e r ing" 19
2 . 3 A l t e r n a t i v e f r a m g a n g s m å t e r 22
2 . 4 S k i s s e av en r e g e l b a s e r t m e t o d e f or a u t o m a t i s k
r o t l e m m a t i s e r ing 29
3 . M O R F O L O G I E N I N O R S K 31
3.1 I n n l e d n i n g 31
3 . 2 B ø y n i n g s m u l i g h e t e r 31
3 . 3 A v l e d n i n g s m u l i g h e t e r 33
3 . 4 S a m m e n f a l l i e n d e l s e r 34
3 . 5 Å p n e o g l u k k e d e o r d k l a s s e r 35
3 . 6 A n a l y s e av o r d k l a s s e n e 3 5
(1) I n n l e d n i n g 3 5
(2) P r o n o m e n , a r t i k l e r o g t a l l o r d 36
(3) A d v e r b 36
3 . 7 Å p n e o r d k l a s s e r m e d b ø y n i n g s m u 1 i g h e t e r 3 6
(1) I n n l e d n i n g 3 6
(2) S u b s t a n t i v 3 8
(3) V e r b 38
(4) A d j e k t i v 39
3 . 8 Å p n e o r d k l a s s e r m e d a v l e d n i n g s m u 1 i g h e t e r 4 0
(1) I n n l e d n i n g 40
s i d e
(2) S u b s t a n t i v 4 0
(3) V e r b 4 0
(4) A d j e k t i v 4 0
4. E T A B L E R I N G A V R E G E L S E T T E T 41
4 .1 E k s p e r i m e n t m a t e r i a l e t 41
4 . 2 O p p s l a g s f o r m 41
4 . 3 E k s e m p e l p å p r o b l e m e r ve d r o t l e m m a t i s e r i n g 4 2
4 . 4 B e s k r i v e l s e av en r e g e l 4 6
(1) I n n l e d n i n g 4 6
(2) B o k s t a v s t r e n g 4 6
(3) B e t i n g e l s e 4 7
(4) O r d r e 4 7
(5) T y p e b e t e g n e l s e 4 8
4 . 5 R e g e 1 t y p e r 4 8
(1) T r e h o v e d o p p g a v e r 4 8
(2) O p e r a s j o n e r
(3) R e g l e r s o m n ø y t r a l i s e r e r b å d e b ø y n i n g s - og
5 0
a v l e d n i n g s e n d e l s e r 53
4 . 6 E n d e l i g e o r d g r u p p e r - l e k s i k o n 5 4
5. F O R S Ø K M E D A U T O M A T I S K R O T L E M M A T I S E R I N G 5 8
5.1 H v a er r i k t i g r o t l e m m a t i s e r i n g ? 58
(1) E n t y d i g o p p s l a g s f o r m 58
(2) L e k s i k a l i s e r i n g s p r o b l e m e t 59
(3) G r a d b ø y n i n g s p r o b l e m e t 59
(4) H o m o g r a f e r 59
5 . 2 O r d s o m b l e g r u p p e r t r i k t i g 6 2
5 . 3 D e m e s t p r o b l e m a t i s k e o r d f o r m e n e 6 5
(1) O v e r s i k t o v e r r e s u l t a t e t 6 5
(2) B ø y n i n g s - o g a v l e d n i n g s r e g l e r 66
(3) F e i l t y p e r 6 7
5 . 4 R e g l e r s o m f ø r t e til f e i l r o t l e m m a t i s e r i n g 70
5 . 5 R e g e l s t a t i s t i k k 73
5 . 6 R e s u l t a t e r m e d t e s t m a t e r i a l e t 78
s i d e 6. A U T O M A T I S K R O T L E M M A T I S E R I N G I T E K S T S Ø K I N G 79 6 . 1 E k s p e r i m e n t e r m e d a u t o m a t i s k r o t l e m m t i s e r ing 79 6 . 2 A u t o m a t i s k r o t l e m m a t i s e r ing i f o r h o l d til
t r u n k e n n g 7Q
6 . 3 B e s t e m m e l s e av o r d e n e s v e k t v e d s ø k i n g 82 6 . 4 A u t o m a t i s k r n 1 1 e m m a t i s e r ing s o m i n g r e d i e n s i a n d r e
h j e l o e m i d l e r (1) I n n l e d n i n g
(2) A u t o m a t i s k t r u n k e r i n g
(3) A u t o m a t i s k s p l i t t i n g av s a m m e n s a t t e o r d 87
(4) A u t o m a t i s k o r d k l a s s e b e s t e m m e l s e 87
6 . 5 F o r b e d r i n g av m e t o d e n
(1) V u r d e r i n g av d a g e n s m e t o d e (2) R e d u k s j o n av e k s i s t e r e n d e f e i l (3) O v e r g a n g e n til et n y t t m a t e r i a l e
(4) E n d r i n g e r i r e g e l s e t t e t v e d o p p d a t e r i n g av t e k s t m a t e r i a l e t
(5) B r u k av m e t o d e n 92
7. A N D R E A N V E N D E L S E R A V M E T O D E N 93
7.1 I n n l e d n i n g 93
7 . 2 D a t a m a s k i n s t ø t t e t s t i k k o r d p r o d u k s j o n 93
7 . 3 L i n g v i s t i s k h j e l p e m i d d e l 94
7 . 4 V i d e r e f ø r i n g 96
8 5 85 8 5
88 88 89 90
91
L I T T E R A T U R L I S T E
F O R O R D
M e d d e n n e r a p p o r t e n s e t t e r vi s l u t t s t r e k f o r et s t o r t , a r b e i d s k r e v e n d e , m e n o p p s l u k e n d e a r b e i d i n n e n s p r å k l i g d a t a b e h a n d l i n g .
S l u t t p r o d u k t e t er et r e s u l t a t av m a n g e å r s a r b e i d . S a m a r b e i d e t m e l l o m f o r f a t t e r e n e h a r v æ r t e n k l a r f o r u t s e t n i n g f o r
f u l l f ø r i n g e n av p r o s j e k t e t f o r d i d e t k r e v d e b å d e l i n g v i s t i s k k o m p e t a n s e og g o d t k j e n n s k a p t i l t e k s t s ø k i n g og d a t a b e h a n d l i n g . V i ø n s k e r d e r f o r å b e n y t t e d e n n e a n l e d n i n g t i l å f o r t e l l e h v o r t i l f e l d i g d e t v a r at d e t t e s a m a r b e i d i d e t h e l e t a t t k o m i g a n g o g h v o r v i k t i g d e t er at m a n f å r m u l i g h e t e n t i l å r e i s e på
s e m i n a r e r , k o n g r e s s e r o . l . d e r m ø t e m e d a n d r e i n n e n f o r b e s l e k t e d e f a g o m r å d e r o f t e s p i l l e r en s t ø r r e r o l l e e n n s e m i n a r e t s i n n h o l d .
V i m ø t t e h v e r a n d r e i 1 9 8 2 p å v e i t i l De n o r d i s k e d a t a l i n g v i s t i k k - d a g e r i T r o n d h e i m . V e d en t i l f e l d i g h e t h a v n e t vi v e d s i d e n av h v e r a n d r e i f l y e t , o g d e t t o k i k k e l a n g t i d f ø r vi o p p d a g e t at T o v e ( F j e l d v i g ) f o r s ø k t e å u t v i k l e d e t s o m A n n e ( G o l d e n ) h a d d e s a v n e t i s i t t p r o s j e k t .
T o v e a r b e i d e t m e d t e k s t s ø k e s y s t e m e r ( d a t a m a s k i n e l l e s y s t e m e r f o r g j e n f i n n i n g av d o k u m e n t e r ) o g v a r o p p t a t t av å f i n n e f r a m t il e n r e g e l b a s e r t m e t o d e s o m k u n n e k j e n n e i g j e n o r d m e d s a m m e rot.
I et t e k s t s ø k e s y s t e m e r e t h v e r t o r d i t e k s t e n s ø k b a r t , o g u t e n i n f o r m a s j o n o m h v i l k e o r d s o m e r b ø y n i n g s - o g a v l e d n i n g s f o r m e r av s a m m e rot, v i l s y s t e m e t o p p f a t t e to o r d s o m f o r s k j e l l i g h v i s en av b o k s t a v e n e e r f o r s k j e l l i g e l l e r r e k k e f ø l g e n a v d e m
f o r s k j e l l i g e .
A n n e a r b e i d e t m e d n o r s k u n d e r v i s n i n g f o r u t e n l a n d s k e s t u d e n t e r og v a r e n g a s j e r t i et p r o s j e k t s a m m e n m e d a m a n u e n s i s A n n e H v e n e k i l d e d e r o r d f o r r å d e t i g r u n n s k o l e n s o - f a g s b ø k e r
( o r i e n t e r i n g s f a g ) s k u l l e a n a l y s e r e s . Et v i k t i g l e d d i d e t t e s t u d i e t v a r å u n d e r s ø k e h v i l k e o r d s o m f o r e k o m h y p p i g s t og s o m d e t v a r g r u n n til å l e g g e v e k t p å i u n d e r v i s n i n g e n av f r e m m e d s p r å k l i g e e l e v e r i g r u n n s k o l e n . P å g r u n n av m a t e r i a l e t s t ø r r e l s e (ca. 8 3 0 0 0 0 l ø p e n d e o r d ) v a r d e t en f o r u t s e t n i n g at f r e k v e n s -
s t u d i e n e b l e g j e n n o m f ø r t m a s k i n e l t , m e n g r u p p e r i n g e n av o r d m e d s a m m e g r u n n f o r m m å t t e g j ø r e s m a n u e l t i m a n g e l av en m a s k i n e l l r u t i n e . D e t t e a r b e i d e t k r e v d e at m a n s a t t e s e g in n i o r d e n e s b e t y d n i n g o g d e n b e t y d n i n g s e n d r i n g e n a v l e d n i n g s e n d e l s e n e f ø r t e ti l. D e t v a r b å d e t i d k r e v e n d e o g l e t t å g j ø r e f e i l i
k o d e a r b e i d e t , f o r d i m a t e r i a l e t v a r s å s t o r t .
S a m a r b e i d e t s t a r t e t u m i d d e l b a r t og f u n g e r t e u t m e r k e t - i k k e m i n s t p å g r u n n a v v å r e u l i k e k o m p e t a n s e o m r å d e r . T o v e s t å r a n s v a r l i g f o r k o n s t r u k s j o n av m e t o d e n , d e n s t i l p a s n i n g o g a n v e n d e l s e i t e k s t s ø k e s y s t e m e r og de m a s k i n e l l e o p p g a v e r s o m d a n n e t d a t a g r u n n l a g e t f o r m e t o d e n s u t v i k l i n g og t e s t i n g . A n n e b æ r e r a n s v a r e t f o r d e n l i n g v i s t i s k e d e l e n og h a r a n a l y s e r t d e t m o r f o l o g i s k e s y s t e m e t i n o r s k m e d t a n k e p å en f o r m a l i s e r i n g i r e g l e r . H u n h a r o g s å a r b e i d e t m e d å k a r t l e g g e d e s e m a n t i s k e v a r i a s j o n e n e s o m a v l e d n i n g s e n d e l s e n e ka n f ø r e ti l og h a r p å d e n n e b a k g r u n n u t f o r m e t f o r s l a g e n e t i l r e g l e n e . V i h a r b e g g e d e l t a t t i e t a b l e r i n g e n av r e g e l s e t t e t , o g b æ r e r s a m m e n a n s v a r e t f o r d e t r e g e l s e t t e t s o m vi s i t t e r i g j e n m e d i da g . D e n n e d e l e n av p r o s j e k t e t s o m v a r d e n m e s t t i d k r e v e n d e , m e n s a m t i d i g d e n m e s t b e s e t t e n d e s o m d r e v d e t h e l e v i d e r e g j e n n o m m a n g e s e n e k v e l d s t i m e r o g h e l g e r . A r b e i d e t v a r p r e g e t av m y e p r ø v i n g og f e i l i n g , o g m e d e t m a t e r i a l e t p å ca. 2 4 0 0 0 u l i k e o r d v a r d e t m a n g e s i d e r å l e s e g j e n n o m f o r h v e r g a n g n o e b l e f o r a n d r e t . D e n n e t y p e a r b e i d t a r e g e n t l i g a l d r i n a t u r l i g s l u t t , e t t e r s o m d e t e r u m u l i g å o p p n å e t 1 0 0 % r i k t i g r e s u l t a t . D e t v a r d e r f o r v a n s k e l i g å si s t o p p , f o r d i vi a l l t i d ø y n e t m u l i g h e t e n f o r å g j ø r e d e t l i t t b e d r e .
N å e r i m i d l e r t i d p u n k t u m e t s a t t , til t r o s s f o r at vi
( s e l v f ø l g e l i g ) s e r f e i l s o m vi m e d l e t t h e t k u n n e h a r e t t e t . I d e n n e r a p p o r t e n v il vi p r i m æ r t p r e s e n t e r e m e t o d e n , s å f å r o o l e r i n g e n k o m m e a l t e t t e r s a m m e n h e n g e n m e t o d e n s k a l a n v e n d e s i.
P r o s j e k t e t e r b l i t t t i l i n n e n f o r N T N F - p r o s j e k t e n e S T A N S o g F O R T , o g e r d e f i n e r t s o m d e l p r o s j e k t 64 i I n s t i t u t t fo r r e t t s -
i n f o r m a t i k k s f o r s k n i n g s p r o g r a m N O R I S .
T i l s l u t t v i l vi t a k k e k o n t o r f u l l m e k t i g G i n a F r a a s fo r i n n s a t s e n i f o r b i n d e l s e m e d u t g i v e l s e n av d e n n e r a p p o r t e n .
O s l o 1 5 . 1 2 . 1 g 8 4
T o v e F j e l d v i g A n n e G o l d e n
1. S Y N O N Y M P R O B L E M E T I T E K S T S Ø K I N G
1 .1 T e k s t s ø k i n g
B e g r e p e t " t e k s t s ø k i n g " a n v e n d e s i d a g s o m en b e t e g n e l s e p å en d a t a m a s k i n e l l p r o s s e s s f o r g j e n f i n n i n g av d o k u m e n t e r . Et d o k u m e n t k a n i p r i n s i p p e t v æ r e et h v i l k e t s o m h e l s t s k r e v e t m a t e r i a l e , f . e k s . et b r e v , en a r t i k k e l , en b o k , et s k j e m a e l l e r en t a b e l l . I j u r i d i s k e i n f o r m a s j o n s s y s t e m e r v i l l o v e r ,
f o r s k r i f t e r o g d o m s a v g j ø r e l s e r v æ r e t y p i s k e e k s e m p l e r på d o k u m e n t e r , o g d e t er i d a g m u l i g å s ø k e m a s k i n e l t i d i s s e s a m l i n g e n e .
T e k s t s ø k e s y s t e m e r s k i l l e r s e g f d e er b a s e r t p å d o k u m e n t e r i fo o r d i k ke n ø d v e n d i g å b e a r b e i d e s ø k e s y s t e m e t - m a n k a n b e n y t t e h e n s i k t s m e s s i g . En t e k s t k a n i m å t e r ; v e d s i n a u t e n t i s k e f o r m , s t i k k o r d . A l l e t r e f o r m e n e a k s s y s t e m e t er i k k e i s t a n d til å b l i r - u a n s e t t i h v i l k e n f o r m s o m en r e k k e m e d o r d , o g d e t e i n n h o l d e t i d o k u m e n t e t og s o m f o r u t s e t t e r at m a n p å f o r h å n d h v a s o m e r et o r d o g h v o r s k i l
r a a n d r e t y p e r s ø k e s y s t e m e r v e d at r m av t e k s t e r . D e t er m e d a n d r e d o k u m e n t e n e f ø r d e r e g i s t r e r e s i d e n d o k u m e n t f o r m e n m a n f i n n e r m e s t
p r i n s i p p e t b e s k r i v e s på tre u l i k e s o m et s a m m e n d r a g e l l e r i f o r m av e p t e r e s a v t e k s t s ø k e s y s t e m e t , m e n s k i l l e m e l l o m d e m . D o k u m e n t e n e i n n h o l d e t er p r e s e n t e r t - o p p f a t t e t r o r d e n e s o m r e p r e s e n t e r e r
u t n y t t e s ve d s ø k i n g . D e t t e h a r g i t t s y s t e m e t i n f o r m a s j o n o m l e t g å r m e l l o m to d o k u m e n t e r .
E t t e k s t s ø k e s y s t e m er b r u k e r er e n g a s j e r t i b e l y s e d e t t e p r o b l e m e t a l l e r e t t s a v g j ø r e l s e r f o r u n g e b i l f ø r e r e i s ø k e s y s t e m e t i f o r m a s ø k e r e s u l t a t e t at b r u b r u k t til å u t t r y k k e s o m i k k e i n n h o l d e r sø at h v i s m a n i t i l f e l l
s p e s i e l t a n v e n d e l i g et p r o b l e m o g ø n s k e En j u r i s t k a n f.
s o m b e l y s e r s p ø r s m å p r o m i l l e s a k e r . P r o b l v o r d o g u t t r y k k , og k e r e n d e f i n e r e r d e s d e t t e p r o b l e m e t i d o k e o r d e n e , v i l i k k e b et o v e n f o r b a r e h a d d
i s i t u a s j o n e r h v o r en r d o k u m e n t e r s o m kan e k s . v æ r e i n t e r e s s e r t i l et o m b e t i n g e t s t r a f f
e m e t b e s k r i v e s f or d e t er v i k t i g f o r a m m e s ø k e o r d e n e s o m er k u m e n t e n e . D o k u m e n t e r li f u n n e t . D e t t e b e t y r e b r u k t s ø k e o r d e t
8
P R O M I L L E , v i l m a n i k k e ha f u n n e t f r a m t i l d e d o k u m e n t e r s o m b a r e i n n e h o l d t o r d e n e P R O M I L L E S A K e l l e r P R O M I L L E N . S ø k e s y s t e m e t o p p f a t t e r to o r d s o m f o r s k j e l l i g e så s a n t e n av b o k s t a v e n e e l l e r r e k k e f ø l g e n av d e m e r f o r s k j e l l i g . U l i k e b ø y n i n g s f o r m e r av s a m m e g r u n n f o r m v i l d e r f o r o p p a t t e s s o m f o r s k j e l l i g e ord.
E t h v e r t o r d i d o k u m e n t e n e k an i p r i n s i p p e t a n v e n d e s s o m s ø k e o r d . D e t e r i m i d l e r t i d s l e t t i k k e a l l e o r d s o m er e g n e t til det.
E n k e l t e o r d m å s e e s i s a m m e n h e n g m e d a n d r e o r d ( f .e k s.
p r e p o s i s j o n e r , k o n j u n k s j o n e r , p r o n o m e n , t a l l , b e n e v n e l s e r , o s v . ) , m e n s a n d r e h a r s å s t o r s p r e d n i n g i d o k u m e n t s a m l i n g e n at de i k k e e r k a r a k t e r i s t i s k e n o k f or n e t t o p p d e t t e d o k u m e n t e t . D e t f i n n e s o g s å o r d s o m u t t r y k k e r et m e n i n g s i n n h o l d s o m d e t s j e l d e n er a k t u e l t å s ø k e på, f . e k s . A N S E , G J E L D E , S Y N E S , o.l.
F o r å f å en b e d re r e p r e s e n t a s j o n av d o k u m e n t e n e i
s ø k e s y s t e m e t , t i l l e g g e r e n k e l t e t e k s t s ø k e s y s t e m e r o r d e n e en v e k t s o m s k a l g j e n s p e i l e d e r e s b e t y d n i n g f o r i n n h o l d e t i d o k u m e n t e t . N o r m a l t a n v e n d e s o r d e t s f r e k v e n s i d o k u m e n t e t t i l d e t t e f o r m å l e t , m e n d e t f i n n e s o g s å m e r a v a n s e r t e v e k t f u n k s j o n e r . D e t t e g j e l d e r i k k e o r d s o m p r e p o s i s j o n e r , k o n j u n k s j o n e r , a r t i k l e r , p r o n o m e n o . l , f o r d i s s e b l i r v a n l i g v i s f j e r n e t h e l t f r a s ø k e g r u n n l a g e t f r a s t a r t e n av (de k a l l e s g j e r n e s t o p p o r d ) . V e d s ø k i n g b l i r v e k t e n e b r u k t t i l å r a n g e r e de d o k u m e n t e n e s o m e r f u n n e t , s l i k at de d o k u m e n t e n e rred f l e s t s ø k e o r d m e d h ø y v e k t b l i r p l a s s e r t f ø r s t på r e s u l t a t l i s t a . D e t t e s k j e r ut f r a en h y p o t e s e o m at jo f l e r e s ø k e o r d et d o k u m e n t i n n e h o l d e r o g h ø y e r e v e k t d i s s e har, jo s t ø r r e s a n n s y n l i g h e t er d e t f o r at d o k u m e n t e t b e r ø r e r d e t
m e n i n g s i n n h o l d e t s o m s ø k e o r d e n e r e p r e s e n t e r e r , F o r m å l e t er å få o r d n e t r e s u l t a t l i s t a p å en s l i k m å t e at d e d o k u m e n t e n e m e d s t ø r s t s a n n s y n l i g h e t f o r å v æ r e r e l e v a n t e , b l i r p r e s e n t e r t f ø r s t f or b r u k e r e n . D e t b ø r i m i d l e r t i d p å p e k e s a t i n g e n t e k s t s ø k e s y s t e m e r k a n g a r a n t e r e et 1 0 0 % t i l f r e d s s t i l l e n d e r e s u l t a t i e n h v e r
s ø k e s i t u a s j o n - d v s . at m a n f i n n e r a l l e d e r e l e v a n t e d o k u m e n t e n e o g b a r e d i s s e . E t t e r s o m r e l e v a n s v u r d e r i n g e n a v et d o k u m e n t s k j e r p å et s u b j e k t i v t g r u n n l a g , vil d e t a l l t i d k u n n e o p p s t å u e n i g h e t o m h v o r v i d t e t d o k u m e n t er r e l e v a n t e l l e r i k k e . S e l v o m m a n v a r e n i g e , s å e r s p r å k e t s å t v e t y d i g og m a n g f o l d i g at det ka n v æ r e
v a n s k e l i g å f o r u t s e h v i l k e o r d s o m er b r u k t t i l å u t t r y k k e et b e s t e m t m e n i n g s i n n h o l d ( s y n o n y m p r o b l e m e t ) o g o m f o r e k o m s t e n av et b e s t e m t o r d u t t r y k k e r d e t m e n i n g s i n n h o l d e t s o m d e t s ø k e s e t t e r (h o m o g r a f p r o b l e m e t ).
1 . 2 S y n o n y m e r i t e k s t s ø k i n g
F o r s k j e l l i g e t e k s t e r k a n h a n d l e o m d e t s a m m e , m e n a l l i k e v e l b e s t å a v h e l t f o r s k j e l l i g e o r d o g u t t r y k k s m å t e r . De o r d e n e s o m er b r u k t
i en t e k s t er et r e s u l t a t a v f o r f a t t e r e n s v a l g , s a m t i d i g s o m de e r a v h e n g i g e av en r e k k e f a k t o r e r : h v a t e k s t e n h a n d l e r om, h v e m d e n er s k r e v e t fo r , i h v i l k e n h e n s i k t d e n er s k r e v e t , h v o r v i d t d e n er en d e l av en s t ø r r e h e l h e t , f o r f a t t e r e n s s p e s i e l l e st i l o s v . O r d f o r m e n e s o m b r u k e s , a v h e n g e r av h v i l k e n f u n k s j o n o r d e t h a r i s e t n i n g e n , o g s t y r e s av de g r a m m a t i s k e r e g l e n e i s p r å k e t . S e t n i n g e n e s r e k k e f ø l g e e r h e l l e r ik k e t i l f e l d i g , d e m å o g s å f ø l g e v i s s e r e g l e r f o r at d e s k a l k u n n e u t g j ø r e e n t e k s t m e d m e n i n g .
A t f o r s k j e l l i g e o r d k a n b r u k e s o m d e t s a m m e m e n i n g s i n n h o l d e t , og at d e u l i k e o r d e n e h a r b ø y n i n g s - og a v l e d n i n g s m u l i g h e t e r , er n e t t o p p d e t s o m v a n s k e l i g g j ø r t e k s t s ø k n i n g e n . D e t e r d e t t e p r o b l e m e t s o m g j e r n e k a l l e s s y n o n y m p r o b l e m e t i t e k s t s ø k i n g . S y n o n y m e r v i s e r a l t s å i k k e b a r e til o r d s o m b e t y r a k k u r a t d e t s a m m e ( h a r s a m m e r e f e r e n t ) , m e n til o r d s o m e r l i k e v e r d i g e n år d e t g j e l d e r å f i n n e ut h v a t e k s t e n h a n d l e r om. I en
t e k s t s ø k i n g s s i t u a s j o n k a n vi d e r f o r s t å o v e n f o r f ø l g e n d e t y p e r s y n o n y m e r :
1) u l i k e b ø y n i n g s f o r m e r av s a m m e o r d ( f . e k s . K J Ø P E - K J Ø P T E ) , 2) u l i k e a v l e d n i n g e r av et o r d ( f . e k s . K J Ø P E o g K J Ø P )
3) u l i k e s k r i f t v a r i a n t e r av s a m m e o r d ( f . e k s . S Y K E H U S - S J U K E H U S )
4) l i k e v e r d i g e u t t r y k k s m å t e r av t y p e n P I K E - J E N T E , A R V E A V G I F T A V G I F T P Å A R V ,
5) g e n e r i s k e r e l a s j o n e r av t y p e n R O S E - B L O M S T , S A K S - M O R D V Å P E N
10
B o r t s e t t f r a d e m o r f o l o g i s k b e t i n g e d e v a r i a s j o n e r av e t o r d (j f r . p u n k t 1 o g 2) o g u l i k e s k r i f t v a r i a n t e r av s a m m e o rd ( p u n k t 3), e r d e t f å e k s e m p l e r på h e l t k o n t e k s t u a v h e n g i g e s y n o n y m e r , d v s . o r d s o m k a n e r s t a t t e h v e r a n d r e i e n h v e r s a m m e n h e n g . F r a s e n " A V G I F T P Å A R V " o g o r d e t A R V E A V G I F T er et e k s e m p e l p å d e t t e , og d e f l e s t e v i l v e l o g s å h e v d e at J E N T E og P I K E er k o n t e k s t u a v h e n g i g e
s y n o n y m e r . G r a d e n av k o n t e k s t a v h e n g i g h e t v a r i e r e r , og m a n k a n n æ r m e s t t e n k e s e g s y n o n y m e n e p l o t t e t i n n på en s k a l a f r a ren k o n t e k s t u a v h e n g i g h e t til ren k o n t e k s t a v h e n g i g h e t . E n k e l t e s y n o n y m e r k a n b e t r a k t e s s o m k o n t e k t s u a v h e n g i g e i f o r h o l d til en g i t t d o k u m e n t s a m l i n g e l l e r et g i t t e m n e o m r å d e . A n d r e o r d d e r i m o t , e r k u n s y n o n y m e i d e n a k t u e l l e s ø k e s i t u a s j o n e n , s o m f . e k s . o r d e t B Å T J E N T E s o m v a r b r u k t s y n o n y m t m e d D Å R L I G V A N D E L i d o m s a v g j ø r e l s e n til en f a r s k a p s s a k i v å r t e k s p e r i m e n t m a t e r i a l e .
D e n u t s t r a k t e b r u k e n av s y n o n y m e r g j ø r f o r m u l e r i n g e n av
s ø k e a r g u m e n t e t s p e s i e l t v a n s k e l i g f o r u e r f a r n e b r u k e r e o g d e s o m i k k e k j e n n e r s p r å k b r u k e n i d o k u m e n t b a s e n . S t u d i e r av å r s a k e n t i l e f f e k t i v i t e t s s v i k t i t e k s t s ø k i n g v i s e r a t d e n s t ø r s t e g r u n n e n t i l at r e l e v a n t e d o k u m e n t e r i k k e b l i r f u n n e t , s k y l d e s n e t t o p p m a n g l e r v e d s ø k e a r g u m e n t e t . B r u k e r e n h a r f . e k s . g l e m t a k t u e l l e s y n o n y m e r e l l e r g r a m m a t i k a l s k e b ø y n i n g e r , e l l e r o p p g i t t f o r g e n e r e l l e o r d . D e t t e e r en l a n g t v a n l i g e r e å r s a k t i l et d å r l i g r e s u l t a t e n n de å r s a k e r s o m k a n s p o r e s t i l b a k e til s e l v e s p r å k e t , f . e k s . at m e n i n g s i n n h o l d e t i k k e er u t t r y k t g o d t n o k v e d o r d i d o k u m e n t e t , m e n " g j e m t m e l l o m l i n j e n e " .
1 . 3 H j e l p e m i d l e r t i l b r u k v e d f o r m u l e r i n g a v s ø k e a r g u m e n t e t
F o r å k u n n e l ø s e s y n o n y m p r o b l e m e t i t e k s t s ø k i n g v i l d e t v æ r e b e h o v f o r t r e u l i k e t y p e r h j e l p e m i d l e r .
F o r d e t f ø r s t e t r e n g s d e t et h j e l p e m i d d e l s o m kan b e h a n d l e d e m o r f o l o g i s k e v a r i a s j o n e n e i s p r å k e t , s l i k at b r u k e r n e s l i p p e r å b e k y m r e s e g o m h v i l k e b ø y n i n g s - og a v l e d n i n g s f o r m e r s o m er b r u k t i d o k u m e n t m a t e r i a l e t .
F o r d e t a n d r e m å m a n k u n n e t a h å n d o m d e t d e f l e s t e
b e t r a k t e r s o m k o n t e k s t u a v h e n g i g e s y n o n y m e r ( f . e k s . J E N T E - P I K E , B L O M S T - R O S E ) og a n d r e o r d s o m k a n e r s t a t t e h v e r a n d r e i n n e n f o r d e t b e s t e m t e d o k u m e n t a s j o n s o m r å d e t s o m d o k u m e n t e n e r e p r e s e n t e r e r .
L a n g t s t ø r r e k r a v s t i l l e s d e t t i l e t t r e d j e h j e l p e m i d d e l s o m k a n h j e l p e b r u k e r e n i s p e s i f i s e r i n g e n av de k o n t e k s t a v h e n g i g e s y n o n y m e r . D e t t e f o r u t s e t t e r at t e k s t s ø k e s y s t e m e t k a n se s ø k e o r d e n e i s a m m e n h e n g m e d d e t p r o b l e m o m r å d e t s o m b e s k r i v e r e s - n o e s o m k a n b e t y at t e k s t s ø k e s y s t e m e t m å i n n e h o l d e en b e s k r i v e l s e av d o k u m e n t a s j o n s o m r å d e t . Et s l i k t h j e l p e m i d d e l f i n n e s i k k e i d a g , m e n m e d d e n f o r s k n i n g e n s o m s k j e r i n n e n f o r o m r å d e t k u n s t i g i n t e l l i g e n s o g k u n n s k a p s b a s e r t e s y s t e m e r , s e r vi m u l i g h e t e n for et s l i k t h j e l p e m i d d e l i f r a m t i d e n .
H j e l p e m i d l e r t i l s p e s i f i s e r i n g av k o n t e k s t u a v h e n g i g e s y n o n y m e r f i n n e s . S y n o n y m t e s a u r u s e n e r et e k s e m p e l p å d e t t e . En
s y n o n y m t e s a u r u s e r e n s y n o n y m o r d b o k h v o r d e t til h v e r t or d er k n y t t e t i n f o r m a s j o n o m h v i l k e o r d s o m er r e l a t e r t til d e t t e o r d e t , f . e k s . t i l o r d e t H U N D f i n n e r m a n d e t l i k e v e r d i g e o r d e t B I K K J E , d e t u n d e r o r d n e d e o r d e t C O L L I E , d e t s i d e o r d n e d e o r d e t K A T T o g d e t o v e r o r d n e d e o r d e t H U S D Y R .
D e t e r i m i d l e r t i d k o s t b a r t å u t v i k l e o g - i k k e m i n s t - v e d l i k e h o l d e t e s a u r u s e r . D e m å u t v i k l e s m a n u e l t av p e r s o n e r s o m e r e k s p e r t e r p å o m r å d e t , o g d e m å h o l d e s a j o u r v e d e n d r i n g e r i d o k u m e n t s a m l i n g e n . D e t k a n d e r f o r r e i s e s t v i l o m de v i r k e l i g g i r en e f f e k t i v i t e t s ø k n ing s o m k a n s v a r e t i l k o s t n a d e n e f o r b u n d e t m e d d e m . T e s a u r u s e r e r d e r f o r l i t e t a t t i b r u k i t e k s t s ø k e s y s t e m e r . De f l e s t e e k s e m p l e r p å b r u k av t e s a u r u s e r f i n n e r m a n i F r a n k r i k e ( f . e k s . i s y s t e m e n e M I S T R A E L o g S P I R I T ) og i I t a l i a ( f . e k s . i s y s t e m e t I T A L G I U R E ) .
B l a n t o p e r a t i v e t e k s t s ø k e s y s t e m e r f i n n e r m a n få s o m h a r l ø s t d e m o r f o l o g i s k e p r o b l e m e r p å en t i l f r e d s t i l l e n d e m å t e . M e d d e t s i k t e r vi t i l h j e l p e m i d l e r s o m k a n f ø r e til a t s ø k e a r g u m e n t e t a u t o m a t i s k b l i r s u D p l e r t m e d a l l e a k t u e l l e b ø y n i n g s - og a v l e d n i n g s f o r m e r av d e o r d e n e s o m d e t s ø k e s på. E k s e m p e l på s y s t e m e r s o m h a r et s l i k t t i l b u d er L E X I S , R E S P O N S A , I T A L G I U R E ,
12
S P I R E S o g P A S A T . I L E X I S er d e t i m p l e m e n t e r t en r e g e l b a s e r t m e t o d e s o m t a r h å n d o m d e n n e o p p g a v e n , m e n s i de ø v r i g e s y s t e m e r s k j e r d e t m e r e l l e r m i n d r e m e d u t g a n g s p u n k t i et l i n g v i s t i s k l e k s i k o n s o m er s a t t o p p m a n u e l t . Et l i n g v i s t i s k l e k s i k o n v i l h e r si e n o r d b o k h v o r d e t t i l h v e r t o r d er k n y t t e t n ø d v e n d i g l i n g v i s t i s k i n f o r m a s j o n s o m f . e k s . m o r f o l o g i s k i n f o r m a s j o n . M e t o d e n o m f a t t e r v a n l i g v i s b a r e b ø y n i n g e r t i l s ø k e o r d e n e o g i k k e a v l e d n i n g e r ( f . e k s . A R V E N t il s ø k e o r d e t A R V , m e n i k k e A R V I N G ) .
D e t m e s t v a n l i g e - o g o f t e d e t e n e s t e - h j e l p e m i d d e l e t i t e k s t - s ø k e s y s t e m e r , e r t r u n k e r i n g . T r u n k e r i n g er et s v æ r t e n k e l t v e r k t ø y s o m g å r ut p å at m a n ka n f å s u p p l e r t s ø k e a r g u m e n t e t m e d a l l e o r d s o m b e g y n n e r p å en g i t t t e g n s t r e n g (h ø y r e t r u n k e r i n g ) e l l e r a v s l u t t e r m e d d e n n e t e g n s t r e n g e n (v e n s t r e t r u n k e r i n g ) . I d e f l e s t e t i l f e l l e r v i l t e g n s t r e n g e n v æ r e li k rot til et o rd , og p å d e n n e m å t e n k a n m a n e n t e n f å a l l e o r d s o m i n n l e d e s e l l e r a v s l u t t e s m e d d e n n e r o t e n .
H ø y r e t r u n k e r i n g er m e s t v a n l i g . F . e k s . v i l s ø k e a r g u m e n t e t
" B I L * " ( h v o r * e r v a l g t s o m t r u n k e r i n g s t e g n ) o m f a t t e a l l e o r d s o m b e g y n n e r m e d b o k s t a v s e k v e n s e n " B I L " , f . e k s . B I L , B I L E , B I L E R , B I L E N E , B I L H O L D , o s v . P å d e n n e m å t e n f å r m a n d e f i n e r t de f l e s t e b ø y n i n g s - o g a v l e d n i n g s f o r m e n e t i l s ø k e o r d e n e på e n e n k e l o g l i t e r e s s u r s k r e v e n d e m å t e . T r u n k e r i n g d e k k e r o g s å s a m m e n s a t t e o r d ( f . e k s . B I L H O L D , B I L V E I , B I L A V G I F T e t c . ) og o f t e f i n n e r m a n m a n g e r e l e v a n t e s ø k e o r d b l a n t d e s a m m e n s a t t e o r d e n e .
S v a k h e t e n v e d t r u n k e r i n g er at d e n f a n g e r o p p i r r e l e v a n t e o r d , f . e k s . s o m B I L L I O N og B I L L I G i t i l f e l l e t o v e n f o r . D e n n e e f f e k t e n b l i r o f t e f o r s t e r k e t ve d at b r u k e r e n d e f i n e r e r f o r k o r t e t r u n k e r t e s t r e n g e r , f . e k s . t r u n k e r e r B I * i s t e d e n f o r B I L * . d e t er o p g s å v a n l i g at en d e l av d e s a m m e n s a t t e o r d e n e er i r r e l e v a n t e . D e f l e s t e i r r e l e v a n t e o r d e n e vil i m i d l e r t i d v æ r e s å p e r i f e r e i
f o r h o l d t i l a k t u e l l e p r o b l e m s t i l l i n g e n ( f . e k s . B I L L I O N i f o r h o l d t i l B I L ) , at de i k k e i n f l u e r e r p å s ø k e r e s u l t a t e t . A n v e n d e s d e r i m o t m a n g e t r u n k e r t e s t r e n g e r , vil d e t t e k u n n e m e d f ø r e m y e s t ø y o g f ø l g e l i g d å r l i g p r e s i s j o n . D e s s u t e n vi l u k o r r e k t t r u n k e r i n g k u n n e f ø r e t i l s ø k i n g e n b l i r s v æ r t r e s s u r s k r e v e n d e .
En a n n e n s v a k h e t v ed t r u n k e r i n g er at d e n i k k e f a n g e r o p p
o r d s o m e n d r e r r o t e n v e d b ø y n i n g , s o m f . e k s . u r e g e l m e s s i g e b ø y n i n g e r s o m M O R - M Ø D R E , b ø y n i n g e r m e d v o k a l s s k i f t e s o m T A N N - T E N N E R , k o n s o n a n t f o r d o b l i n g e r s o m D A M - D A M M E N o g s t a v e l s e s - s a m m e n t r e k n i n g e r s o m R E G E L - R E G L E R . D e t f i n n e s i m i d l e r t i d et f å t a l l a v s y s t e m e r h v o r m a n k a n n ø y e s e g m e d å s p e s i f i s e r e en h v i l k e n s o m h e l s t d e l av s ø k e o r d e t - i k k e b a r e b e g y n n e l s e n og s l u t t e n s o m v e d t r u n k e r i n g . S ø k e a r g u m e n t e t " N I * L S * E N " vi l f . e k s . o m f a t t e a l l e o r d s o m i n n e h o l d e r de t r e b o k s t a v k o m b i n a s j o n e n e
" N I " , " L S " og " E N " i d e n a n g i t t e r e k k e f ø l g e n s o m f . e k s . N I L S E N , N I E L S E N , N I L S S E N og N I E L S S E N . D e n n e s å k a l t e " m a s k e f u n k s j o n e n "
k a n b i d r a til å l ø s e e n d e l av d e " u r e g e l m e s s i g e " b ø y n i n g e n e , m e n h e l l e r i k k e d e n l ø s e r g o d n o k de m o r f o l o g i s k e p r o b l e m e n e .
1 . 4 F o r s k n i n g o m k r i n g l i n g v i s t i s k e h j e l p e m i d l e r
M a n k a n s t i l l e s e g n o e u n d r e n d e t i l at t e k s t s ø k e s y s t e m e r i d a g i k k e g j ø r m e r b r u k av l i n g v i s t i s k k u n n s k a p . P r o b l e m a t i k k e n i t e k s t s ø k i n g e r e g e n t l i g et " k o m m u n i k a s j o n s p r o b l e m " - e l l e r et s p r å k p r o b l e m - e t t e r s o m m a n m å g å v e i e n o m (s k r i f t )s p r å k e t f o r å n å f r a m t il d e n ø n s k e d e i n f o r m a s j o n . M e d m e r k j e n n s k a p til s a m m e n h e n g e n m e l l o m s k r i f t s p r å k e t o g d e t m e n i n g s i n n h o l d e t s o m d e t u t t r y k k e r og u t n y t t e l s e a v d e n n e i n f o r m a s j o n e n , v i l l e t e k s t s ø k e - s y s t e m e t l e t t e r e k u n n e a n a l y s e r e o g k a r t l e g g e i n n h o l d e t i d o k u m e n t e n e o g s ø k e a r g u m e n t e t o g f ø l g e l i g f o r b e d r e k o m m u n i k a s j o n e n m e d b r u k e r e n . S p r å k e t er r e g e l s t y r t , d e t e r f . e k s . k l a r e r e q l e r s o m b e s k r i v e r h v o r d a n o r d s k a l se ut, k o n s t r u e r e s , k n y t t e s s a m m e n t i l s e t n i n g e s l e d d o g s e t n i n g e r , s o m m a n bø r k u n n e u t n y t t e i t e k s t s ø k e s y s t e m e r .
D e t h a r p å g å t t en d e l f o r s k n i n g o p p g j e n n o m å r e n e s o m h a r v æ r t r e t t e t m o t b r u k av l i n g v i s t i s k i n f o r m a s j o n i t e k s t s ø k e s y s t e m e r . S M A R T - p r o s j e k t e t t o k o p p s p ø r s m å l e t a l t i b e g y n n e l s e n av 1 9 6 0 - å r e n e o g g j e n n o m f ø r t e en d e l e k s p e r i m e n t e r m e d b r u k av
s y n t a k t i s k e a n a l y s e r i t e k s t s ø k i n g (j fr. S a l t o n 1 9 8 3 : 1 0 3 ) . B l a n t a n n e t f o r s ø k t e m a n på d e n n e m å t e n å i d e n t i f i s e r e f r a s e r og
s y n o n y m e r , s a m t å v e k t l e g g e o r d e n e ut f r a d e r e s s y n t a k t i s k e
14
f u n k s j o n i s e t n i n g e n . F o r s ø k e n e f ø r t e i m i d l e r t i d i k k e f r a m , o g m a n v a l g t e i s t e d e t å k o n s e n t r e r e s e g o m e n k l e s t a t i s t i s k e a n a l y s e r . D e t bl e b l . a . g j e n n o m f ø r t f o r s ø k p å a u t o m a t i s k å f o r b e d r e s ø k e a r g u m e n t e t g j e n n o m å a n a l y s e r e et u t v a l g av de r e l e v a n t e d o k u m e n t e n e s o m v a r f u n n e t v e d et s ø k (jfr. S a l t o n 1 9 6 8 o g 1 9 8 3 ) . O p p l y s n i n g e r o m h v i l k e d o k u m e n t e r s o m v ar r e l e v a n t e , b l e i n n h e n t e t f r a b r u k e r e n . F r a m g a n g s m å t e n g a v e l l y k k e d e r e s u l t a t e r , o g s e n e r e h a r f l e r e f o r s ø k v æ r t g j e n n o m f ø r t m e d s å k a l t
" r e l e v a n c e f e e d b a c k " . I S M A R T - p r o s j e k t e t b l e d e t o g s å u t v i k l e t en r e g e l b a s e r t m e t o d e f o r " s t e m m i n g " - dv s . a u t o m a t i s k g j e n k j e n n i n g a v s t a m m e n til et o r d . M e t o d e n b l e b r u k t t i l a u t o m a t i s k u t v i d e l s e av s ø k e a r g u m e n t e t ( f o r m u l e r t i n a t u r l i g s p r å k ) m e d a l l e o r d i d o k u m e n t b a s e n m e d s a m m e s t a m m e s o m s ø k e o r d e n e . F o r s ø k m e d m e t o d e n v i s t e at d e t t e h a d d e en p o s i t i v e f f e k t på s ø k e r e s u l t a t e n e (j f r . S a l t o n 1 9 8 3 : 1 0 3 ) .
D e t i s r a e l s k e R E S P O N S A - p r o s j e k t e t r e p r e s e n t e r e r k a n s k j e d e t m e s t i m p o n e r e n d e f o r s k n i n g s a r b e i d e t s o m ha r v æ r t g j e n n o m f ø r t o m k r i n g b r u k a v l i n g v i s t i s k e h j e l p e m i d l e r i t e k s t s ø k i n g (jfr. C h o u e k a 1 9 8 0 ) . P r o s j e k t e t s f o r m å l er å g j ø r e d e n e n o r m e r e s p o n s a - l i t t e r a t u r e n t i l g j e n g e l i g i s ø k b a r f or m , o g a l l f o r s k n i n g t a r d e r f o r s i k t e p å å r e s u l t e r e i p r o d u k t e r s o m k a n a n v e n d e s i R E S P O N S A - s y s t e m e t . T e k s t e n e e r s k r e v e t på h e b r a i s k og a r a m e i s k , o g d e t er s æ r e g e n h e t e r v ed d i s s e s p r å k e n e s o m e r lagt ti l g r u n n f o r d e n l i n g v i s t i s k e f o r s k n i n g e n . S p e s i e l t h a r d e s t å t t o v e n f o r s t o r e o p p g a v e r v ed l ø s n i n g av de m o r f o l o g i s k e p r o b l e m e n e , o g a r b e i d e t h a r b l . a . r e s u l t e r t i d e t e n o r m e l i n g v i s t i s k e v e r k t ø y e t K E D M A s o m i d a g t ar h å n d o m d f e g r a m m a t i k a l s k e b ø y n i n g s f o r m e n e t i l s ø k e o r d e n e . P å h e b r a i s k k a n d e t f . e k s . f o r e k o m m e m a n g e t u s e n b ø y n i n g e r av s a m m e s u b s t a n t i v , og o r d e n e e n d r e r o f t e s t a m m e v e d b ø y n i n g .
1 R E S P O N S A - p r o s j e k t e t er d e t o g s å g j e n n o m f ø r t f o r s ø k m e d a u t o m a t i s k g j e n k j e n n i n g av s y n o n y m e r . I l i k h e t m e d S M A R T - p r o s j e k t e t er de t g j o r t f o r s ø k m e d b r u k av " f e e d b a c k ”- t e k n i k k e r ,
•nen i s t e d e t fo r å i n n h e n t e i n f o r m a s j o n o m h v i l k e d o k u m e n t e r s o m e r r e l e v a n t e , a n a l y s e r e r s y s t e m e t a l l e de f u n n e d o k u m e n t e n e ( k a l t
" l o c a l m e t r i c a l f e e d b a c k " , j f r A t t a r / F r a e n k e l 1 9 8 0 ) . A n a l y s e n
g å r ut p å å f i n n e f r a m t i l o r d s o m f o r e k o m m e r h y p p i g o g i n æ r h e t e n av s ø k e o r d e n e , og d i s s e o r d e n e b l i r l a g t f r a m f o r b r u k e r e n s o m et f o r s l a g ti l s y n o n y m e r . F o r s k n i n g e n s r e s u l t a t e n e h a r v i s t at d e t t e er en n y t t i g f r a m g a n g s m å t e , m e n m e t o d e n e r i k k e i o p e r a t i v b r u k .
C O N D O R - p r o s j e k t e t v a r et s t o r t , t y s k p r o s j e k t m e d a m b i s j o n e r o m å u t v i k l e et a v a n s e r t t e k s t s ø k e s y s t e m b a s e r t p å b r u k av l i n g v i s t i k k i e n r e k k e u l i k e f o r b i n d e l s e r ( j f r . B a n e r j e e 1 9 7 7 ) . V e d
p r o s < e k t e t s n e d l e g g e l s e i 1 9 8 0 v a r h e l e 10 a v d e 5 0 p r o s j e k t — a n s a t t e l i n g v i s t e r . De a r b e i d e t b l . a . m e d å u t v i k l e av en r u t i n e f o r s y n t a k t i s k o g m o r f o l o g i s k a n a l y s e av en t e k s t , s o m b å d e s k u l l e a n v e n d e s på d o k u m e n t e n e o g p å s ø k e a r g u m e n t e t . S ø k e - a r g u m e n t e t v a r s e l v f ø l g e l i g f o r m u l e r t i n a t u r l i g s p r å k . L i k e l e d e s a r b e i d e t d e m e d a u t o m a t i s k e r u t i n e r f o r g e n e r e r i n g av s y n o n y m - t e s a u r u s e r , e t a b l e r i n g av s t ø y o r d l i s t e r , s p l i t t i n g av s a m m e n s a t t e o r d o s v . P r o s j e k t e t b l e n e d l a g t f ø r d e t b l e a v s l u t t e t , o g s å v i d t o s s b e k j e n t e r i n g e n av r e s u l t a t e n e k o m m e t a n d r e s ø k e - s y s t e m e r t i l g o d e . D e t er o g s å u s i k k e r t h v i l k e n e f f e k t de l i n g v i s t i s k e h j e l p e m i d l e n e h a d d e p å s ø k e r e s u l t a t e t .
S P I R I T e r et f r a n s k s y s t e m s o m g j ø r b r u k av l i n g v i s t i s k i n f o r m a s j o n b l . a . t i l å r e t t e s k r i v e f e i l , i d e n t i f i s e r e
h o m o g r a f e r , f i n n e s t a m m e n t i l et o r d o g i d e n t i f i s e r e v i s s e t y p e r f r a s e r ( Jf r . F l u h r 1 9 8 1 ) . S y s t e m e t er f e r d i g u t v i k l e t o g er p l a n l a g t t a t t i b r u k e n r e k k e s t e d e r .
D e t h a r o g s å p å g å t t en d e l f o r s k n i n g o m k r i n g b r u k av l i n g v i s t i s k e h j e l o e m i d l e r i s y s t e m e n e S T A I R S / T L S ( I BM ) o g M I S T R A E L ( H o n e y w e l l B u l l ) , m e n vi er v e r k e n k j e n t m e d h v i l k e f o r s k n i n g s r e s u l t a t e r s o m e r o p p n å d d e l l e r k j e n n e r t i l e k s e m p l e r p å o p e r a t i v b r u k av de l i n g v i s t i s k e h j e l p e m i d l e n e . F e l l e s f o r d e f l e s t e f o r s k n i n g s p r o s j e k t e r på d e t t e o m r å d e t e r a t d e h a r u t v i k l e t m e t o d e r s o m s e n e r e h a r v i s t s e g f o r r e s s u r s k r e v e n d e t i l å b l i s a t t i ve r k . D e s s u t e n e r d e t n e s t e n t o t a l m a n g e l p å e k s p e r i m e n t e r s o m k a n v i s e i h v i l k e n g r a d e f f e k t i v i t e t e n ø k e r m e d d i s s e h j e l p e m i d l e n e . S M A R T - p r o s j e k t e t er d e t e n e s t e p r o s j e k t e t vi k j e n n e r t i l s o m h a r
16
d r e v e t f o r s ø k av d e n n e t y p e n .
1 . 5 B e h o v e t f o r e n m e t o d e ti l l ø s n i n g av d e m o r f o l o g i s k e p r o b l e m e n e p å n o r s k
M a n k a n k o n k l u d e r e m e d at d e t er g j o r t s v æ r t l i t e f o r å lø s e s y n o n y m p r o b l e m e t i t e k s t s ø k i n g - i a l l e f a l l h a r ik k e f o r s k n i n g e n b i d r a t t m e d e f f e k t i v e o g ø k o n o m i s k f o r s v a r l i g e l ø s n i n g e r . S e l v d e m e s t " e l e m e n t æ r e " s y n o n y m p r o b l e m e r s o m f . e k s . g r a m m a t i k a l s k e b ø y n i n g e r o g a v l e d n i n g e r , e r i k k e løst i d e f l e s t e t e k s t s ø k e - s y s t e m e n e . D e t e n e s t e h j e l p e m i d d e l e t s o m t i l b y s e r t r u n k e r i n g , o g s e l v o m d e t t e er et e f f e k t i v t og b i l l i g r e d s k a p , er d e t i k k e g o d t n o k t i l d e t t e f o r m å l e t .
V e d I R I p å g å r d e t f l e r e a k t i v i t e t e r s o m t a r s i k t e p å å n å f r a m t i l m e t o d e r s o m k a n l e t t e s y n o n y m p r o b l e m e t i t e k s t s ø k i n g . I d e n n e r a p p o r t e n s k a l vi r e d g j ø r e for a r b e i d e t m e d å u t v i k l e en a u t o m a t i s k m e t o d e s o m k a n l ø s e de p r o b l e m e n e s o m k n y t t e r s e g til at et o r d h a r u l i k e b ø y n i n g s - og a v l e d n i n g s f o r m e r . En s l i k m e t o d e e r n y t t i g p å e n r e k k e u l i k e o m r å d e r i t e k s t s ø k i n g , f . e k s . u t v i k l i n g av s t ø y o r d l i s t e r ( o rd s om i k k e e r e g n e t s o m s ø k e o r d ) , i d e n t i f i s e r i n g av f r a s e r ( f . e k s . n o m i n a l f r a s e r ) , v e k t l e g g i n g av o r d , s p l i t t i n g av s a m m e n s a t t e o rd, i d e n t i f i s e r i n g av et o r d s o p p s l a g s f o r m o g o r d k l a s s e m . m . Vi k j e n n e r i k k e t il n o e n l i g n e n d e m e t o d e p å n o r s k - e l l e r i S k a n d i n a v i a f o r ø v r i g . Et u n n t a k g j e l d e r f i n s k , m e n e t t e r s o m f i n s k er s å f o r s k j e l l i g f r a n o r s k , er d e t i k k e m y e s o m er o v e r f ø r b a r t . D e t s a m m e g j e l d e r o g s å f r a a n d r e u t e n l a n d s k e s p r å k , s o m f .e k s. e n g e l s k ( d e t a m e r i k a n s k e t e k s t s ø k e s y s t e m e t L E X I S ) e l l e r h e b r a i s k (R E S P O N S A - s y s t e m e t ).
M e t o d e n m å u t v i k l e s p å b a k g r u n n av m o r f o l o g i s k e s t u d i e r , og o et er d e f o r b e g r e n s e t h v o r m y e m a n o p p n å r v e d å s t u d e r e u t e n l a n d s k e m e t o d e r . E n k e l t e s p r å k h a r en s v æ r t k o m p l e k s m o r f o l o g i s o m de t er v a n s k e l i g - o g n æ r m e s t u m u l i g - å s y s t e m a t i s e r e m e d h e n b l i k k p å a u t o m a t i s e r i n g ( f . e k s . h e b r a i s k ) . A n d r e s p r å k , s o m f . e k s . e n g e l s k , er l a n g t l e t t e r e , og d e t s a m m e g j e l d e r v e l o g s å n o r s k - s e l v o m p r o b l e m e n e h e r a n t a g e l i g er s t ø r r e e n n p å e n g e l s k .
M a n g e s t i l l e r s e g n o e u n d r e n d e t i l h v o r f o r vi i d e t h e l e t a t t e r o p p t a t t av d e n n e p r o b l e m a t i k k e n e t t e r s o m d e m o r f o l o g i s k e
p r o b l e m e n e i t e k s t s ø k e s y s t e m e t k a n l ø s e s v e d h j e l p av e n o r d b o k m e d de n ø d v e n d i g e l i n g v i s t i s k e o p p l y s n i n g e r . D e t t e er s e l v f ø l g e l i g en m u l i g f r a m g a n g s m å t e , o g s o m e n k e l t e t e k s t s ø k e s y s t e m e r o g s å h a r v a l g t . L ø s n i n g e n e r i m i d l e r t i d s v æ r t k o s t b a r . De n f o r u t s e t t e r at o r d b o k a e t a b l e r e s m a n u e l t o g - k a n s k j e d e t
v i k t i g s t e - v e d l i k e h o l d e s m a n u e l t . E t t e r h v e r t s o m d o k u m e n t b a s e n o p p d a t e r e s , v i l s t a d i g n y e o r d d u k k e o p p , o g d e t v i l a l d r i ta s l u t t . S k a l m a n d e r f o r k u n n e o p p n å et 1 0 0 % t i l f r e d s t i l l e n d e r e s u l t a t m e d en o r d b o k ( s o m d e t a r g u m e n t e r e s f o r ) , er d e t en f o r u t s e t n i n g at o r d b o k a o p p d a t e r e s p a r a l l e l t m e d d o k u m e n t b a s e n . D e t t e er b a k g r u n n e n f o r at vi f a n t d e t m e r i n t e r e s s a n t å u n d e r s ø k e i h v i l k e n r ad d e r e r m u l i g å u t v i k l e e n e f f e k t i v , r e g e l - b a s e r t m e t o d e s o m i k k e k r e v e r m a n u e l t v e d l i k e h o l d .
18
2. M E T O D E F O R A U T O M A T I S K R O T L E M M A T I S E R I N G
2 .1 R e g e l b a s e r t m e t o d e
M å l s e t n i n g e n f o r v å r t a r b e i d v a r å k o n s t r u e r e en r e g e l b a s e r t m e t o d e s o m s ø r g e r f o r at t e k s t s ø k e s y s t e m e t k a n o p p f a t t e u l i k e b ø y n i n g e r o g a v l e d n i n g e r t il en r o t s o m l i k e . At m e t o d e n s k a l v æ r e r e g e l b a s e r t , b e t y r at d e n s k a l v æ r e s t y r t av et e n d e l i g a n t a l l r e g l e r s o m er u a v h e n g i g av d o k u m e n t s a m l i n g e n . D e t s k a l m e d a n d r e o r d i k k e v æ r e n ø d v e n d i g å e n d r e r e g l e n e ved o p p d a t e r i n g e l l e r s k i f t e av d o k u m e n t b a s e n . D e t t e b e t y r i k k e at r e g l e n e i k k e k a n v æ r e a v h e n g i g av f a g o m r å d e e l l e r s p r å k f o r m ( r i k s m å l , b o k m å l e l l e r n y n o r s k ) , m e n at d e t er m u l i g å e t a b l e r e et e n d e l i g s e t t m e d r e g l e r s o m d e k k e r a l l e f a g o m r å d e r o g n o r s k e s p r å k f o r m e r . V e d e t a b l e r i n g av en d o k u m e n t b a s e k a n m a n s å v e l g e ut de r e g l e r s o m er a k t u e l l e f o r v e d k o m m e n d e d o k u m e n t s a m l i n g . D e t e n e s t e
n ø d v e n d i g e t i l f e l l e t av o p p d a t e r i n g a v r e g e l s e t t e t v il s k j e v e d e n d r i n g e r a v s p r å k e t o v e r tid, f . e k s . v e d at n y e o r d m e d en a n n e n s t r u k t u r k o m m e r t i l - e l l e r at d e t l a g e s n y e a v l e d n i n g e r s o m f å r en i n n s n e v r e t e l l e r a n n e n b e t y d n i n g e n n d e t o r d e t d e t er a v l e d e t f r a .
I d e t t e p r o s j e k t e t h a r a r b e i d e t b e s t å t t i å b e s t e m m e h v i l k e n i n f o r m a s j o n s o m s k a l m e d i r e g l e n e , å u t v i k l e et s e t t m e d g e n e r e l l e r e g l e r f o r b o k m å l og k o n s t r u e r e en m e t o d e ( a l g o r i t m e ) s o m k a n s t y r e r e g l e n e . E k s p e r i m e n t m a t e r i a l e t b e s t o av t e k s t e r f r a f a g o m r å d e n e jus, h i s t o r i e , g e o g r a f i og f y s i k k , og n o e n r e g l e r g j e l d e r s p e s i e l t f o r d i s s e o m r å d e n e .
2 . 2 B e g r e p e t " a u t o m a t i s k r o t l e m m a t i s e r i n g "
M e t o d e n s k u l l e s a m m e n f ø r e b å d e b ø y n i n g s - o g a v l e d n i n g s f o r m e r t i l s a m m e r ot . I e n k e l t e t e k s t s ø k e s y s t e m e r ( f . e k s . L E X I S ) h ar m a n v a l g t å b e g r e n s e d e n b a r e til b ø y n i n g s f o r m e n e til s a m m e g r u n n f o r m , m e n vi s e r i n g e n g r u n n t i l å u t e l u k k e a v l e d n i n g s f o r m e n e . I en s i t u a s j o n h v o r m a n s ø k e r e t t e r i n f o r m a s j o n s o m b e l y s e r et g i t t
p r o b l e m , e r d e t s j e l d e n at f o r m e n p å o r d e t s p i l l e r n o e n r o l l e . E r m a n f . e k s . i n t e r e s s e r t i d o k u m e n t e r s o m a n g å r b e s k a t n i n g ved s a l g av a k s j e r , er b å d e o r d e t S A L G , b ø y n i n g s f o r m e n S A L G E T og a v l e d n i n g s f o r m e n S E L G E R E N a k t u e l l e s ø k e o r d .
I d e n n e r a p p o r t e n v i l vi s k i l l e m e l l o m b e g r e p e n e r o t, s t a m m e og g r u n n f o r m p å f ø l g e n d e m å t e : D e t s e m a n t i s k e m o r f e m e t i et g r a f o r d k a l l e r vi en rot ( f . e k s . A R V , L E S o g H Ø Y ) . En r o t p l u s et a v l e d n i n g s m o r f e m e l l e r to r ø t t e r i s a m m e n s e t n i n g e l l e r en s t ø r r e k o m b i n a s j o n av a v l e d n i n g e r o g s a m m e n s e t n i n g e r , k a l l e r vi en s t a m m e , f . e k s . A R V I N G o g F A R S A R V (j fr. B o r g s t r ø m 1 9 7 5 : 7 4 ) . En s t a m m e b l i r a l t s å " d e t m a n k a n h e n g e b ø y n i n g s e n d e l s e n på".
G r u n n f o r m e n b r u k e s o m d e f o r m e n e vi f i n n e r i en o r d b o k , dvs.
i n i f i n i t i v s f o r m e n av et v e r b ( f . e k s . A R V E ) , u b e s t e m t e n t a l l s - f o r m e n av et s u b s t a n t i v ( f . e k s . A R V ) , p o s i t i v f o r m e n av et a d j e k t i v ( f . e k s . G A M M E L ) . M e d a n d r e ord,
- A R V e r et e k s e m p e l p å en rot, en s t a m m e o g e n g r u n n f o r m , - A R V E er et e k s e m p e l p å e n s t a m m e og e n g r u n n f o r m ,
- A R V I N G er et e k s e m p e l p å en s t a m m e .
U t t r y k k e t " r o t l e m m a t i s e r i n g " er n e t t o p p b r u k t f o r å m a r k e r e at m e t o d e n o m f a t t e r a l l e o r d m e d s a m m e r o t - f o r u t s a t t a t e n d e l s e n i k k e e n d r e r b e t y d n i n g e n av o r d e t . B e g r e p e t " l e m m a " b r u k e s o m en s a m l i n g av b ø y n i n g s f o r m e r i n n e n en o r d k l a s s e . S t u r e A l l e n i n n f ø r t e d e t t e b e g r e p e t i b e g y n n e l s e n av 1 9 7 0 - t a l l e t , o g han d e f i n e r t e et l e m m a s o m ( jfr. A l l e n 1 9 71 b i n d 2, s i d e X V I I I ) :
" e n g r u p p o r d f o r m e r i n o m en o r d k l a s s v i l k a k a n h a n f o r a s t i l l a n t i g e n en o c h s a m m a f l e x i o n s s e r i e e l l e r f l e r a i tal
o c h / e l l e r s k r i f t k o n v e r g e r a n d e s e r i e r v a r s d i v e r g e n s e r v i s a r r e n t f a k u l t a t i v v a r i a t i o n . "
M e n s 1e m m a t i s e r i n g b e t y r å s a m l e o r d i n n e n f o r s a m m e l e m m a , vil r o t l e m m a t i s e r i n g b e t y å s a m l e a l l e l e m m a e n e s o m k a n f ø r e s t i l b a k e t i l s a m m e r o t u t e n at b e t y d n i n g e n b l i r e n d r e t . E t r o t l e m m a er m e d a n d r e o r d en g r u p p e m e d l e m m a s o m h a r s a m m e b e t y d n i n g n å r
20
m a n s e r b o r f r a d e n i n f o r m a s j o n s o m l i g g e r i s e l v e b ø y n i n g s - og a v l e d n i n g s e n d e l s e n e . Et e k s e m p e l p å o r d f o r m e r s o m t i l h ø r e r s a m m e r o t l e m m a er:
(ET) KJØP KJØPET KJØPENE
(EN) KJØPER KJØPEREN KJØPERE
(Å) KJØPE KJØP KJØPER
KJØPENDE
KJØPERNE KJØPTE
KJØPS KJØPT
KJØPETS KJØPERS
KJØPENES KJØPERENS KJØPES
KJØPERES KJØPTES
KJØPERNES
V i s e r a t d e t er o r d f o r m e r f r a t r e f o r s k j e l l i g e p a r a d i g m e r (d vs.
b ø y n i n g s r e k k e r ) m e d g r u n n f o r m e n e K J Ø P ( s u b s t a n t i v ) , K J Ø P E ( v e r b ) , K J Ø P E R ( s u b s t a n t i v ) .
V e r b e t K J Ø P E h a r d e n s a m m e b e t y d n i n g e n s o m s u b s t a n t i v e t K J Ø P e n d e l s e n -E v i s e r b a r e at d e t er et v e r b , d vs . at d e t d r e i e r s e g o m e n h a n d l i n g . D e t s a m m e f o r h o l d e t h a r vi m e d s u b s t a n t i v e t K J Ø P E R , h v o r e n d e l s e n - E R b a r e b e t e g n e r at d e t er en p e r s o n s o m u t f ø r e r d e n n e h a n d l i n g e n . B o r t s e t t f r a d e n i n f o r m a s j o n e n s o m l i g g e r i s e l v e a v l e d n i n g s e n d e l s e n e , h a r i k k e d i s s e o r d f o r m e n e n o e n s æ r b e t y d n i n g , a l t h a n d l e r o m " d e t å k j ø p e n o e " . De t i l h ø r e r d e r f o r s a m m e r o t l e m m a . D e t er n a t u r l i g å gi r o t l e m m a e t
o p p s l a g s f o r m e n K J Ø P , s i d e n d e t t e er f e l l e s f o r a l l e b ø y n i n g e n e og s a m t i d i g e n t y d i g f o r r o t l e m m a e t .
E n d e l o r d f å r i n n s n e v r e t e l l e r f o r a n d r e t b e t y d n i n g n å r d e f å r l a g t t i l en a v l e d n i n g s e n d e l s e . V i s i e r at de b l i r l e k s i k a l i s e r t . E k s e m p l e r p å d e t t e er O P P D R A G o g O P P D R A G E L S E , og K O M M U N E og K O M M U N I S T . L e k s i k a l i s e r t e o r d f o r m e r v il t i l h ø r e et n y t t r o t l e m m a .
2 . 3 A l t e r n a t i v e f r a m g a n g s m å t e r
D e t er u l i k e m å t e r å g j e n n o m f ø r e a u t o m a t i s k r o t l e m m a t i s e r i n g på i et t e k s t s ø k e s y s t e m . S i d e n v å r m e t o d e s k u l l e a n v e n d e s i t e k s t - s ø k i n g , v a r d e t v i k t i g å f i n n e en l ø s n i n g s o m b å d e v a r e f f e k t i v o g i k k e f o r r e s s u r s k r e v e n d e . N e d e n f o r er d e t s k i s s e r t tre p r i n s i p i e l t f o r s k j e l l i g e f r a m g a n g s m å t e r ; m a n k a n
(A) f i n n e r o t e n ti l o r d e t o g k o n s t r u e r e a l l e b ø y n i n g - og a v l e d n i n g s e n d e l s e r t i l d e n n e r o t e n ut f r a en l i s t e m e d m u l i g e s u f f i k s e r ( e n d e l s e r ) ,
(B) f i n n e r o t e n t il o r d e t o g s ø k e i d e n
a l f a b e t i s k e o r d b o k a ti l t e k s t s ø k e s y s t e m e t e t t e r a l l e o r d m e d d e n n e r o t e n e t t e r f u l g t av et g y l d i g s u f f i k s ,
(C) k o n s t r u e r e en o p p s l a g s f o r m ( g j e r n e r o t e n ) t i l o r d e t s o m e r f e l l e s f o r a l l e b ø y n i n g e r og
a v l e d n i n g e r av s a m m e o r d . N å r m a n d e r e t t e r s l å r o p p på d e n n e o p p s l a g s f o r m e n i en " r o t " - o r d b o k , f i n n e r m a n a l l e o r d m e d d e n n e o p p s l a g s f o r m e n .
D e n f ø r s t e f r a m g a n g s m å t e n er i l l u s t r e r t i f i g u r e n n e d e n f o r . M a n k o n s t r u e r e r en l i s t e m e d m u l i g e s u f f i k s e r ut f r a m o r f o l o g i s k e r e g l e r , o g b e n y t t e r d e n n e l i s t a til å k o n s t r u e r e m u l i g e b ø y n i n g e r a v et o r d . T i l o r d e t A R V f å r vi f . e k s . k o n s t r u e r t A R V E N , A R V E N E , A R V E R o s v.
B e g r e p e n e " s u f f i k s " o g " e n d e l s e " b r u k e s h e r s y n o n y m t , d v s . d e v i s e r b å d e t i l b ø y n i n g s - og a v l e d n i n g s m o r f e m e r s o m s t å r e t t e r r o t e n .
\
