Тестирование программного обеспечения
DESCRIPTION
Сэм Канер, Джек Фолк, Енг Кек НгуенTRANSCRIPT
-
32.973 81 .
81 . -: . ./ , , . .: , 2001. 544 .
ISBN 966-7393-87-9
. , ,
-
, .
:
, , ..
.
32.973
.
.
-
..
..
..
..
..
..
/ 13.03.01. 13.05.01. 60x84/16.
. .
. .. 40.80. ... 40.80 3000 . 1-78.
, -55, / 100, ./ (044) 212-1254. e-mail: [email protected], http://www.diasoft.kiev.ua.
Authorized translation from the English language edition published by International Thomson Computer Press. Copyright 1999
All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopying, recording or by any information storage retrieval system, without permission from the Publisher.
Russian language edition published by DiaSoft Ltd. Copyright 2001 International Thomson Computer Press,
International Thomson Publishing Inc. ,
.
ISBN 966-7393-87-9 (.) . , 2001 ISBN 1-85032-847-1 (.) International Thomson Publishing Press, 1999
. , 2001 24729912 11.03.97. 77.99.6.953..438.2.99 04.02.1999
I. 19 1. 20
20 32 ? 37
2. 38 39 ? 46 , ? 49
3. 50 55 57 58 62 66 " " 69 80 " " 80 90
4. 93 93 ? 95 95
5. 101 102 103 113 116 119 122
-
6
II. 129 6. 130
134 135 135 144 .... 158 169 178
7. 180 182 183 193 194 196 196 : ,
.....197 : .... 204 : 205 206
8. 2 0 8 209 211
9. 2 3 7 ? 238 ,
239 ? 239 239 240 240 241 , ,
ASCII 241 242 242 242
7
243 243 243 243 244 244 244 244 244 245 245 , 246 , 246 246 246 247
10. 2 4 8 249 251
252 254 254 262
1 1 . 2 6 4 265 267 277 " " 280
12. 2 8 4 : ? .... 286 ,
288 .. 296 300 307 339 355
-
8
III. 357 13. .. 3 5 8
360 362 371 373 381 388 389 392 - 404 405 415 418 423 : 425 426
14. 4 2 8 430 434 : 435 439 447
. .... 4 5 3 455 486 , 490 493 496 500 515 523 527 531 536 542
,
.
, ,
,
.
.
, ,
, .
... .
, ,
.
, ,
.
"-
" , .
, .
,
,
,
.
,
?
,
? .
,
, : ,
,
..
-
10
, ,
, ,
.
, ,
,
" ".
,
, , .
,
.
, .
, .
, ,
.
, ,
,
- .
. : ,
. ,
.
. , , ,
. ,
.
- .
,
, , . ,
""
. , 40 . ,
. ,
.
, .
. ,
11
.
, ,
, ,
.
,
, - .
,
. ,
,
. ,
, , ,
.
.
. (, .) ,
. .
,
.
. ,
,
. , ,
, .
. , ,
, ,
. , ,
. ,
.
.
,
, .
, ,
, , , .
,
,
. ,
-
12
. . (
.) , , ,
.
,
,
. ,
, -,
, . ,
,
. , ,
.
,
,
. ,
.
. .
.
,
. , ,
,
.
.
, (Quality Assurance).
.
, , .
-
- .
13
, ,
.
? ,
,
- .
Association for Computing Machinery ( ) IEEE Computer Society ( IEEE) Computing Curricula 1991 ( ),
.
, ,
. Computing Curricula Advanced Software Engineering ( ), ,
.
, ,
-
.
? Associate of Sciences ( ), ,
, .
. ,
,
.
,
, ,
. ,
,
.
-
14
. ,
, .
,
. ,
.
,
.
,
, ,
.
1. .
, .
( ), . 1, 2, 4, 5 3. , , ,
, .
,
6 ( 1020). -
15
.
.
.
.
2. 612 .
( 6 5). .
,
.
, 15.
6 ,
, ,
.
, ,
,
, -
: , . , , ,
,
. ,
"
".
8, , . ,
,
.
,
. ,
, ,
( , , ..), . ,
, ,
.
-
16
,
,
( ). ,
. ,
.
(. 7 12) .
,
- , ,
, .
,
? ? , . ,
( 7), .
? , ,
,
8 , , .
.
( 10).
,
.
- -
( 11). , ? ? ,
? ,
?
17
3. (1314)
, .
( 12) ( 13). 15 .
, .
,
.
,
: ,
. , ,
, ,
, ,
.
. .
, , . ,
.
:
. 12 " : : ".
-
18
1983 , 1988 (Kaner) . ,
.
, ( ): (Elaine Andersson), - (Boris Beizer), (Jim Brooks), (Randy Delucchi), (Mel Doweary), (David Farmer), (Larry Jones), (Sharon Hafner), (Mahmood Kahn), (Ginny Kaner), - (Sam Kaner), (John Lavelle), - (Larry Malkus), (Ted Matsumara), - (Don Maxwell), (Bruce Miller), (Rachel Miller), (Peter Morse), (Jane Stepak), (Emmanuel Uren).
,
.
I
1.
2.
3.
4.
5.
-
1
,
.
, "" ,
, .
.
,
,
.
.
, ,
.
.
.
- , . -
. ADDER.
1.
,
, . ,
,
. .
1: 21
2 3. . 1.1. . 1.2 , .
( ) , .
,
2 3 5. . ,
. 1.3. 1. . ,
. , ,
? 2. . .
, ? ,
? ,
,
.
3. . ? .
4. . ( 5) .
-
1: 23
"
" .
, .
, , ,
. ,
.
, .
2. ,
, , ,
. : ,
.
. ,
. 1.4.
-
24 I:
, .
.
39600 . . . 1.4 . ? , ,
. ,
. ,
,
.
(39601) . -99 99 199 . . 1992 = 39601 . ,
, , ,
. , .
, .
.
2 + 3, 3 + 4, , . ,
.
, ,
.
.
,
, .
,
, . 81 " ".
, .. ,
.
.
,
.
1: 25
,
.
. ,
,
, , 99. ,
.
, .
,
, , ,
. ,
,
.
, .
.
. , ,
.
, ,
.
, ,
.
,
. ,
, .
.
.
,
.
, .
3. ,
, . 1.4, .
.
: , -
. , . 1.4.
-
26 I:
, .
,
, , 2 3. -.
0 . .
"". ( , .) 9 -9, , ,
"". , .
4. " "
,
. ,
.
. ,
, -
. . ,
, ,
.
,
,
. , -
. , .
,
. ,
,
, . . 1.5 , , .
,
.
. 1.5, : "" .
, .
, .
.
.
5. ,
. ,
.
,
.
,
.
,
.
-
28 I:
, .
. .
.
.
, , 198, 0. (, 100)
< Enter>. ,
.
, ,
. , , .
,
,
. , ,
.
. ,
.
, .
:
, ,
, ,
.
,
. , ,
. ,
.
,
. ? : , ,
, . ,
? . .
.
1: 29
-198 198. ,
0 198. ,
(8 ). , 0 255.
,
.
,
? , , ,
.
-127 127. , 127, .
, ,
127, . , .
127 128. . 1.4 (99 + 99), ,
. ,
.
,
,
.
. ,
, .
, , -
. ,
, .
, ,
, .
, ,
.
,
.
,
.
-
30 I:
ASCII- . ,
,
.
,
, .
.
.
,
.
ASCII. . 1.6.
,
ASCII-, , .
.
IF SII___ 48 (48 ASCII- 0)
THEN ELSE IF SII___ 57 (57 ASCII- 9)
THEN ELSE , .
, - .
.
, 0 . , ,
ASCII (48). 48 47,
/, , . , ,
/ , .
1: 31
48 38, /, 38 47.
, 47. 9 (ASCII- 57).
, ,
57 57. 9, .
-
.
,
58, 58. .
75 57, 48 75. , ,
() .
,
,
: /, 0, 9, :.
. 1.6 , ,
. , .
? . b . (/, 0, 9, :), , , .
.
.
, , ,
.
. ,
.
,
-
32 I.
. ,
.
,
, .
, ,
.
, ,
.
,
, .
, . .
, .
.
. , .
, ,
, .
. 1.7.
1: 33
1. ,
- , ,
, ,
: . , ,
, -9. -10 199 -
, . . 1.4, , -99, -78 -14 . -78 -14 .
,
.
,
. , "" ,
,
.
-1 -9 , , ,
.
,
, .
? .
2. , . ,
.
. ?
,
,
.
, .
-
34 I:
"",
. ,
. ""
() . , . ,
, - . .
.
. , ,
, .
, "" , ,
, ? , ,
.
,
. .
, . ,
.
,
.
. 1.8 , .
1: 35
. ,
, 4/3 + 2, . .
, . ,
.
3. , , ,
, , ? . , -
2 2 5. 1:2 .
.
"" (. . 1.4),
. .
, "
" . . 1.9 , .
, .
, , .
.
10. . " " .
, . "
" " ? ( ,
?)
. -127 127 0 255. , -127 . 99 99 , , .
. -
, ,
.
-
36 I:
,
, ,
, .
.
,
.
, . 1.8: , , .
, "
", "". " "
.
11. . .
"".
:
, 7, 8 9. "" , .
,
, , , , . - "", ! . ( ! : , , -] "".)
. .
.
1. 37
, : ,
, .
. ,
, ( ), .
, ,
,
. ,
.
?
, . ,
,
.
.
,
.
, .
,
, -
, .
, .
,
. ,
, . ,
. , ,
,
.
-
2
, .
,
. ,
: , .
, :
; , ,
; ,
.
, ,
.
? ? , , ,
, .
,
.
?
2: 39
? ? , ?
, .
, ,
. ,
( 7, 8 13).
, 1965 ., (Karl Popper) , ,
, .
,
, .
? , -
. ,
.
,
.
,
: "
". ,
, , ,
.
.
, .
,
, ,
.
, ,
, ,
.
-
40 I:
,
,
.
-
. ,
, ,
,
, .
,
,
.
, .
,
.
(
) .
,
, .
.
, .
39 601 . ,
399 960 001. .
?
,
, ,
. , , -
2: 41
, , , , .
, ,
.
,
, . ,
. :
, , .
? , . , ,
. . ,
, , .. ,
. ,
, , . .
. , .
, : , ,
.
.
, .
, ,
.
. ,
. ,
.
,
.
, ,
4 - (race condition). -
-
42 I:
. ,
,
, ,
. .
, .
,
? ,
. (, , ). . , , ,
.
,
,
, .
, ,
.
, , ,
.
,
, .
, 512 . , 16 384 , .
(100 . ), (.. ). ,
.
.
,
,
.
. .
2: ...43
.
.
.
. , ,
. , .
,
. ,
, , ,
. ,
.
1. , .
1 2. 2 3 5. 3 4 5. 4 3, 5 6. 5 1, 4 6. 6 3 5. ?
. , ,
, 6, 4 5, . ,
, ? . 1
. ( 2), ( 3 ), ( 5 ). , Hold ( 4) ( 5). ( ), ( 6 ). , , , 1.
-
44 I:
,
Hold. Hold, , .
.
,
,
.
,
. ,
, .
, ,
.
. ,
, "
" .
,
,
, .
,
, 1976 - (Myers). , 1018 . ,
4*1017 .
1979 . IF.
20 . 100 .
.
. ,
,
, , 100 , 5 . , 20 . 400 . ? . , .
, , ,
,
2: 45
.
.
. ,
.
,
,
, ,
.
. ,
. ? . .
. .
. ,
.
,
.
? ? ?
, ,
, . ,
, .
, , 2 + 2 5?
? ,
. (2 + 2 = 5), .
. ,
. ,
, , .
,
. , ,
.
.
-
46 I:
.
. ,
.
,
. ,
? , .
. ,
, . ,
, , ? , .
. ,
.
,
(Beizer, 1984) (Dunn, 1984).
-
?
.
:
, , .
, :
.
:
, ,
, .
, :
, ,
.
.
,
,
( ).
2: 47
: ,
.
.
40 80 . ,
, .
, ,
, . ,
, ,
.
? (Beizer), 1990 ,
1 3 100 . , ,
.
1 3 100 , , ,
. ,
, 1,5 1 . , .
, ,
, 10 150 .
99% . , , . 1% : .
,
, ? , ,
, , -
.
, : "
-
48 I:
! , ?" , . ,
, .
, (, 1979). , , , : " , , ".
, ,
. , ,
: . -
. , ,
,
, ,
(Green & Sweets, 1966). , , ,
.
,
,
, .
: , , ,
. .
, ,
,
.
: , ,
,
. ,
,
(Rosenthal, 1966). , ,
.
, , ,
.
,
.
2: 49
, ,
, , , , ,
. ,
.
,
, .
, ? .
, .
?
,
.
, , .
, ,
. ,
( , 7, 8, 12, 13). , , .
, , .
, , .
(, 1979). , - .
, .
, . ? , , ,
, .
, ( ) . , !
,
, -
.
, ,
, .
-
3
. .
1. . ,
.
2. . - ,
, .
. ,
,
,
.
3. . , ,
.
,
.
3: .. 51
.
,
, .
4. . .
, .
.
,
, ,
.
, .
,
.
, .
, ,
,
, ( 12 13). 13 .
, ,
: ,
.
,
, .
,
. ,
, , .
.
, ,
.
, ,
.
.
,
.
. ,
,
,
.
-
52 I:
,
,
, ,
. 1 3 . 3 . , ,
. 13 ,
. 13.4, .
, .
,
. .
" "
" "
: , .
, (development team), .
,
,
.
, ,
, . ,
.
(project manager, software development manager producer) ,
. ,
.
(designers) .
3: ... 53
(architect) ,
,
.
" " ,
( ). (subject matter expert software analyst) , ,
.
,
(human factor analyst ergonomist), , ,
, ( ) .
,
. ,
,
.
.
(user interface programmer) .
,
,
.
, , ,
( , , , ..) ( , ), .
.
.
, -
-
54 I:
. ,
,
, -
. ,
,
,
.
(lead programmers) - ( ), . -
, ,
.
{product manager product marketing manager) ,
(, , ). -
. ,
,
. ,
,
.
(technical support) ,
.
, -
.
,
, .
(writers) (documentation group), .
.
(testers) .
: , , ,
, , ..
3: 55 , ,
.
. , ,
, ,
, ,
.
, , ,
.. ,
. ,
,
{life cycle). .
,
,
.
, , ,
12 13. .
( ) Software Maintenance (
) - (Martin & mcClure, 1983, . 24) . .
3% 6 7 %
3%
5%
7% 15% ,
(Zelkowitz, Shaw & Gannon) 1979 .
-
56 I:
-,
. -
45% -.
.
. , -
.
.
: ,
,
.
,
.
, .
,
,
.
.
,
, ""
,
.
1976 . (Boehm)
,
IBM, GTE TRW. , ,
.
. 3.1, :
,
,
,
.
3: ... 57
( ) $75 , $4 . .
,
.
(DeGrace & Stahl, 1990), - (Myers, 1976) (Roetzheim, 1991). (Boehm, 1981), (Jones, 1991) (Wolverton, 1974).
, , ,
. .
,
.
.
.
,
.
. ,
.
.
, ,
.
, .
,
, ,
. , ,
.
,
,
. ,
-
58 I:
, -
. ,
, ,
.
- .
.
, . ""
,
.
, ,
,
, ,
, .
IEEE Software Requirements Specification ( IEEE , ANSI/IEEE 830-1984).
""
. ,
,
.
. ( 13 ,
.) . ;
,
.
: ,
.
.
3: ... 59
.
? ?
? - ? - ?
? ( ) .
, ( ,
). ?
,
, ,
( ..), ? ? ,
: ,
, .
? ,
, ,
i286? , .
.
? , -
.
,
.
(Dunn, 1984), (Gause & Weinberg, 1989) ANSI/IEEE Standard 830.
, , ,
.
-
60 I:
,
,
.
? ?
, , ,
, .
, ,
.
.
, ,
.
,
.
.
? - ?
.
, , -
.
.
. ,
.
,
, ( ), , - . ( (Rubenstein & Hersh, 1984) (Norman, 1988)).
, -,
.
.
, ,
.
: .
3: ... 61
.
.
, ,
,
. .
. ( , .) , ,
.
, .
,
.
. ,
, ,
.
.
,
.
, , .
,
. ,
, ,
. ,
.
? ? ?
? , ?
, .
,
.
(Bailey, 1989),
-
62 I:
, (Card, Moran & Newell, 1983), (Helander, 1991, 38), (Norman & Draper, 1986, IV), (Rubenstein & Hersh, 1984). , -
(Baecker & Buxton, 1987).
, .
(, ) . .
,
. , ,
.
. , ,
,
. ,
.
,
.
, 12 14.
(Yourdon, 1975), (Jones, 1979) (Myers, 1976).
, ,
. ,
,
.
, .
,
. ,
, -
, , ,
3: ... 63
, , , .
, ,
.
, ,
1973 , (Martin), (Helander, 1991), (Baecker & Buxton, 1987), , (Card, Moran & Newell, 1983) (Rubenstein & Hersh, 1984).
( ), , ( ) .
, ,
, , ..
, , ,
,
.
.
, .
( Windows. . .) , , . ,
,
.
,
, .
.
, .
.
,
.
1. ,
, -
-
64 I.
.
, , , .
(Yourdon, 1975). (Yourdon & Constantine, 1979).
.
?
, ,
, -
.
? , -
. ,
.
? ? . , ,
,
.
? . ? ? ?
,
, .
. , ,
,
,
. ,
.
. ,
,
, ,
3: ... 65
,
. ,
, : ,
, . ,
.
,
.
(Bergland, 1981). (Gane & Sarson, 1979) (Yourdon & Constantine, 1979). (Beizer, 1990).
. ,
.
.
( ) , .
(Yourdon, 1975).
,
.
. ,
.
,
.
,
, , ..
: , , . ,
. ,
, 60 . , ,
.
.
-
66 I:
,
.
: ,
. ,
,
. ( - (Martin & mcClure, 1983), - (Wasserman & Shewmake, 1985)).
-
, : ,
. , , ,
.
.
(Brooks, 1975) - (Kernigan & Plauger, 1974).
. .
.
, . ,
.
,
,
.
,
(DeGrace & Stahl, 1990), (Helander, 1991), (Rubenstein & Hersh, 1984), (Ould, 1990) (Schneiderman, 1987).
, , ,
.
,
. ,
.
,
. ( -
3: ... 67
.) .
? , ,
? ?
,
.
? , ,
.
? ( , ) ? ,
? ?
?
.
"",
, -
, .
.
, ,
.
(Dunn, 1984) (Freedman & Weinberg, 1982). (Beizer, 1990).
,
, , .
. .
. -
-
68 I:
, -| (, ). , -; ,
. : ,
.
.
. ,
, .
,
, :
, .
.
: , , ..
.
.
,
.
,
.
.
. -
, ,
, ,
. ,
.
.
,
. , ,
,
.
. ,
.
,
.
. ,
3: ... 69
.
(Doyle & Straus, 1976), (Freedman & Weinberg, 1982) (Gause & Weinberg, 1989).
( ) ,
. ,
1 .
IF SII___ 48 (48 ASCII- 0)
THEN ELSE IF SII___ 57 (57 ASCII- 9)
THEN ELSE , .
,
.
,
.
, ,
.
, (Dunn, 1984) .
" "
:
. , ,
, .
, -
. "
" (glass box) " " white box) " " black box).
-
70 I:
" "
, .
, , ,
. ,
,
.
,
.
" " .
( , ) , , .
.
.
, -
,
.
" ".
. ,
. ,
, .
,
.
. ,
. , ,
,
, ,
,
. ( : ,
.) . ,
.
( ), , ,
.
.
11.
3: ... 71
.
, "". ,
, , ,
, .
, .
,
,
.
, .
,
, .
. ,
,
.
" "
. ,
,
. .
.
" ",
. ( .
, (Beizer), (Hetzel) (Myers).) " " , ,
. ,
,
, " "
, .
12.
" ",
.
-
72 I:
"
".
.
" ".
.
.
-
(Beizer, 1984). (Dunn, 1984), ,
,
.
,
, . -
, , ; .
:
, .
,
.
2, .
,
.
, (coverage criteria). B , -
( ) -.
.
, : , .
, .
. ,
.
, ,
.
, ) .
. ]
3: ... 73
().
() . ,
IF . ,
.
.
: (Beizer, 1984), ,
.
.
.
.
,
.
,
,
, .
(execution coverage monitors).
. (), () () , -
.
.
, -
.
-
74 I:
(Goodenough & Gerhart, 1975) , .
.
SET A = /
, .
, ,
"". ,
.
(DeMillo, 1987) , .
,
. ,
.
.
" " ,
.
(Rapps & Weyuker, 1985), (Beizer, 1984,1990), , (Myers, 1979). |
|
. ,
. (bottom-up). , ,
. ,
. ,
,
.
.
.
, ,
.
. ,
,
.
, ,
. -
3: ... 75
,
( , ..). .
-,
. , , ,
. ,
, .
, ,
. ,
.
.
,
,
.
,
.
,
.
, .
. .
,
. , ,
, ,
.
,
.
,
. ,
? -, ,
.
.
( ), , , ? , , , ,
, .
-
76 I:
. ,
-.
,
.
, .
.
,
- ,
,
, .
,
.
, .
,
, , ,
.
,
, ,
.
,
, ,
, .
, -
.
(top-down). .
, .
.
,
, . (Yourdon, 1975) , , (Myers, 1976) , , , .
(Dunn, 1984), .
: ,
, .
3: ... 77
.
"
" " " .
, ,
. ,
.
. .
,
.
,
.
11. .
, , , , ,
. .
, .
,
. (Myers, 1979) . (1978), ,
,
. (Fergan, 1976) .
.
.
. ,
, ,
.
, , , ,
.
, -
.
( , ) , .
(Weinberg, 1971), (Beizer, 1984, 1990)
-
78 I:
,
.
, .
, ,
. , , , -
.
, ,
,
,
. -
.
.
. ,
,
. ,
, "", ,
.
, , ,
. "" .
, ,
.
, .
,
,
, .
!
,
, ,
?
3: ... 79
:
(bebugging). . (Weinberg, 1971), , , ,
.
. 100 , , 20 , , 80% .
(utati testing). , .
.
, , .
(DeMillo, 1987).
"" " ".
,
,
.
. ,
,
.
"
".
, , ,
, .
:
,
"" .
-
80 I:
(Beiaer, 1984).
.
,
.
, ,
. ,
, . .
,
.
,
,
.
, -
. , ,
.
,
.
, ,
,
.
.
, : , , .
, .
. "
"
, 11.
" "
,
. , ,
3: ... 81
. ,
, , .
- (Martin & mcClure, 1983) (Boehm) .
, ,
, 50%.
, ,
, 20%.
,
. ,
.
. , ,
. ,
,
, ,
, .
,
- .
.
,
.
.
: , , .
,
20 30.
"
"
,
" "
. . , ,
,
.
-
82 I:
,
: , ,
.
,
.
,
. 7, 12 .
-
, .
"" , .
.
, .
,
.
,
.
.
.
, ,
.
,
" ".
? 24?
,
,
.
,
.
- , ,
.
,
, .
, , ,
3: ... 83
.
, : . ,
, -
.
.
, .
.
,
, .
,
,
. ,
.
, ,
.
{ ) { ) . .
Independent Verification and Validation (IV&V ). , .
(Andriole, 1986) IEEE Standard for Software Verification and Validation Plans (ANSI/IEEE Standard 1012-1986).
-
,
. ,
-.
.
. - ,
,
20 .
-
84 I:
20 - - .
4 8 , ,
. ,
.
-
. .
, ,
.
. -
,
. , .
,
, ,
.
. ,
,
.
-,
13.
-
.
, .
: ,
.
,
, ,
, .
.
:
.
, -
3: ... 85
. ,
, - .
.
, : , , ,
. ,
.
. - ,
.
,
.
,
, .
. , ,
.
, . ,
.
. ,
.
, .
.
,
. , .
.
, , ,
.
.
, (Beizer, 1984). (Perry, 1986). , .
-
86 I:
.
, .
.
,
.
-, ,
, , .
,
,
, .
.
?
.
-
.
, ,
, - ,
.
. ,
.
, ,
.
3: ... 87
? ,
,
. ,
? , ?
,
.
. , ,
. ,
,
.
(load testing) .
.
? ,
.
, ,
. ( ,
,
, .) ,
, ,
.
.
? , , ,
120 . ,
,
.
.
-
88 I:
.
, ,
, .
,
. ,
.
,
, , ,
,
.
,
, , ,
.
(Beizer, 1984).
,
.
. ,
, .
, ,
.
? ? (Beizer, 1990) (Fernandez, 1981).
(compatible),
,
3: ... 89
. ,
, ,
.
, , . ,
-,
.
,
, .
,
,
. ,
.
.
,
.
, ,
, .
, ,
.
.
.
? ? ?
, ,
-, ,
. ,
,
?
, ,
, .
(, , , ), , " " .
-
90 I:
-
. , .
, ,
.
,
, .
- (Martin & mcClure, 1984).
67% . .
20% 25%
6% 4% 42% 3%
,
.
,
,
. ,
, , .
, .
,
.
, .
.
. .
, ,
3: ... 91
.
,
. -
, , , ,
,
. ,
.
.
. ,
.
,
.
, .. . , .
? , ,
, ? .
, , .
, , .
. .
, ,
2. , ,
.
.
, ?
?
? .
. ,
. .
, ,
.
-
92 I:
. ,
.
,
?
. (Windows, Mac, AmigaDOS, Motif ..) . ,
.
. ,
,
.
,
.
, .
,
.
. , -
,
.
, ,
.
, .
,
,
13 , 400 .
(Deming, 1982), (Feigenbaum, 1991), (Ishikawa, 1985) (Juran, 1989).
,
.
,
.
.
4
-
94 I.
.
, ,
.
,
, , . ,
. ,
.
. , ,
,
.
,
, ,
.
-, , .
, ,
.
, :
, ; ,
.
,
, , .
- ,
, ,
. ,
,
. ( (Juran, 1989).)
. ?
4: 95
?
.
.
, ,
.
, ,
. .
,
, , ( (Myers, 1976, . 6)).
,
. ,
,
( (Beizer, 1984, . 12)). , ,
.
,
. , ,
.
,
,
. ,
.
13 , . ,
(Beizer, 1990).
( ) . "
". .
-
96 I:
,
, ,
.
, ,
, .
,
:
.
,
.
. ,
.
,
.
,
? ? ? ? ?
? ,
? , , ?
? , ? ,
?
? ,
?
4: 97
? ?
.
, ,
, ( ).
: , .
, ? , ? ,
? , ?
.
, , . ,
,
.
,
(, ). . ,
, , ,
, .
,
.
.
.
.
, 2 + 2 = -1, .
-
98 I:
,
. , ,
,
.
, ,
.
, -
.
. , ,
.
.
, . ,
(, ). , , , :
, .
, ,
, ,
.
? -
? :
, ?
, , ,
. : ,
" ".
.
, - -
4: 99
. , ,
, .
. ,
, . .
,
, ,
. , ,
, .
.
,
, .
,
.
.
,
. ,
-
. . ,
.
,
, ,
.
, ,
.
, - ,
.
. , ,
,
-
1 0 0 I:
.
.
(Quality Assurance). , , .
,
. ,
, .
, 10 .
, ? , , .
, ,
. ,
: , , -
. ,
.
5
,
. ,
.
. , ,
,
.
.
, , , --
.
.
, .
.
,
. ,
,
6. , :
; ; ; .
-
1 0 2 I:
,
.
: ,
.
.
,
, .
, .
,
.
,
.
. , ,
, - ,
.
, .
,
.
, .
, ,
. , ,
, ,
.
,
. :
,
, , .
.
,
.
5: 1 0 3
,
, .
,
. . 5.1 , ,
.
, ,
.
,
. ,
: 1.01. , () 1.01.
, .
, ,
, - ,
.
,
. ,
,
, ,
, , .
.
1. . , . , ,
2 + 2 = 3, .
.
-
5: 1 0 5
2. . ,
.
.
, ,
, .
3. . , - . , ,
, .
4. . , .
,
.
, , .
. , ,
.
5. .
.
, .
,
.
6. . -, . - .
,
.
,
.
, , ,
.
,
. (Beizer, 1984, . 20), , 1 ( , ) 10 (, , , ..). ,
.
-
1 0 6 I:
.
. , -,
, ?
.
:
. .
,
. , .
,
,
. ,
, ,
,
.
, ,
. ,
. , ,
,
, .
-
.
,
.
, . ,
, , ,
: , ,
.
, , ,
. ,
.
5: 107
,
.
, .
: " ".
? , .
, ,
: , , ( ), , ( ). , ,
, . ,
, ,
,
, .
, , , .
,
.
, ,
, , - .
, ,
.
, .
: , ,
,
.
. ,
,
.
, ,
, .
,
.
-
1 0 8 I:
,
, ,
.
, .
, , .
, .
.
, , ,
.
, ,
.
: , , .
, .
.
, , .
.
.
.
( ), , .
.
. ,
- ,
.
,
. ,
. ,
,
.
.
5: 1 0 9
,
. ,
, .
,
.
,
, .
, .
. ,
, , ,
.
. ,
, ,
, , .
,
, .
.
. ,
, .
: , . , .
,
,
. ,
.
, 5- 10- . .
.
.
-
110 I:
(1) .
(2) . (3) (, ..). (4) . (5) , . (6) , .
3- , 15-.
.
,
.
, .
, ,
.
,
.
.
,
.
.
. .
, ,
. ,
.
, , ,
, ,
.
. ,
.
.
5: 1 1 1
. ,
.
,
,
. ,
.
.
, .
,
.
.
.
. , ,
, , . ,
, .
.
.
.
.
.
,
.
, .
, .
,
.
. .
, ,
( ), . ,
.
, , ,
, .
-
1 1 2 I:
.
,
.
,
,
.
,
, .
,
,
? .
, .
, ,
, . , ,
.
, .
. -
, , .
,
.
, .
,
,
. ,
, ,
.
.
5: 1 1 3
,
. , , : . ,
.
,
. .
,
, . ,
.
, ,
.
, ,
.
,
. , ,
,
- .
,
,
.
:
.
, , , . ,
, , , .
,
. ,
.
,
.
, ,
.
, ..
-
1 1 4 I:
.
.
.
,
.
. ,
, .
,
, .
,
, . ,
. , ,
, ,
.
,
.
, ,
, , .
, ,
.
,
, . ,
.
.
,
.
,
, ,
. , ,
.
, ,
. , , , -
5: 1 1 5
, ,
. , .
.
, ,
.
,
,
(. 6). , ,
.
, , .
, - . -
.
.
.
, ,
, .
,
.
,
.
, .
,
. ,
,
, ,
. -
, , ,
. ,
.
,
, .
, . ,
,
.
, .
-
1 1 6 I:
,
. ,
,
,
. ,
, .
, . ,
, .
,
, . ,
,
.
, .
,
.
.
,
.
. ,
,
. ,
, ,
. :
.
.
, .
.
,
.
.
, ,
. , ,
, . ,
5: 117
?
.
.
, . ,
. , ,
.
:
.
,
,
, .
, :
, . ,
, ,
- .
, ,
-, ,
.
, - .
,
,
.
, ,
.
, .
, ,
.
,
.
, , -
.
-
1 1 8 I:
,
. ,
. ,
.
,
.
, . ,
,
, -
.
, ,
.
.
,
: , , .
,
.
, ,
, , .
,
, ,
, .
, ,
. ,
.
, .
, , ,
.
.
,
. ,
, .
-
,
.
.
, ,
5: 119
: , .
, .
.
, ,
.
, .
, , .
, ,
.
,
, ,
, - .
, ,
.
.
. ,
,
,
.
.
, ,
- .
, ..
.
. ,
,
. , ,
,
.
.
. , -
-
1 2 0 I:
,
, .
. ,
,
.
.
. , , ,
.
.
,
,
.
,
.
,
. , ,
, ,
, , ,
,
,
.
,
.
,
. ,
, ,
,
.. ,
.
,
, ,
.
,
.
(, , .
, -
5: 1 2 1
.) , -
.
, , .
, ,
, .
.
, "
", .
. ,
, .
,
, -
,
.
,
.
,
, , , ,
- . ,
. ,
, ,
, . ? , , , . ,
, "
".
,
, ,
, .
,
. ,
.
, -
, .
-
1 2 2 I:
,
. ,
? ? , - .
, ,
.
,
.
,
,
, .
, ,
.
.
,
,
.
, . ,
. ,
. , ,
. ,
, 8.
, , ,
.
,
, ,
. ,
- , , -
5: 1 2 3
,
" ".
, . ,
, .
? , :
, . ,
, .
, . : " ?"
,
.
. ,
, , - .
,
,
.
, -
, .
,
. ,
,
. . ,
, .
, .
.
.
.
, ,
.
, :
, .
.
.
, ,
, , -
, . ,
-
1 2 4 I:
, ,
, - ?
- .
.
,
, .
: ,
, -
. , ,
, , .
.
.
, .
, ,
. ,
,
, .
, ,
, , .
, ,
, .
,
.
, .
,
. , .
, , ,
.
,
.
, ,
.
5: 1 2 5
,
, , .
.
,
.
,
, ,
.
, .
,
. ,
, ,
.
. ,
,
,
.
.
.
,
, .
,
.
,
,
.
,
- ,
. ,
, ,
.
,
.
-
1 2 6 I:
.
,
,
.
, .
.
, , ,
. , , .
, -
, .
, ,
, , .
.
.
, ,
,
.
" 2000 " 31 1999 1 2000 - ,
,
.
, ,
, , ,
, , .
, , .
, .
90% , .
, .
, -
5: 1 2 7
,
, , ..
, ,
. , ,
,
,
.
. ,
.
, , .
, -
,
.
.
, ""
,
. , , ,
, .
, ,
.
,
, .
.
, . ,
.
-
. .
, - , ,
, . .
,
. , , ,
.
-
6.
7.
8.
9.
10.
11.
12.
II
-
6
,
.
. ,
,
.
.
, , ,
,
.
"" -
. ,
, ,
. ,
. ,
,
.
.
.
6: 1 3 1
, .
. ,
.
. ,
.
. ? ,
.
, ,
. ,
.
? ? .
.
,
, .
,
.
.
.
, ,
,
.
. , ,
. ,
,
. ,
,
,
.
-
1 3 2 II:
, ,
.
, ,
,
, .
, ,
,
. , ,
, .
,
.
,
.
, .
,
. ,
,
.
, .
.
1. . ,
,
.
.
,
.
. ,
.
2. .
.
, :
. ,
,
. , ,
6: 1 3 3
,
,
. ,
,
, ..
,
. .
? , ?
?
? ?
,
? - ?
? ? , -
?
? ?
, ? ?
3. .
, , , -
, ,
, ,
..
.
-
1 3 4 II:
.
.
,
:
, , , ,
.
4. . , , X, , .
,
,
, X , , .
.
,
, ,
, , .
,
, .
,
.
, ,
.
, ,
.
. ,
, .
,
. , , ,
,
.
6: 1 3 5
, ,
, .
:
1. , , .
2. , .
3. - .
. ,
,
.
,
: ,
,
, .
, 5. ,
.
.
.
,
. ,
, , ,
,
(, ), , .
-,
.
.
.
-
1 3 6 II:
,
.
.
.
, ,
.
, , , .
, ,
,
.
,
.
, , .
.
,
. .
,
.
,
.
,
. , ,
,
. , -
,
,
.
.
.
, . ,
6: 1 3 7
, .
,
. ,
, ,
.
,
.
,
, ,
.
,
. ,
, ,
,
.
"", .
.
, .
,
,
.
, .
,
, .
,
, .
,
,
.
,
. ,
,
,
. , -
-
1 3 8 II:
.
- .
, ,
. ,
,
,
.
,
.
,
,
( , ).
,
( , ). ,
- ,
.
,
,
. , ,
.
( ), , ,
,
,
-
.
. , , ,
, .
, ,
: , , , ,
6: 1 3 9
.
,
( , , ). :
, ,
,
.
. ,
.
, , .
.
. ,
.
.
. .
,
.
,
, , .
. .
,
.
, 10% .
, , ,
. 25% , , , , ,
, - .
3, , 80%.
,
, ,
. -, -
-
1 4 0 II:
,
, .
( , ,
, .) ,
, . ,
.
,
.
.
? ? .
. , .
,
, , ,
.
, .
,
,
.
""
, , ,
.
.
, ,
.
, ,
.
,
, 5. , .
.
. ,
, .
,
,
6: 1 4 1
. , ,
.
,
.
, ,
.
,
,
.
: , . , .
, ,
,
.
, ,
. ,
,
. ,
, ,
,
.
,
.
, , ,
.
,
,
. , ,
,
.
,
.
, .
,
.
-
142 II:
, ,
. ,
, ,
. ,
: , , , , .
, .
,
.
, ,
,
. : , .
. ,
" "
.
, ,
.
, ,
. ,
,
.
.
, .
, ,
.
. ,
,
,
, , ,
, .
.
.
( , ). -
6: 1 4 3
. ,
, ,
.
, .
. ,
,
. ,
, , ,
-, , ..
.
,
.
,
,
. ,
.
- ,
.
: , .
,
, ,
. ,
, ..
.
, ,
,
.
. , , ,
.
,
.
,
-
1 4 4 II:
, .
,
, ,
,
. ,
,
.
,
, ,
,
.
, .
-
,
,
,
.
,
: , ,
. - ; . ? ?
,
,
. , ,
, .; .
.
. , ,
- ,
6: 1 4 5
.
,
. ,
, .
,
( , ,
), , ,
.
, .
, . ,
,
.
.
, ,
, ,
.
.
,
. ,
.
, ( ), , ,
, .
, ,
.
,
; ,
-
1 4 6 II:
-
.
. , ,
.
.
. ,
,
, .
,
. ,
,
,
.
.
.
, ,
.
,
.
.
,
. ,
,
, , -
, .
.
.
,
,
. ,
,
,
. , -
6: 1 4 7
,
, ,
.
,
.
, , ,
, .
, ,
.
.
,
40 40 , 35 ,
,
, . ,
.
,
.
, , ,
.
, "
" , ( ) ,
,
,
.
.
.
:
-
1 4 8 II:
,
.
,
. ,
.
: " , , , ?"
.
, ,
.
,
.
.
.
,
.
.
,
.
, ,
,
.
.
. ,
.
. ,
,
. , ,
6: 1 4 9
. ,
,
. ,
. ,
. ,
. ,
,
, .
,
.
, , .
,
.
,
, .
.
.
, , .
,
. , ,
-
( ), ,
.
.
,
. ,
.
, , .
( ) , ,
-
1 5 0 II:
,
.
,
.
, .
, ,
, , ,
,
. ,
.
. ,
. i , ,
.
, , ,
,
.
, .
,
. ,
: , ,
.
i . ,
, ,
.
,
,
.
. , , - .
? , ,
,
:
6: 1 5 1
: ,
,
? ,
.
, :
,
, ,
.
, ,
,
. , ,
,
, .
? .
,
. .
,
,
- .
,
,
, . ,
,
. , ,
,
- . ,
: ,
, ,
.
,
. ,
,
.
-
1 5 2 II:
,
,
. ,
,
.
, , ,
, ,
, .
.
,
.
, ,
,
.
.
,
. ,
, .
, :
.
,
,
.
,
. , -
,
, ,
.
,
,
.
, ,
, , ,
6: 1 5 3
. ,
,
:
.
,
, ,
.
,
,
,
Internet .
, ,
,
.
,
. ,
, , .
.
,
,
.
,
, .
.
,
,
.
,
.
,
.
. .
. -
-
1 5 4 II:
, , , -
. -
,
, . -
,
,
.
,
.
; - 1 , -
.
, ,
, ,
.
, -
, ,
, -
,
"" .
,
-
. ,
. *
-
, -
, \ . \ ,
. , -
, .
.
-
. ,
-
6: 1 5 5
,
.
-
.
,
, .
. -,
,
,
. -,
, ,
,
, " ".
.
, , , .
, .
, , ,
,
.
,
.
, 50 100 ,
.
,
, .
,
. -
, , .
. ,
. ,
. ,
, . ,
.
-
1 5 6 II:
, .
, , ,
, ,
,
, .
,
,
.
,
(. , (Irving, Higgins, Safayeni, 1986)). ,
. ,
, .
, .
. ,
, ,
.
,
, , ,
,
. ,
,
, , .
.
,
, . ,
.
.
, , .
,
, .
, ,
.
6: 157
,
, ,
. ,
.
,
? , , ? ? ? ? ( , .) ,
.
, .
. ,
,
. , , 15% , , ,
, .
,
.
? ,
. ,
.
,
.
. , ,
.
, . ,
,
.
,
.
?
-
1 5 8 II:
,
, .
. ,
-
,
.
,
, .
, .
? ? , , . ,
.
, ,
? , .
,
.
,
.
,
,
, .
,
, .
.
-
6: 159
. ,
.
, ,
. ,
, , ,
.
, . 5.1 ( 5), .
5. . ,
,
, ,
.
. . ,
- ,
, .
,
.
,
. .
, , .
. ( ,
.)
.
:
, .
, . . 6.1 ,
. . 6.2 , .
, ,
,
.
-
1 6 0 II:
(. 6.3) , .
, , ,
.
6: 1 6 1
(. 6.4). .
, Calcdog 2.10, Calcdog 2.10, Calcdog 2.10.
-
1 6 2 II:
.
, . ,
,
:
,
. ,
, ,
.
.
. ,
. ,
, , .
, ,
, .
, .
( ,
) , (. 5, " : ").
.
.
, .
, ,
(. 6.5). , ,
.
, .
,
.
. 6.6 . ,
.
.
-
1 6 4 II:
, , ,
(. . 6.7). , ,
.
,
. ,
, ,
, -
,
.
, ,
. : , . 6.7, .
,
.
6: 1 6 5
. 6.8 , .
,
, ,
.
, , ,
.
.
, .
.
, .
. ,
( ) , , , .
,
.
, , .
, , ,
. ,
.
-
1 6 6 II:
.
. , .
,
.
.
,
.
, .
,
(. 6.9).
6: 1 6 7
.
(. . 6.7). ,
- .
,
. ( XXX). ,
,
, ,
.
( ).
,
. ,
,
. , ,
.
,
, . ,
,
.
, .
, ,
, ,
.
2.10 ,
3. , , , , .
,
. ,
, , ,
.
, ,
,
, , , ,
-
1 6 8 II:
.
.
:
.
.
( ). ,
.
.
.
.
, .
,
.
. ,
.
,
.
. -
.
.
, - . ,
, .
,
.
,
.
,
. -
6: ... 1 6 9
,
(. 6.10).
.
, ,
.
,
,
, ,
.
,
,
.
.
,
, .
,
.
, ,
,
.
,
,
-
170 II:
, . -
,
, . ,
, .
, ,
.
.
,
: .
, , ,
- ,
, .
? , .
,
.
,
.
- ,
-
, ,
, ,
, , .
,
,
,
.
,
, ,
, .
, ,
.
6: 1 7 1
,
, , ?
. ,
, ,
.
,
,
.
.
.
,
,
.
.
,
. ,
, ,
. :
1. - .
, ,
.
, , -
, .
.
2. , , , , .
, .
, :
,
, ,
, ,
.
.
-
172 II:
, .
?
,
,
.
(Green & Sweets, 1966). .
1. , ,
.
,
. ,
, .
,
,
, .
2. , .
, .
, .
.
3. , . ,
,
,
.
6: 1 7 3
4.
.
, ,
,
( , ).
, -
. ,
,
. , .
,
,
?
,
.
,
.
,
?
.
, .
.
.
,
.
. ,
?
,
. ,
,
.
-
174 II:
,
, , ? ? , ,
.
, -
, :
,
, .
,
. ,
. .
,
. ,
,
.
.
,
.
, ,
( ).
, ,
,
.
.
.
, ,
- . .
,
.
:
.
, .
, -
6: 1 7 5
.
, ,
-
.
, ? ? : , .
.
, ,
(, ). , ,
. ,
.
.
,
.
,
.
. ,
,
,
, ,
,
,
.
.
,
.
,
. , ,
,
-
, .
,
, , ,
.
-
1 7 6 II:
.
, ,
.
, , ,
.
.
, - .
, ,
. ,
- ,
.
, ,
.
,
,
.
, ,
.
.
,
.
.
, ,
, ,
.
, , -
, ,
.
,
. 10 30, , 50 500, . ,
.
.
.
6: 177
,
. ,
,
.
.
,
. , ,
,
.
.
,
.
, .
,
.
.
, ,
. ,
.
. ,
.
, .
,
.
. , ,
..
?. , , ,
.
? : , , ().
-
178 II:
. 3 5 :
,
, .
,
. ,
.
.
, ,
.
.
.
() ,
,
. ,
,
( Oracle, MS Access, Delphi ..). , ,
, .
,
.
.
.
.