international journal “information theories and ... · over internal nodes of trees. moreover,...

International Journal “Information Theories and Applications”, Vol. 19, Number 4, 2012

302

International Journal INFORMATION THEORIES & APPLICATIONS

Volume 19 / 2012, Number 4

Editor in chief: Krassimir Markov (Bulgaria)

Victor Gladun (Ukraine)

Adil Timofeev (Russia) Luis F. de Mingo (Spain) Aleksey Voloshin (Ukraine) Lyudmila Lyadova (Russia) Alexander Eremeev (Russia) Martin P. Mintchev (Canada) Alexander Kleshchev (Russia) Natalia Bilous (Ukraine) Alexander Palagin (Ukraine) Nikolay Zagoruiko (Russia) Alfredo Milani (Italy) Rumyana Kirkova (Bulgaria) Arkadij Zakrevskij (Belarus) Stefan Dodunekov (Bulgaria) Avram Eskenazi (Bulgaria) Stoyan Poryazov (Bulgaria) Boris Fedunov (Russia) Tatyana Gavrilova (Russia) Constantine Gaindric (Moldavia) Valeriya Gribova (Russia) Galina Rybina (Russia) Vasil Sgurev (Bulgaria) Georgi Gluhchev (Bulgaria) Vitalii Velychko (Ukraine) Hasmik Sahakyan (Armenia) Vitaliy Lozovskiy (Ukraine) Ilia Mitov (Bulgaria) Vladimir Donchenko (Ukraine) Juan Castellanos (Spain) Vladimir Jotsov (Bulgaria) Koen Vanhoof (Belgium) Vladimir Ryazanov (Russia) Levon Aslanyan (Armenia) Yevgeniy Bodyanskiy (Ukraine)

International Journal “INFORMATION THEORIES & APPLICATIONS” (IJ ITA)

is official publisher of the scientific papers of the members of the ITHEA International Scientific Society

IJ ITA welcomes scientific papers connected with any information theory or its application.

IJ ITA rules for preparing the manuscripts are compulsory. The rules for the papers for IJ ITA as well as the subscription fees are given on www.foibg.com/ijita.

Responsibility for papers published in IJ ITA belongs to authors.

General Sponsor of IJ ITA is the Consortium FOI Bulgaria (www.foibg.com).

International Journal “INFORMATION THEORIES & APPLICATIONS” Vol. 19, Number 4, 2012

Edited by the Institute of Information Theories and Applications FOI ITHEA, Bulgaria, in collaboration with: V.M.Glushkov Institute of Cybernetics of NAS, Ukraine, Institute of Mathematics and Informatics, BAS, Bulgaria,

Universidad Politécnica de Madrid, Spain.

Printed in Bulgaria

Publisher ITHEA®

Sofia, 1000, P.O.B. 775, Bulgaria. www.ithea.org, e-mail: [email protected] Technical editor: Ina Markova

Copyright © 1993-2012 All rights reserved for the publisher and all authors. ® 1993-2012 "Information Theories and Applications" is a trademark of Krassimir Markov

ISSN 1310-0513 (printed) ISSN 1313-0463 (online) ISSN 1313-0498 (CD/DVD)


303

MEMBRANE STRUCTURE SIMPLIFICATION

Fernando Arroyo, Carmen Luengo, José R. Sánchez

Abstract: Idempotent operators are one of the possible criterions for simplification trees. These operators act over internal nodes of trees. Moreover, they transform structural equivalent sub-trees, which have the same root into a single copy. This copy will be placed into the common root reducing –simplifying- the tree.

This process can be also applied to membrane structures; in this case idempotent operator will be applied to non elementary membranes, and the process will produce the simplest possible membrane structure. The main idea of this work is to apply this kind of operator to binary membrane structures to identify possible recurrent sub-trees and to study possible application of this concept to hardware design implementations.

Keywords: Membrane structures, Data structures, Trees, Simplification

ACM Classification Keywords: E.1 Data Structures - Trees

Initial concepts

In literature, membrane structures are usually defined as strings or words built over the alphabet [, ]. However, it can be also find alternative definitions as trees [Păun 2002]. Using this alternative definition, we will define an idempotent operator acting over trees and we will try to characterize binary membrane structures after the simplification procedure studying the average size and the variance of such structures. In this paragraph we are going to study binary membrane structure simplification based on idempotent operators. First, we will provide some classical definitions based on trees, which we will need for defining the concept of membrane simplification and one simplification algorithm. Let Mb be a binary family membrane with two types of leaves. This family can be recursively defined by the

equation:

),( bbb MMM x (1)

where symbols λ and x are the two types of leaves and is a binary operator acting over pairs of binary

membranes. In this case, the size of a binary membrane structure μ Mb (represented by |μ|) is the number of

non-elementary membranes.

Definition 1: The probability p(μ) of a membrane structure μ Mb is:

),(||||

)()(

,)(

vuifvu

vpup

xifp

1

2

1

(2)

Definition 2: Let S be any set. It is said that a binary operator defined over S is idempotent if and only if for

every a S,, a a ≡ a

Definition 3: If is an idempotent operator defined over the set of binary membrane structures Mb. Given μ Mb, it is defined the simplified membrane of μ, represented by simp(μ), the membrane obtained starting in μ

applying iteratively the rule (u, u) = u whenever appears the sub-tree (u, u).


304

Figure 1: Simplification process of a binary membrane structure with idempotent rule

1 function simp(μ:Mb):Mb; 2 Local u,v :Mb; 3 If |μ|=0 then simp := μ; 4 Else 5 u:= simp(μ.izq); v:=simp(μ.der); 6 if eq(u,v) then simp := u; 7 else simp:=o(u,v);fi;fi; 8 end(simp); 9 function eq(u,v: Mb):boolean; 10 if |u| = 0 or |v|=0 then eq:=(u.info = v.info); 11 else if eq(u.izq = v.izq) 12 then eq:=eq(u.der=v.der); 13 else eq:=false;fi;fi; 14 end (eq)

Figure 2: Simplification algorithm with idempotent rule

Average and variance of simplified binary membrane structure size

A binary membrane structure μ Mb can be simplified applying definition 3 and the simplification algorithm. Our

first goal is to study the average size of μ Mb where |μ| = n (expressed as function of n) when it is assumed the

probability model of definition 1. That is:

n

n psimps||,

)(.|)(|

bM

(3)

Using the generatrix function technique, it is defined the associated power series:

0n

nnzszpsimpzS ||.)(.|)(|)(

bM

(4)

Now it is needed to look for direct recurrences to characterize the series through some functional equation.

Let I be the set of unreductable elements of Mb, that is, the set of binary membrane structures such that

simp(μ)=μ.


305

:),()( III,I x (5)

Then for each μI let Mμ=μ’ Mb : simp(μ’)= μ and let

M`

'||)'()( zpzM (6)

be the generatrix function associated to membrane structures that simplify to μ. Then,

I

)(||)( zMzszSn

nn

0

(7)

Next step is to characterize the succession Mμ μI. Firstly, it is easy to see that a membrane simplifies to a leave

lλ,x if and only if all their leaves have the same label, hence next equation defines the set of membranes in Mb that simplify to the leaf l.

),( lll MMM l (8)

Now from (2) and (8) it is obtained that the following generatrix function

l

zpzMlM

||)()( (9)

satisfies the differential equation

,)(),()('2

102 lll MzMzM (10)

and its solution is

zzMl

2

1)( (11)

On the other hand, let (u,v) be an element of I, then u,v I and u≠v. The fact that μM(u,v) implies that either

the left sub-tree of μ simplifies to u and the right one to v, or both sub-trees simplify to (u,v) producing ((u,v),(u,v)) and this tree reduces to (u,v). Therefore, it is possible to recursively define the set M(u,v) by

),(),( v)(u,v)(u,vuv)(u, MMMMM (12)

Expressing (12) in terms of a generatrix function

),()()(),(

!|

)()(),(

!|!|),( )()()()(

vusimpsimpvu

vsimpusimp

vuvu zpzpzpzM

21

2

1

bv)(u, MMM

(13)

Deriving with respect to z it is obtained.

002 )(),()()()(' ),(),(),( vuvuvuvu MzMzMzMzM (13)

This inductive definition of the Mμ(z) series for each μ I permit us to characterize the S(z) series trough a

differential equation

Lemma 1: Generatrix function S(z) satisfies the differential equation

0011

2

1

1 22

)(,)()|(|)(

)()(' SzM

zzS

zzS

I (14)

Proof:

Let us to consider the generatix function of Mb.

bM

!|)()( zpzM


306

We have

zzzpzM

n

n

n n

1

1

00 ||

!|)()(

On the other hand Mμμ I is a partition of Mb and then

I

)()( zMzM

To evaluate S(z) we introduce the two variables series

I

)(),( || zMyyzF (15)

That satisfies the following identities

1

yy

yzFzS

),()(

and 1

2

yyzyzF

zS),(

)('

Now considering (14) and the fact that (u,v) I if u, v I and u≠v it is obtained the following partial differential

equation

)(||||),(

),(),(),( |||| zMyy

yyzF

yzyFyzFyzyzF 2122

2

122

I

That in y=1 give us the expected result.

Hence the problem is reduced to study the function

)()|(|)( zMzP

I

21 (16)

In particular, we are interested in finding out an appropriate functional bound for each one of the Mμ(z). In order to

get this goal, we need some previous results.

Lemma 2: For each μ I and we have that

Proof: We will proceed by induction over |μ|. If |μ|=0 the result is evident.

Let now be |μ|=(u,v) and let

33

2

220arctg

eJ ,

. Having in mind (13) and applying the induction

hypothesis, we have that for each zJ,

.)(),()(

)(' 002

1 22

MzM

zzM

Considering the differential equation 002

1 22

)(),(

)()(' uzu

zzu

. Applying the Opial lemma, we

have that )()( zuzM for any z≥0 whenever u(z) exists. Solution of the previous equation is

.lntan)(,)(

)()(,

)()(

z

zhzh

zhzg

zzg

zu2

2

2

3

3

3131

2

1

2 (17)

Finally, with a very simple calculation it is proof that when zJ.

33

2

20arctg

ez

z

zM

2

1)(

1)(zg


307

Lemma 3:

50

291 )(:, Mx-I

Proof:The proof will be done by induction over |μ|. When |μ|=1 from (13) and proof of lemma 2, it can be

concluded that Mμ(1)≈0.566<29/50, due to that in this case Mμ(1)=g(1) where g(z) is given in (17). If |μ|≥2 then at

least one of the two sub-tree in μ is not a leave. Let us suppose that |u|≥1. It is known that Mμ(z) is a non

negative function and it is monotonically increasing in [0, 1] whatever will be μ I, from (13) and lemma 2, we

have that for each z[0, 1],

.)()()()()()( dssMdssMdssMdssMzMzMz z

tu

z z

tuv 0 0

2

0 0

2 (18)

Now applying the trapezium rule [Burden 1985] in the integral z

dssM0

)( we have that for each z[0, 1],

,),()('')()(

)( zzMz

MzzMM

zdssM uuuu

z

u

02122

0 3

0

(19)

Because Mu(z) is a series with positive coefficient we have that M’’u(z)<0 for each ξ(0, z).

Inequalities (18) and (19) guarantees that Mμ(z) satisfies in [0, 1] the differential inequality

.)()()( dssMMz

zMz

u 0

212 (20)

Now considering that by induction hypothesis it is Mμ(1)<29/50, we have that for each z[0, 1]

.)(.)( dssMzzMz

0

2290 (21)

And finally, considering the differential equation w’(z)=0.29+w2(z), w(0)=0, which has as solution

).tan(.)( 290290 zzw ,it is deduced that 50

29321011 .)()( wM

Lemma 4:

.)()()(:],[),( * z

vu dssMsMzMzandvu0

210 I

Proof: It |μ|≥1, from lemma 3 and trapezium rule, we have that for each z[0, 1],

)(.)()(

)()()( zMMM

zdssMzMdssMzz

2902

00

50

29

00

2

The result is immediate considering (13).

These previous results give us the desired bound for Mμ(z).

Lemma 5:

.ln)()(:],[ ||||*

22

2210

ztpzMzand

I


308

Proof: The proof will be done by induction over |μ|. If |μ|=1 we have that

)()(

)()( ),(),( zz

zgzMzM xx 2

1

2

where g(z) is like in (17), and 22

2

zz

ln)(

.Let us

suppose now that μ=(u, v) with |μ|>1. We will distinguish two cases: firstly the case in which one sub-tree is a

leave, for instance v. In this case we have that |u|=|μ|-1 and |v|=0. Applying (11) and the induction hypothesis, we

have that:

)()(

)()(||

)()()(

)()(

)()()(

||||

||||

||||

||||

zp

dsss

p

dss

svpup

dss

sup

dssMsMzM

z

z

z

z

vu

2

21

2

1

2

22

2

1

2

1

22

2

122

2

0

1

0

1

0

11

0

In the second case both sub-trees are not leaves, that is, |u|≥1 and |v|≥1. Applying again the lemma 4 and

induction hypothesis, we have that

)()(

)()(||

)()(||

)()()(

)()()(

||||

||||

||||

||||||||

zp

dsss

p

ds

s

ss

p

dssvpup

dssMsMzM

z

z

zvuvu

z

vu

2

21

2

1

2

2

12

1

21

2

1

22

22

2

0

1

0

11

0

0

This result permits us to conclude that

*I

22

221

2

2 2222 z

pz

zP |||| ln)()|(|)(

)( (21)

for each z[0, 1] whenever the series be convergent, but this fact does not implies that P(z) be convergent in the

interval [0, 1]. To guarantee this convergence, we consider the generatrix function


309

I

||)()( zpzI (22)

associated to the family I of unreductable binary membrane structures (5). Considering the inductive definition of

this family, it is easy to verify that I(z) satisfy the differential equation

10222

)(,)()()(' || IzpzIzII

(23)

From this differential equation it is easy to see that inside its convergence circle, I(z) verifies the differential

inequality

0102

12 zIzIzI ,)(,)()(' (24)

Let L(z) be the solution of the differential equation (24) replacing “≤” by “=”. Then we have

.)(

)()(

121

121

2

122

22

z

z

e

ezL (25)

Hence, for each 0≤z≤ρ is I(z)≤L(z), been 2461212 .)ln(

the convergence radius of L(z).

Let 22

2

zz

ln)(

and the constants K=1.24 and M=4α2(1)/K≈4.864<4.87. These constants will be very

useful to proof that P(z) is an analytic function in an appropriate domain.

Lemma 6: The set M|μ|p(μ)μM is bounded by a constant M*.

Proof: A simple calculation proof that M|μ|p(μ)≤M*=5.41 for each μMb with |μ|≤26, considering for each size the

membrane structure almost complete well balanced corresponding. Let now be μ=(u, v) with | μ|≥27. Applying

the induction hypothesis, we have that M|μ|p(μ)= M|u|p(u) M|v|p(v)≤M*2M/27≤M*.

From (21) and lemma 6 is immediate that for each z[0, 1],

,)()|(|)(

)()|(|)(

)(

||*

||||

*

*

I

I

KpMz

KMpz

zP

22

22

12

2

12

2

since α(z) is growing in [0, 1]. Consequently, P(z) uniformly converges in the disk |z|≤1 because |P(z)|≤P(|z|) and

K<ρ. At this point it is possible to extend the convergence of P(z) to a disk of radius bigger than 1.

Corollary: There exists ε>0 such that the series P(z) converges in |z|≤1+ε.

Proof: For continuity, is enough to choose ε>0 in shuch a way that satisfies the following conditions at the same

time:

a. 50

29

1

1

)(u

, where u(z) is the defined function in (17)

b. .)( 221

50

29


310

c. ,)( 01 fwhere

)()()( zuzzf 2

1

d. f’(τ)=0 for only one single τ[0, 1+ε].

e. ..

)(874

14 2

K

These requirements come from the previous development. Then, P(z) is an analytic function in the disk |z|<1+ε by the Weierstrass (Appendix 1) theorem. Solving the equation of lemma 1, we have that

z

dssPszz

zS0

22 1

1

1)()(

)()(

and consequently, S(z) satisfies every hypothesis to apply the Darboux theorem (Appendix 2), from which the following result is deduced Theorem 1: Under the probabilistic model of (2), the average size sn of membrane structures resulting from simplify with idempotent rule random membrane structures of size n is

)(1Onsn

where constant γ is given by ..)()( 7520111

0

2 dssPs

Now we will study the variance of this random variable.

.)(|))((|)()|)((|||,||,

222n

nnnn spsimppssimpv

bb MM

(26)

Let H(z) be the generatrix function associated to the second moment, that is,

IMb

).(||)(|)(|)( || zMzpsimpzH 22

This function is characterized by the following lemma. Lemma 7: Generatrix function H(z) satisfies the following differential equation

,)),()(

)()(

)(')(' 0801

22

1

2 2

HzAzzH

zSzzS

zSzH

where S(z) is defined in (4) and )()|(|||)( zMzA 213

I .

Proof: Considering the series F(z,y) defined in (15). We have )(),(

)( zSy

yzFzH

y

1

2

2

and

)('),(

)(' zSyz

yzFzH

y

1

2

3

. Now is enough to see that zzF

y

yzFzS

y

1

11

1

),(,),(

)(

and using (13),

).()|(|||)||(||

),(),(

),(),(

),(

|||| zMyy

yyzF

yzyFyF

yy

yzFyzF

yzyzF

2212

2

22

2

3

1122

224

Solution of the previous equation is


311

,)(

)(

)(

)()()( 23

2

11

2

z

zN

z

zqzSzH

(27)

where z

dssPszzq0

21 ,)()()( P(s) is the defined series in (16) and

z z

dssAsdssPsqszN0 0

2114 .)()()()()()(

Functions q(z) and N(z) are both analytic in a disk with radius bigger than 1, hence Darboux theorem is applicable, providing the following asymptotic equivalent for the coefficients of the functions appearing in (27):

),()()(

),()()()(

),/()()(

11

1431

2

111

2

223

2

OnzzN

z

Onnnzzq

z

nOnzSz

n

n

n

been γ=q(1)≈0.752 and α=N(1)≈0.457. Now it is possible to quantify the variance of the simplified membrane structures. Theorem 2: Under the probabilistic model of (2), the variance of the size of simplified membrane structures with

idempotent rule is )(1Onvn , where 27102 . .

Appendix

This paragraph will be enunciated the Weierstrass and Darboux theorems which are used in the previous section of this paper.

Appendix 1: Weierstrass theorem [Henrici 1977, Marsden 1987]

Let fn(z)n≥0 a sequence of analytic functions defined on a region C . We have that

If fn → f uniformly on every closed disk in Ω, then f is analytic. Moreover, f’n→ f’ pointwise in Ω and uniformly on every closed disc included in Ω.

If

0n n zfzg )()( converges uniformly on every closed disk in Ω, then g(z) is analytic in Ω and

0n n zfzg )(')(' pointwise in Ω and uniformly in every closed disk included in Ω.

Appendix 2: Darboux theorem [Henrici 1977]

Let f(z) be an analytic function in the disk |z|<ρ and let us suppose that it has only one single singularity on its convergence circle in z=ρ. Let us also suppose that f(z) admits, in an environment of z=ρ, a local development in the form

)()()( zhzgz

zfs

1

for some functions g(z) and h(z) analytics in an environment of z=ρ, with g(ρ)≠0, and for some real number ,,, 210 s . Then, when n→∞,

,)()(][

n

skgzfz k

nnn 1


312

where gk are the coefficients of k

k k

zgzg

0

1 )()(

and the symbol ≈ denotes asymptotic equivalence.

Since the first series term is preponderant, theorem conclusion is written many times as

,)(

)()(][

nO

s

gnzfz snn 1

11

where

,Re,)( 00

1

zdtetz tz

Is the Euler’s gamma functions and

0

11

k ke

!)exp(

Conclusions

This paper study a simplification process on binary membrane structures. The study establishes that the average size and variance of simplified membrane structures are both linear on the number of non elementary membranes.

The study of non reducible membrane structures can be useful to determine hardware modules that could be implemented a priory and they can be used in general membrane systems implementations.

Bibliography

[Burden 1985] R.L. Burden, J.D. Faires; Numerical Analysis, PWS-Kent Publishing Company, 4th Edition, Boston, 1985.

[Henrici 1977] P. Henrici, Applied and Computational Complex Analysis, Vol. 1 and 2, Wiley Interscience, New York, 1977.

[Marsden 1987] J.E. Marsden, M:J: Hoffmann, Basic Complex Analysis, W.H. Freeman and Company, 2nd Ed. New York, 1987.

[Păun 2002] Gh. Păun, Membrane Computing. An Introduction, Springer-Verlag, Berlin, 2002

[P system Web page] http://ppage.psystems.eu/ (july 2011)

Authors' Information

Fernando Arroyo Montoro - Dpto. Lenguajes, Proyectos y Sistemas Informáticos de la Escuela Universitaria de Informática de la Universidad Politécnica de Madrid, Ctra. Valencia, km. 7, 28031 Madrid (Spain); e-mail: [email protected]

Carmen Luengo Velasco – Dpto. Lenguajes, Proyectos y Sistemas Informáticos de la Escuela Universitaria de Informática de la Universidad Politécnica de Madrid; Ctra. Valencia, km. 7, 28031 Madrid (Spain); e-mail: [email protected]

José R. Sánchez Couso – Dpto. Lenguajes, Proyectos y Sistemas Informáticos de la Escuela Universitaria de Informática de la Universidad Politécnica de Madrid, Ctra. Valencia, km. 7, 28031 Madrid (Spain); e-mail: [email protected]


313

CELLULAR COMPUTING: TOWARDS AN ARTIFICIAL CELL

R. Lahoz-Beltra

Abstract: At present most point of views are in agreement with the idea that the similarity between cells and computers is a useful metaphor from which to obtain powerful predictions about life. In this paper we suggest that the analogy between computers and cells should be carefully reviewed when creating a silico artificial cell or whole-cell simulation, avoiding some common misconceptions derived from Cybernetics and the study of biological information processing based on a ‘hardware + software’ dualism. Keywords: artificial cell, minimal cell, virtual cell modelling and cellular computer models ACM Classification Keywords: I.6 Simulation and Modeling

Introduction

Traditionally those sciences devoted to design artificial creations of biological systems, for instance Artificial Life as well as Artificial Intelligence, are based on the Cybernetics assumption that most biological entities can be represented as machines. One of the most interesting challenges is the creation of an artificial cell. An artificial cell is a minimal cell or in silico ‘machine’ composed by artificial parts, either wetware elements or software subroutines, respectively. The first wetware artificial cell was authored by T. Chang [Chang and Poznansky, 1968] consisting of a vesicle with a wall membrane and enzymes (Figure 1). Following, several other attempts were conducted creating artificial cells [Hotani et al., 1992; Noireaux et al., 2011] but far away of a fully operational cell. In 2010 Craig Venter successfully synthesized ‘Synthia’, a bacterial cell controlled by a chemically synthesized genome. On the other hand, M. Tomita [Tomita et al., 1999] designed E-Cell (Figure 2), one of the first in silico simulated artificial cell projects.

FIGURE 1.- Artificial cells. (A, B) Von Neumann’s scheme of cell-reproducing automata [Noireaux et al., 2011].

(C, D) Craig Venter’s ‘Synthia’ and genome One of the misleading assumptions applied to biological cells is the parallelism between cells and von Neumann architecture used to design computers [Bray, 1990; Sipper et al., 1997a, 1997b]. Usually terms like CytoComputation introduced by Paton [Paton, 1994] or the notion of computational architecture applied to cellular processing show the impact of Cybernetics modelling cells and cellular systems. Furthermore, this influence becomes apparent from the classical question about ‘what is life?’ [Klyce, 1999] to those conceptions derived from Artificial Life. For instance, the notion of ‘A-Life avatar cell’, thus models in which a cell is created in a


314

computer memory with software. At present, the analogy between cells and computers has been accepted as a main assumption in other fields. For instance, in Medicine acupuncture functions through the Yin and Yang component of the cellular mediator, that is cyclic AMP and cyclic GMP, which activates the autonomic nervous feedback loop. In agreement with Kim [Kim, 1981] a computer works through Yin (0 binary digit) and Yang (1 binary digit) components which combinations represent symbols through a feedback loop of a central memory storage.

FIGURE 2. A whole-cell simulation model with E-Cell software

In this paper we suggest that the analogy between computers and cells should be carefully reviewed avoiding some common misconceptions derived from the (i) Cybernetics assumption that considers biological entities (i.e. cells, organs, etc.) as machines as well as (ii) the study of biological information processing based on a ‘hardware + software’ dualism that is a ‘false dualism’ when it is ingenuously applied in the analysis of biological systems. The above misleading assumptions are usual when creating in silico artificial cells or whole-cell simulations. For instance, if DNA is the program - thus, the source code in a high level language - then are proteins the binary code? Furthermore, since proteins perform their task after their folding in a specific environment, i.e. cytoplasm, does the cytoplasm plays the role of the operating system in a computer? Which is the resemblance between protein biosynthesis and a compiler program? Is the Ray’s TIERRA simulation [Ray, 1991] an analogy (Figure 3) to the Cambrian explosion fine enough and under what conditions? Is cell circuitry, i.e. metabolic pathways, analogous to electronic circuits? [Lahoz-Beltra, 2001, Di Paola et al., 2004] Are biological molecules, i.e. proteins and enzymes, finite state machines? [Lahoz-Beltra, 1997] Are biological molecules, molecular automata with the capability to perform Boolean operations? [Lahoz-Beltra et al., 1993] These and other questions are critically analyzed in the present paper concluding that there is a ‘likeness’ between cells and computers but is this likeness between cells and computers a metaphor or it just arises from a real similarity between both systems?

The Analogy between Software Compilation and Biosynthesis of Proteins

Several analogies between computers and cells could be proposed considering that the main differences between both systems are given by their origin, hardware, software and the regulation of program execution. However, between cells and computers there are several analogies such as the (i) the linear topology of the


315

program, (ii) the execution of the program is based on the translation of code, (iii) program code uses a few symbols, such as A, T, G, C in cells, and 0, 1 in computers, (iv) both systems, cells and computers, are susceptible of ‘virus infection’.

FIGURE 3. Thomas S. Ray’s TIERRA simulator [Ray, 1991]. TIERRA is an example of an artificial life model or

metaphor where evolvable computer programs can be considered as digital organisms which compete for energy (CPU time) and resources (main memory).

Our discussion about the likeness between cells and computers is illustrated (Figure 4) with the analysis of above analogy (ii).

FIGURE 4. Analogy between cells and computers (for explanation see text)

The similarity between software compilation and the biosynthesis of proteins could be analyzed considering the following phases during the translation process: (a) Decoding the source: DNA

Source code Since DNA macromolecule is a sequence of four different subunits (A, T, G, C), the programming language in genetic terms is very simple consisting of A, T, G, C sequences of variable length. Program structures such as conditional if-then expressions, loops and sequential expressions (i.e. arithmetic expressions) are not apparently present in DNA, thus in the genetic source code.


316

Source analysis The enzymatic complex RNA polymerase reads the DNA code in one-way direction (from the 5’ end to 3’) bearing a resemblance with a compiler during the lexical analysis phase. In such phase a compiler scans a source code from left to right, character per character. Furthermore, some DNA segments could be like arithmetic operators (+, -, *, /) or functions (i.e. exp(x), ln(x), Sin(x)) in a programming language but in such a case only understandable to cells promoting, repressing or terminating gene transcription. For instance, TATA box, -35 region, pause sites rich in GC and rho-dependent sequences could be the biological counterpart of above operators and functions but their representation may vary according to the compiler in use, thus the RNA polymerase complex which sets the parsing and syntax rules. In compiler terms, type checking is a strict process since the transcription from DNA to RNA is a precise and enzymatically controlled process where the semantic rules are usually respected and errors are not theoretically allowed (e.g. promoters cannot have a termination function).

Intermediate optimization Most RNA resulting from DNA transcription contains both introns and exons. Through a complex enzymatic processing known as splicing introns are eliminated and exons are bound in a sequence. The final sequence form is the mature and optimized sequence of mRNA (messenger RNA). Also, further modifications may occur through nucleotide covalent changes and addition of caps or poly-A sequences. In the realms of compiler, this phase corresponds to an intermediate code generation and optimization where a simple and easily translatable source code representation is generated and unnecessary information is eliminated. It is interesting to note that the splicing event is relatively complex just as the compiler optimization phase is generally slow. (b) Generating the active product: protein

Analysis of the optimizes source Unlike a compilation process which at this step should generate the object code, the mature mRNA must be translated by ribosomes to a polypeptide or protein according to a dictionary or codon triplet table. DNA transcription as well as RNA translation comprises a lexical, syntactic and semantic analysis. In this case, A, G, C and U nucleotides must form three letter words or triplets (codons) which are associated through a degenerative translation table to specific amino acids (protein subunits) or to translation initiation or termination codons. Such a degenerative nature of codons counterbalances the effect of mutations which would form structurally or functionally different proteins. Likewise, a software program can be written in different ways performing all the programs the same task (e.g. ‘while’ and ‘for’ loops are different structures but both have similar function).

Synthesis The tRNA-ribosomal system produces the protein sequence (primary structure) resembling a compiler during object code generation. Afterwards, specific enzymes (i.e. proteases) may modify the protein which could be considered as object code optimization during the compilation process. Finally, even after the biosynthetic process is finished a protein may be inactive until the protein is under the right conditions (pH, temperature, peptide cleavage, etc.). For this reason, the environment (i.e cytoplasm, membrane, etc.) in which proteins are embedded could bear a resemblance with the operating system which allows the compiler to work. As a result, functional proteins or enzymes could be considered as executable programs but proteins are able to carry out their function only under the right environment, just like a program compiled under a specific operating systems.

The Computational View of Cell: Metaphor versus Similarity At present most point of views are in agreement with the idea that the similarity between cells and computers is a useful metaphor from which to obtain powerful predictions about life. In agreement with David Baltimore [Baltimore, 2011] modern biology is a science of information but people is not satisfied with the computer code metaphor of DNA. According to Baltimore there are two main reasons: (i) the meaning of a computer code (with


317

only 2 possible symbols at each position, 0 or 1) is not a common knowledge and because (ii) the metaphor does not communicate the richness of coding systems buried in a monotonous string of symbols. For instance, the dynamic behaviour of cellular automata in computer simulations (i.e. propagation, interaction, storing, computing information, self-organization, chaos) bear a strong resemblance to those behaviours shown by biomolecules in the interior of real cells [Lahoz-Beltra, 1998]. Molecular automata, thus biomolecules simulated as finite automata, are able to capture the biological functionality exhibited by biomolecules inside cells [Lahoz-Beltra, 1997]. In consequence, such approach represents a modelling framework for computer simulation of complex activities exhibited inside cells. Based on above considerations, our point of view about the analogy between cells and computers is as follows: (1) Cells as well as their biological molecules (i.e. proteins, enzymes, etc.) are able of information processing

but information processing in biological systems is not like in digital computers. That is to say digital computers are a reason for finding inspiration about how cells perform information processing and self-organize their wetware (e.g. biomolecules, membrane, cytoplasm, etc.). For details about the differences between cells and computers we suggest the reading of ‘Circuits of a Cell’ published by the Berkeley Lab Research Review [Preuss, 2000].

(2) The ‘hardware + software’ dualism leads to a misleading conception of cell. In cells ‘biomolecule + function’ are inseparable elements in contrast with computers. For instance, it is possible to have a computer without operating system and software. Of course, it is not useful but in cells it is impossible to have biomolecules without biological function.

FIGURE 5. Organization of T-cell and S-cell

(3) Most views about information processing inside cells consider the organization of cell in layers as in Figure 5. Conceptually, such organization model finds its inspiration in the organization of software in layers (i.e. MS-Dos, Unix /Linux operating systems, Internet Protocol, etc.). We suggest that in agreement with this model of organization two different type of cells or architectures could be defined: T-cell or transduction cell and S-cell or subsumption cell. The transduction cell type is a model of cell that is similar to the senso-motor architecture used in simple autonomous agents (i.e. simple mobile robots). On the other hand, the subsumption cell should be similar to an operating system model in layers - where DNA and membrane represent the kernel and the shell respectively of the operating system - or to a complex autonomous agent (i.e. the robots designed by Brooks, see [Brooks, 1986]) where cells have the possibility to choose a layer depending on the problem to solve.


318

Conclusion

In conclusion, our point of view has been resumed in the above three statements (1) (2) (3) concluding that there is a ‘likeness’ between cells and computers. Cells are able of information processing but bearing in mind that bioinformation processing involves many features that are distinct from digital computers.

Bibliography [Baltimore, 2011] D. Baltimore. 2011. Caltech and the Human Genome Project. DNA is a reality beyond metaphor. http://pr.caltech.edu/events/dna/dnabalt2.html [Bray, 1990] D. Bray. 1990. Intracellular signalling as parallel distributed process. J. theor. Biol. 143: 215-231. [Brooks, 1986] R.A. Brooks. 1986. A robust layered control system for a mobile robot, IEEE Journal of Robotics and Automation 2: 14. [Chang and Poznansky, 1968] T.M. Chang, M.J. Poznansky. 1968. Semipermeable microcapsules containing catalase for enzyme replacement in acatalsaemic mice. Nature 218: 242-245. [Di Paola et al., 2004]. V. Di Paola, P.C. Marijuan, R. Lahoz-Beltra. 2004. Learning and evolution in bacterial taxis: an operational amplifier circuit modeling the computational dynamics of the prokaryotic 'two component system' protein network. BioSystems. 74: 29-49. [Hotani, et al., 1992] H. Hotani, R. Lahoz-Beltra, B. Combs, S. R. Hameroff, S. Rasmussen. 1992. Microtubule dynamics, liposomes and artificial cells: in Vitro observation and cellular automata simulation of microtubule assembly/disassembly and membrana morphogenesis. Nanobiology 1: 61-74. [Kim, 1981] S.S. Kim. 1981. The mediator theory of acupuncture and its practical application in bronchial asthma and myasthenia gravis. Amer. J. Acupuncture 9(2): 101-116. [Klyce, 1999] B. Klyce. 1999. What is Life? http://www.panspermia.org/whatis2.htm [Lahoz-Beltra et al. 1993] R. Lahoz-Beltra, S.R. Hameroff, J.E. Dayhoff. 1993. Cytoskeletal logic: a model for molecular computation via Boolean operations in microtubules and microtubule associated proteins. BioSystems 29: 1-23. [Lahoz-Beltra, 1998] R. Lahoz-Beltra. 1998. Molecular automata modeling in structural biology. Advances in Structural Biology 5: 85-101. [Lahoz-Beltra, 1997] R. Lahoz-Beltra. 1997. Molecular automata assembly: principles and simulation of bacterial membrane construction. BioSystems 44: 209-229. [Lahoz-Beltra, 2001] R. Lahoz-Beltra. 2001. Evolving hardware as model of enzyme evolution. BioSystems 61: 15-25. [Noireaux et al., 2011] V. Noireaux, Y.T. Maeda, A. Libchaber. 2011. Development of an artificial cell, from selforganization to computation and self-reproduction. PNAS 108: 3473–3480. [Paton, 1994] R. Paton, (Ed.). 1994. Computing with Biological Metaphors, Chapman and Hall. [Preuss, 2000]. P. Preuss. Circuits of a Cell 2000. http://www.lbl.gov/Science-Articles/Research-Review/Magazine/2000/Winter/features/06circuits_splash.html [Ray, 1991]. T.S. Ray. 1991. An approach to the synthesis of life, in: Artificial Life II, C.G. Langton et al. Eds., Addison-Wesley: 371-408. [Sipper et al., 1997a] M. Sipper, E. Sanchez, D. Mange, M. Tomassini, A. Pérez-Uribe, A. Stauffer. 1997a. The POE model of bio-inspired hardware systems: A short introduction, in: Genetic Programming 1997: Proceedings of the Second Annual Conference, J.R. Koza, J.R. et al. Eds., Morgan Kauffman: 510-511. [Sipper et al., 1997b] M. Sipper, D. Mange, A. Stauffer. 1997b. Ontogenetic hardware. BioSystems 44: 193-207. [Tomita et al., 1999] M. Tomita, K. Hashimoto, K. Takahashi, T.S. Shimizu, Y. Matsuzaki, F.Miyoshi, K. Saito, S. Tanida, K. Yugi, J.C. Venter, C.A. Hutchison. 1999. E-CELL: software environment for whole-cell simulation. Bioinformatics 15: 72-84.


Rafael Lahoz-Beltra – Dept. of Applied Mathematics, Faculty of Biological Sciences, Complutense University of Madrid, 28040 Madrid, Spain ; e-mail: [email protected] Major Fields of Scientific Research: evolutionary computation, embryo development modeling and the design of bioinspired algorithms


319

MILIEU-M: VISUAL MANIPULATION AND PROGRAMMING FOR MULTI-MEMBRANES.

Rosario Lombardo, Vincenzo Manca

Abstract: In the context of membrane computing, the new notion of multi-membrane was introduced where the junction of membranes is used together with the inclusion of membranes. In multi-membranes a deterministic computation model can be defined for computing arithmetical functions by designing a sort of circuits in pure geometrical forms articulated at different distributed levels.

In this article we present Milieu-M, a software tool for the visual manipulation of calculi on membranes and multi-membranes offering a rich and interactive Graphical User Interface. The visual programming approach is used to create topological forms entirely describing an algorithm in terms of the Pure Graphs formalism. The visual programming formalism and the textual multi-membrane programming language can be used jointly in Milieu-M to work on the same model and for seamlessly generating source code from the visual graphs and vice versa.

Keywords: Membrane Computing, MP-systems, Multi-Membranes, P-systems, Programming languages, Visual programming.

ACM Classification Keywords: D.1.7 Visual Programming, D.1.m Miscellaneous – Natural computing, D.2.2 Design Tools and Techniques – User interfaces, H.5.2 User Interfaces – User-centered design.

Introduction

Membrane computing is a branch of natural computing that investigates and abstracts computing ideas and models from the structure and functioning of living cells [Păun 2000]. P systems are the computational membrane structures containing multisets of objects and where evolution rules are applied non-deterministically and in a maximally parallel way [Păun 2002]. Non-deterministic evolution strategies allow P systems to obtain different successful computations and are thus very suited in generating or recognizing languages, depending on the way their output is defined.

Metabolic P systems, based on Gh. Păun's membrane computing theoretical framework, were introduced to represent metabolic processes in a discrete mathematical setting. MP systems [Manca 2009] are deterministic single-membrane dynamical systems where the multiset rewriting rules are regulated by functions depending on the state of the system. The encouraging results obtained by applying MP systems to the modeling of biological phenomena and to function approximation suggested the idea of defining a novel model of computation which is deterministic and based on rules regulated by fluxes. The deterministic model of computation inspired to MP systems is developed for a new type of membrane structure called Multi-Membranes where calculi are essentially carried out by matter transferals [Manca, Lombardo 2011].

Since the P systems were presented, several variants of the model were defined and many software applications have been used in many computational and applicative contexts [Ciobanu, Păun, Pérez-Jiménez, (Eds.) 2006]. Recently the P-Lingua programming language was introduced to cover a variety of non-deterministic models [Díaz-Perniland, Pérez-Hurtado, Pérez-Jiménez, Riscos-Núñez 2009], but still in a large number of software applications available to the community, there is the lack of important user-centric aspects regarding the ease of use and the graphical user interface (GUI) that could potentially open up the membrane community to a wider


320

audience (for a review of available simulators and applications see [Gutíerrez–Naranjo, Pérez-Jiménez, Riscos–Núñez 2006][P systems page]).

In this paper we present Milieu-M, a software application intended to be a tool for the visual manipulation of calculi defined on membrane structures and for displaying non-terminating dynamics. In Milieu-M the human-machine interaction aspects were taken into account since the early stages of its engineering. The design of a GUI that had to be user-friendly and effective at the same time was possible by implementing the Pure Graphs formalism, a language for describing multi-membranes that is formal but also completely visual [Manca, Lombardo 2011].

For the following discussion, and to keep the document self-contained, it is useful to briefly recall some dynamical aspects of the Metabolic P systems used in the computation model behind the Multi-membranes. MP Systems are deterministic dynamical systems where the rules are interpreted as reactions specifying variations of reactants and products. A multiset rule such as 2ab c means that a number 2 n of molecules of kind a

and a number n of molecules b are replaced by n molecules of type c. The value of n is the flux of the rule

application and is provided by a function called regulator of the reaction. Regulators take as arguments the state of the system, that is, substance quantities (or physical parameters such as temperature, pressure) and provides the fluxes that the reactions have to apply. The dynamics of an MP system is deterministic at population level and, at each step, is governed by a partition of matter determined by the fluxes of the rules consuming it.

Example. An MP system is specified entirely by an MP grammar, where reactions are given with the corresponding regulators. The empty multiset on the left side (resp. right side) of the rule is used to specify

introduction (resp. expulsion) of matter.

r1: x

1 2 (

1 is constant)

r2

: x y 2 2y x (

2 depends on populations x and y )

r3: y

31 (

3 is constant)

Consider the system at some time steps 0,1, 2,, t and consider the substance x that is produced by rules r1,

r3and is consumed by rule r

2. If X [i ] is the global state of the system at step i, then

u1[i ]

1(X [i ]), u

2[i ]

2(X [i ]), u

3[i ]

3(X [i ]) are the fluxes of the rules r

1, r

2, r

3 respectively.

Therefore in the transition from step i to step i 1, the variation of substance x is given by

x[i 1] x[i ]u1[i ]u

2[i ]u

3[i ] or, more explicitly written as x[i 1] x[i ] 2 (2y[i ] x[i ])1.

Multi-Membranes

The notion of Multi-Membranes [Manca, Lombardo 2011] is presented along with the associated deterministic computation model that allows the combination of computations articulated at different distributed levels. In multi-membranes, together to the usual notion of inclusion among membranes, is ascertained the new junction relation among membranes, which holds when two membranes share a portion of their borders (they are joined). An elementary multi-membrane is obtained by joining many elementary membranes. Starting from elementary multi-membranes, by iterating membrane inclusion and junction, general multi-membranes can be obtained (Figure 1).

An elementary multi-membrane has a central structure if there is one central elementary membrane, to which are joined two or more elementary membranes, called the frontier membranes. A general multi-membrane with central structure is obtained, starting from an elementary multi-membrane with central structure, by means of


321

hierarchical inclusions, into the central components, of membranes or multi-membranes having central structure as in Figure 2.

Figure 1: General multi-membranes obtained by iterating inclusions and junctions operations.

Figure 2: Multi-membranes with central structure.

Multi-membranes with central structure are used for defining a notion of deterministic computation, which is essentially based on the transfer of objects among membranes. A membrane is reachable from a region if a portion of its border confines with the region. In a region from which two membranes are reachable a channel can be put between them, which goes from one of them, the source, to the other, the target. Along a channel, objects contained in the source membrane can be transferred to the target membrane. The important aspect of a multi-membrane with central structure is the role of the frontier membranes which are joined to the central one. In fact they are reachable from the region within the central membrane but also from the points which are external to the central membrane and to other frontier membranes (see Figure 3).

In a multi-membrane, a (transfer) rule is a channel between two membranes. We denote a rule in the following way, where a , b are membrane labels and is the flux, that is, an expression that assumes a value in

correspondence to the values of its variables:

a b # (1)

The effect of such a rule is the passage of objects from the membrane with label a to the membrane with

label b . In this paper we consider the function to be either a natural number or the label of some membrane.

In the latter case the value of the flux is then the number of objects inside the region of that membrane.

Figure 3: A multi-membrane structure with channels representing rules for matter transferal.


322

Table 1: Graphical elements denoting the frontier membranes in a multi-membrane computation system.

Definition 1. A Multi-Membrane Computation System with central structure is a construct

M (L, R,)

where (see also Table 1):

L is a set of membrane

R is a set of multi-membrane rules having the following forms with a, b L and N or L :

trans: a b #

extra-in: a #

extra-out: a #

is the initial multi-membrane configuration with only one type of objects, that is, a multi-membrane with central

structure where some initial objects are inside certain membranes (by default assumed empty).

In each multi-membrane some frontier membranes are marked by:

START one and only one membrane is marked by START;

HALT one and only one is marked by HALT;

IN, OUT some membranes are marked by IN and some with OUT, but these marks may not occur.

Rules in the system are applied according to the following general principle. The rules sharing a common source membrane are simultaneously applied if all their fluxes are defined and if the objects that they would globally extract from the source are less than the number of objects inside the source membrane. If this is not the case, all the rules sharing a common source cannot be applied. Moreover, a flux given by the content of a frontier membrane is defined only when the multi-membrane of this frontier membrane has one object in its Halt membrane.

The semantics of computation of a multi-membrane system is given in the following definition.

Definition 2. (MM-computable function) A function f : Nk Nh such that f (x1,, x

k) (y

1,, y

h) is MM-

computable if there exist a multi-membrane System M with central structure where:

- Frontier membranes marked by IN contain the values x1,, x

k respectively.

- The contents of frontier membranes START and HALT are 0 and the system is setup with its initial configuration.

- Provided that START is only referred as target from outer region and only as source from inner region (and reversed for HALT), after posing one object in the membrane marked START (as indication of “computation in progress”) the rules of the system get applied according to Definition 1. The system M eventually ends when concomitantly START is emptied and HALT receives one object (as indication of


323

“end of computation”). In this case, the values y1,, y

h which are in the frontier membranes marked

by Out provide the results of the computation, and all internal rules become inapplicable.

- Moreover, the HALT membrane never contains an object iff f (x1,, x

k) is undefined.

Representation formalisms for Multi-membranes

A large number of membrane structure models are customarily represented textually with variants of the boundary rule notation [Bernardini, Manca 2003], which naturally captures the idea that reactions take place on the inner membranes of a cell, maybe depending on the contents of both the inner and outer region adjacent to that membrane.

Bracketed notation, a variant of the boundary notation, provides a complete textual specification for Multi-membranes and constitutes the specification for the textual multi-membrane programming language. In bracketed notation the rules are syntactically localized in a multi-compartmental configuration that has been extended

with the definition of the frontier membranes (Figure 4, at the top), that is, the labelled membranes (of types START, HALT, IN, OUT) that appear after the at-symbol @ and are joined to the central membrane.

In Annotated graphs (at the bottom in Figure 4), the graphical elements of the multi-membranes from Table 1 are accompanied by textual annotations denoting the membrane labels and flux definitions. The correspondence of elements from the annotated graphs and the bracketed notation is depicted in Figure 4.

The third equivalent formalism is defined by the pure multi-membrane graphs that completely express multi-membrane algorithms using a pure visual formalism where there is no single textual representation. Indeed a flux defined in terms of another membrane (e.g. #m , if m is the label of a membrane) is denoted by a dotted

line connecting the membrane m to the rule, while a flux defined by a constant number (e.g. #3) is

replaced by a reference to an isolated membrane containing the same number of objects (e.g. with # t and

[t3]

t). The pure graph defined in this manner is a topological form that entirely describes an algorithm in terms of

a pure visual formalism.

Milieu-M, introduced in the next section, implements the pure graphs as a visual programming language for multi-membranes.

Visual programming with Milieu-M

Milieu-M is an Integrated Development Editor (IDE) written in Java and following a user-centered design. Its functionalities are bundled in one single cross-platform installer making easy the installation at the first try (no development or additional libraries are required apart the installer itself). The application implements most of modern compiler’s techniques [Aho, Sethi, Ullman 1986], by using the ANTLR1 v3 parser generator for high performances source code parsing, and the SWT2 widget toolkit for ensuring consistent high-level look-and-feel across different platforms for the graphical user interface. The IDE offers syntax-highlighting text-editors with undo-history and the GUI is organized into convenient tabs allowing to work on several, possibly connected, documents at once (see Figure 5). In the following an overview of Milieu-M is described while the complete details of functioning and user interface will be published shortly in the user manual.

At the time of writing Milieu-M supports two dialects, one for the Multi-Membranes and the other for the LAMP framework where the early investigation results [Lombardo, Manca 2011] of the computational MP approach 1 ANTLR, ANother Tool for Language Recognition, version 3. http://www.antlr.org/ 2 The Standard Widget Toolkit, http://www.eclipse.org/swt/


324

where developed in terms of substance transformations rather than matter exchange among membranes. In this regard the architecture has been designed in the attempt to be as easier as possible to integrate with other frameworks or membrane models whenever their source code is available, but this has to be actually tested on the field in further steps.

Figure 4: Bracketed notation combines the initial configuration with the rules of the system. Frontier membranes x and

y (prefixed by the @ symbol in bracket notation) initially contain 3 and 2 objects respectively, while rules r1

and r2

are

localized in membrane SUB, that computes the limited subtraction x y, if x y and x otherwise.

According to Definitions 1 and 2, the general concept of sub-routine calling in multi-membranes is not a procedural call but can be interpreted as a regulatory composition that regulates the reaction rate of a rule by using the computational OUTPUT of an adjacent system. Therefore the deterministic model of computation built-in in Milieu-M is compositional because multi-membrane systems can be connected together via composition.

The application provides two predefined non-closable tabs: the “Workbench” tab is the textual area where to start typing source code while the “Visual editor” tab is used for interactive visual programming and animations. An important aspect of the two predefined tabs is that they represent the same model with different, but equivalent, formalisms. In fact a first effort has been made to keep the textual representation in the Workbench synchronized with the graphical representation in the Visual editor. One single model is managed by the application in the internal data structures allowing the user to seamlessly change “perspective” from the visual representation to the textual one and vice versa as shown in Figure 6, where Milieu-M is interactively generating source code from the visual program in foreground.

Figure 5: Milieu-M as appearing on a Mac. The tabbed GUI allows working on several syntax-highlighted tabs at once. The

"Visual Editor" tab is devoted to the visual manipulation of calculi on membranes.


325

Figure 6: Two screenshots of the same application instance. In foreground there is the “Visual editor” tab where a simple model was created. Milieu-M interactively generates source code in the “Workbench” tab as the newly graphical elements are designed.

When building a model graphically, the Visual Editor applies real-time checks to user’s actions ensuring that the interactive creation and manipulation is made only on valid models stored in the internal representation. Starting from the source code the process can not be interactive, but first the source has to be correctly parsed and “translated” into the same internal data structures. From the internal representation is possible then to generate the graphical layout or the textual source back.

The Visual editor has its own toolbar as can be seen in the right-most part of the tab container in Figure 7. From left to right, each of the four buttons opens a different toolbox: 1) Entities toolbox: containing the available entities for a given visual language. 2) Properties toolbox: shows table-like window where the properties of selected entities in Visual editor can be displayed and modified. 3) Visualization toolbox: contains commands for changing the view of the model like zoom, pan, etc. 4) Animation toolbox: provides the basic actions to start and control animated simulations of the models.

Figure 7: In the Visual Editor tab the user interactively designs membrane structures – which are visual algorithms – by drag-and-drop operations: when “drawing” a rule the involved membranes gets highlighted. The status bar on the bottom provides interactive information to the user about his actions.

Visual Programming

The founding principles of the visual approach are the formalness, user-friendliness and correctness. The visual language is formal because is based on the Visual Graphs (or Annotated Graphs when the appropriate textual labels are shown). Additionally it has to be user-friendly but no visual model can be wrong if it was created with the visual formal language. To this aim every user action is interactively managed by the application, which makes real-time checks on the drawn elements before they can be created in the internal data structures and


326

automatically provides each newly created entity with a progressive name (m_1, m_2... for membranes, r_1, r_2… for rules etc.).

Visual programming allows to interactively “draw” complex membrane structures with drag-and-drop operations from the Entities toolbox (the floating window on the right side of Figure 7). The basic entities in the toolbox are i) membranes, ii) substances iii) rules and iv) parameters. Additionally a multi-membrane button is shown, in the middle of the toolbox, allowing the guided creation of multi-membrane templates with central structure. The process of creating a membrane consists in picking the membrane tool from the toolbox, and then drawing them on the Visual Editor. General multi-membranes can be created by drawing new membranes upon the existing ones interactively: membrane operations of inclusion and junction are interactively supported when drawing new membranes inside or upon other membrane borders allowing to create morphological forms of multi-membranes in 2D.

Analogously, after selecting the rule button from the toolbox, it is sufficient for the user to start dragging from the border of a membrane to pull an arrow from the border outward to the mouse pointer. At the same time the selected membrane is highlighted as source membrane. Moving the mouse pointer around, other membranes are highlighted as possible targets when passing the arrow tip over their borders (Figure 7). The regulator for a rule can be created by a double click on the rule that allows setting an expression or a membrane label as the regulator definition. The same result can be obtained by visual programming. After selecting the rule tool from the toolbox, dragging the mouse pointer from the border of a membrane a new rule arrow is spawn as before, but this time it will turn into a dashed arrow (regulator) when moving upon another rule. Releasing the mouse the regulator of the rule will be defined as the contents of the membrane. Once multi-membranes and rules have been defined it is possible to add matter by clicking on a membrane region with the appropriate substance tool.

Even more interactive checks are made on the theoretical definitions of multi-membranes being drawn providing simultaneous visual clues and textual suggestions in the status bar. In multi-membranes the checks include, but is not limited to, the number and quality of frontier membranes (eg.: if there is a START there must be also an HALT) or selectable target membranes (eg.: no START membrane can be used as source membrane for a rule going out of the central membrane).

Simulations and Animations

Simulations of the deterministic model are carried out applying the rules with the corresponding fluxes, as illustrated in the example at page 2, and according to the Definitions 1 and 2. The evolution of the system dynamics can be visually followed on screen during its progress using the Animation toolbox where are available commands to play, pause, step forth and tune the animation speed. At each step the active entities are highlighted making visible the source/target membranes across which matter is moved. Each simulation creates time series for all involved membranes and substances that can be graphically plotted alone or in combination as charts or phase diagrams.

Conclusion

In this paper we introduce Milieu-M, a software tool for the visual manipulation of calculi on multi-membranes, a recent membrane structure providing mechanisms for combining deterministic computations articulated at different distributed levels. In Milieu-M the multi-membrane operations of junction and inclusion of membranes are carried out graphically by visual programming in the Visual editor where the real-time checks performed by the application ensure to build valid models. The visual algorithm can be graphically executed producing time series that are plotted in charts or phase diagrams. Additional peculiarity is that the membrane model can be created and managed coherently both in visual programming and source code with the ability to generate transparently one from the other.


327

Topics of future improvement include i) supporting and integrating with additional membrane models and their textual languages in Visual programming mode and ii) enhancements in the automatic visual layout routines starting form the source code.

Bibliography

[Aho, Sethi, Ullman, 1986] A. Aho, R. Sethi, and J. Ullman. Compilers: principles, techniques, and tools. Reading, MA,, 1986. [Bernardini, Manca, 2003] F. Bernardini, V. Manca. Dynamical aspects of P systems. Biosystems, 70(2):85 – 93, 2003. Cell Computing. [Ciobanu, Păun, Pérez-Jiménez, (Eds.), 2006] G. Ciobanu, Gh. Păun, M. Pérez-Jiménez, (Eds.). Applications of Membrane Computing, Springer Verlag. Natural Computing Series, Berlin, October, 2006. [Díaz-Perniland, Pérez-Hurtado, Pérez-Jiménez, Riscos-Núñez, 2009] D. Díaz-Perniland, I. Pérez-Hurtado, M. Pérez-Jiménez, A. Riscos-Núñez. A P-Lingua programming environment for Membrane Computing. Membrane Computing, [Freund, Verlan, 2007] R. Freund and S. Verlan. A Formal Framework for Static (Tissue) P Systems. Membrane Computing, WMC 2007. LNCS, vol. 4860, pp. 271–284. Springer, Heidelberg, 2007. [Gutíerrez–Naranjo, Pérez-Jiménez, Riscos–Núñez, 2006] M.A. Gutíerrez–Naranjo, M.J. Pérez-Jiménez, A. Riscos–Núñez, Available membrane computing software. In: [Ciobanu, Păun, Pérez-Jiménez, (Eds.) 2006], pp. 411–436. (2006). [Lombardo, Manca, 2011] R. Lombardo and V. Manca. Arithmetical Metabolic P Systems. Foundations on Natural and Artificial Computation, LNCS 6686. J. Ferràndez at al. (Eds.). Springer Berlin / Heidelberg, 2011. [Manca, 2009] V. Manca. Fundamentals of Metabolic P Systems. The Oxford Handbook of Membrane Computing, Ch. 19. Gh. Păun, G.Rozenberg, A. Salomaa (Eds.). Oxford University Press, 2009. [Manca, Lombardo, 2011] Computing with Multi-Membranes. 12th Conference on Membrane Computing, LNCS (in press). [Păun, 2000] Gh. Păun. Computing with Membranes. Journal of Computer and System Sciences, 61(1):108–143, 2000. [Păun, 2002] Gh. Păun. Membrane Computing. In Fundamentals of Computation Theory, volume 2751 of LNCS, pages 177–220. Springer Berlin / Heidelberg, 2002. [P systems page] P systems web page, http://ppage.psystems.eu/


Vincenzo Manca – Full Professor, Department of Computer Science, University of Verona, Strada Le Grazie 15, Ca Vignal 2, I-37174 Verona, Italy; e-mail: [email protected] Major Fields of Scientific Research: Natural Computing - Molecular, DNA, Membrane, and Cellular Computing; Unconventional Computation Models and Formal Language Theory.

Rosario Lombardo Ph.D. Student, Department of Computer Science, University of Verona, Strada Le Grazie 15, Ca Vignal 2, I-37174 Verona, Italy; e-mail: [email protected] Major Fields of Scientific Research: Computing Methodologies – Simulation and Modeling; Unconventional Computation Models.


328

OVERLAPPING RANGE IMAGES USING GENETIC ALGORITHMS

Fernando Ortega, Javier San Juan, Francisco Serradilla, Dionisio Cortes

Abstract. This work introduces a solution based on genetic algorithms to find the overlapping area between two point cloud captures obtained from a three-dimensional scanner. Considering three translation coordinates and three rotation angles, the genetic algorithm evaluates the matching points in the overlapping area between the two captures given that transformation. Genetic simulated annealing is used to improve the accuracy of the results obtained by the genetic algorithm.

Keywords: Range images, genetic algorithms, overlaping point cloud captures, genetic simulated annealing.

1. Introduction

There are many different tools available on the market to convert range images taken from a three-dimensional grabber on representable models in real-time on a computer. However, a common characteristic in existing tools is the need for a large amount of manual work for the overlapping of the different captures that are required to register the whole figure.

In this paper, we present a novel solution which aims to automate the range image overlapping process using genetic algorithms (GA’s). The GA proposed will receive as input two partially overlapped range images and it must return the set of rotations and translations that must be performed on the second range image to ensure it is perfectly aligned with the first.

This paper’s main challenge is to design a GA that manages to resolve the problem. The size of the search space in which the GA moves is very large, and therefore, great care must be taken with the design of the algorithm in order to resolve the problem in a reasonable amount of time. The GA will mainly focus on the use of Genetic Simulated Annealing (GSA) to increase the GA convergence speed, and also on the design of an effective fitness capable of providing the overlapping level of two captures.

The rest of the paper is structured as follows:

In Section 2 we will analyze the work related to the study presented here.

In Section 3 we will formalize the proposed solution, explaining the GA developed in detail.

In Section 4 we will present the experiments that we use to verify the performance of the GA.

In Section 5 we will show the results of experiments with the algorithm developed.

In Section 6 we will present the conclusions obtained and we will develop the possible future papers that have arisen as a result of this study.

2. Related work

The process of computer representation of real figures starts with the input of data from a series of range images taken by a grabber. From this series, we have to obtain one single range image in a unique reference system. In addition, we assume that each of the images captured may have been taken in random position and rotation conditions. For that reason, the objective of this phase is to find a series of transformations which, based on a random reference system for each of the captures, merges the information from all of these in one single reference system.


329

The main research into this field belongs to [1]. In this work, they tackle manual calibration techniques such as the overlapping of multiple captures with random transformations. They propose the use of an inverse calibration system, in which the viewing frame is associated with certain coordinates of the 3D scene (which can be performed via the pre-identification of certain elements captured on the view), allowing each of the capture points to be associated with certain coordinates of the scene.

[11] propose an interesting approach for registration in various phases. Firstly, they perform edge-based segmentation for broad overlapping which guides the next phase in fine-grain overlapping based on the ICP (iterative closest point) algorithm.

[10] covers techniques for the alignment of multiple capture points. He proposes the association of different capture points via a point-plane approach.

[3] design a new technique, called DARCES (based on the RANSAC technique) for the overlap of overlapped range images, using their own algorithms for the cataloguing of dispersed objects in range images.

[7] seeks an algorithm that allows the transformation matrix to be found between two systems of coordinates with different rotation. He calculates the rotation between the two systems in search of the appropriate quaternion.

The case we are dealing with has some peculiarities which make it difficult to apply the solutions proposed in the articles. On the one hand, it must be possible to find the overlapping areas without the need to resort to the use of markers. And, although using GPS and scanner compass information maybe of help when performing the process, the system could not depend on the availability of this data, but rather, on the comparison of the distribution of the points in each of the captures to be compared. Nor is it possible to resolve the problem by searching for a change of base matrix which overlaps one capture with the other, as it will be discrete areas of each capture which must be overlapped, and here lies the main problem to be resolved.

2.1. Genetic algorithm

Genetic algorithms (GA’s) are a type of evolutive algorithms used to resolve search and optimization problems [5][6]. They are based on simulating the evolutive process produced in nature to resolve problems of adaptation to the environment. GA’s simulate, via populations of individuals, the evolution suffered through different operators called genetic operators, such as reproduction, crossover and mutation. Each operator plays a different role in the evolution of the population. This way, the reproduction can be understood as a competition, whilst the rest, like crossover and mutation are capable of creating new individuals from the existing ones in the population.

The individuals in our GA will represent the rotations and translations that must be carried out on the second capture to ensure it overlaps with the first. We have opted to use a GA with binary coding and we assign 6 chromosomes to each individual of the population, 3 for the translations and 3 for the rotations. The chromosomes of the translations have 8 bits, whilst those of the rotations have 12 bits. Figure 1 contains a graphical representation of the coding of the individuals and their chromosomes.

Figure 1. Representation of the individuals and their chromosomes of the GA developed.

The genetic operators used in the GA are as follows:


330

Selection. The chosen method is the Roulette Wheel Selection operator. That is to say, the selection probability of an individual depends on its fitness level.

Crossover. We use the one-point crossover technique. Two parents are selected, a cut-off point is chosen and the two parents are combined to generate two children.

Mutation. We use a single point mutation technique in order to introduce diversity. Some bits are modified randomly according to a mutation probability.

Replacement operator: replacement with elitism. The best individuals of the current population move on

to the next population without being modified (elitism) and the rest of the individuals are obtain using crossovers.

Since we have obtained quick satisfactory results using these four classical operators, we have not used other possible operators like migration, regrouping or colonization-extinction.

2.2. Fitness function

In a GA the fitness function is fundamental as it allows the convergence of the population towards the optimum solution of the problem we want to resolve. In our case, we have developed a fitness function that allows us to check the level of overlapping of two captures simply and effectively. The basic idea is to divide the overlapped area into a series of cells and to count the number of points of each capture which belong to each cell. The cells that contain an equal number of points from both captures will have a high level of overlapping, whilst those that have a different number of points will have a very low level of overlapping.

Formally, in order to calculate the fitness we need to define the following elements:

Let C1 p1,1, p1,2 ,K , p1,n1, p1,n be the set of n points of the capture 1. (1)

Let C2 p2,1, p2,2 ,K , p2,n1, p2,n be the set of m points of the capture 2. (2)

We define pc,ix as the value of the coordinate of point pc,i on the X axis. (3)

We define pc,iy as the value of the coordinate of point pc,i on the Y axis. (4)

We define pc,iz as the value of the coordinate of point pc,i on the Z axis. (5)

We also need to define the zone in which both captures intersect:

Let Ii, j be the set of points belonging to the capture i which overlap with the capture j. (6)

We define mini, jx , maxi, j

x as the interval of the X axis in which the points of the intersection of capture i

with capture j move. (7)

We define mini, jy , maxi, j

y as the interval of the Y axis in which the points of the intersection of capture i


We define mini, jz , maxi, j

z as the interval of the Z axis in which the points of the intersection of capture i


Likewise, we define the operator # Set as the number of points of a set. E.g. # C1 represents the

number of points of capture 1. (10)

We divide the volume overlapped in N 3 cells which will determine the level of overlapping of both captures in

different places of the overlapped space. We define cell1,2r ,s ,t as the set of points of capture 1 which are

overlapped with capture 2 and which belong to the r, s, t cell.


331

cell1,2r ,s,t p1,i C1 | min1,2

x r max1,2x min1,2

x N p1,ix min1,2

x r 1 max1,2x min1,2

x Nmin1,2

y s max1,2y min1,2

y N p1,iy min1,2

y s 1 max1,2y min1,2

y N

min1,2z t max1,2

z min1,2z N p1,i

z min1,2z t 1 max1,2

z min1,2z N(11)

In the same way, we define cell2,1r ,s ,t as the set of points of capture 2 which are overlapped with capture 1 and

which belong to the r, s, t cell.

cell2,1r ,s,t p2,i C2 | min2,1

x r max2,1x min2,1

x N p2,ix min2,1

x r 1 max2,1x min2,1

x Nmin2,1

y s max2,1y min2,1

y N p2,iy min2,1

y s 1 max2,1y min2,1

y N

min2,1z t max2,1

z min2,1z N p2,i

z min2,1z t 1 max2,1

z min2,1z N(12)

With or ,s ,t we denote the level of overlapping of the r, s, t cell. The idea is that the cells that contain many points from both captures have a high level of overlapping, whilst those which have a different level of points from both captures have a low level of overlapping. The calculation of the level of overlapping is reflected in Table 1.

Table 1. Level of overlapping according to the number of points of each range image in the r, s, t cell.

or ,s ,t # cell1 2r ,s,t 0 0 # cell1 2

r ,s,t Few Few # cell1 2r ,s,t

# cell2,1r ,s,t 0 LO -LO -HO

0 # cell2,1r ,s,t Few -LO MO -MO

Few # cell2,1r ,s,t -HO -MO HO

Where HO represents a constant assigned to High Overlapping, MO a constant assigned to Medium Overlapping and LO a constant assigned to Low Overlapping. Likewise, -HO, -MO and -LO represent the same negated values to indicate Low Non Overlapping, Medium Non Overlapping and High Non overlapping, respectively. The value Few quantify the number of points that should have a range image to have a high grade of overlapping / non overlapping.

The fitness will be calculated as the summation of the overlapping of all the cells.

fitness or ,s,t

t0

N

s0

N

r0

N

(13)

2.3. Genetic simulated annealing

One of the problems of GA’s is that, although they progress very well in the first stages of learning, they have difficulties with the fine adjustment of the final solution. In our problem, the fitting of scenes, this is translated into the rapid establishment of an approximated fit and a much longer delay to find the definitive value of rotation and translation of the fragments of the scene.

In order to improve this weakness of GA’s, [2] theoretically proposed a new family of algorithms which combine the GA with a well-known technique in the field of optimization, Simulated Annealing (SA), in what they called Genetic Simulated Annealing (GSA).

Subsequent research has provided algorithms which mainly modify the operator selection of the GA to incorporate a temperature factor [4][15], based on a neighborhood criteria among individuals which is gradually restricted as the temperature drops. This method reminds us of the operation of the neighborhood environment in self-organizing maps [8]. This approach has been used in various applications, among which we can highlight telecommunications network planning [14], economics [15], or forecast prediction [9].

In our paper, in order to reduce the computational cost of the search for the optimum fit of the fragments of the scene we have introduced the SA in the mutation and crossover operator. Given that we use a binary coding


332

alphabet, we propose to use the temperature factor (T) of the annealing to rule out the T less significant bits in early stages of the process, and, as the temperature drops, to gradually incorporate more bits.

The effect of ignoring the less significant bits is to eliminate degrees of freedom from the search process in the solutions space, by sacrificing the precision in the adjustment obtained, which allows the algorithm to quickly converge towards the optimum solution. As more bits are incorporated to the mutation operator and the crossover operator the precision of the solution contributed is increased, ultimately reaching the precision required in the design in accordance with the total number of bits chosen to represent the values of position and orientation of the scenes.

Specifically, we propose that the mutation and crossover operator is applied to the most significant (L -T) bits of each rotation or translation, taking for L the number of bits of the translation / rotation and for T the value of the temperature represented by the number of bits to be ruled out. E.g. if the rotation has 12 bits, and the value of T is 4, the crossover and mutation operations will only be performed on the 8 most significant bits. The temperature is updated every certain number of generations (to be defined in each problem) increasing by 1 the number of significant bits.

In the same way, we will include the temperature concept in the fitness function. Our objective is that, as the GA advances, we increase the number of cells (N) into which the overlapped area is divided. This way, at the start, we will be able to carry out a poorly detailed adjustment of the captures and, as the generations elapse, the level of overlapping will be much more detailed. We must define an initial value for N and, every certain number of generations, we increase the value of N by one unit.

3. Experiments

In this section we are going to explain the experiments that we have used to test the algorithm. We have chosen two range images: a rosette with 528977 points and a house with 515255 points. The two captures were cut in half with a 38,5% overlap, which means that there is a 38,5% of the fragment in the other.

The fitness of the GA is highly dependent on the parameters. After several tests, we found optimal values for the proper functioning of the GA, this varies depending on the capture. The Table 2 shows the parameters used in the experiments.

Table 2. Parameters used in the experiments.

Parameter House Rosette Number of generations 1000 1000

Population size 100 120 Crossover probability 0,7 0,7 Mutation probability 0,01 0,01

Elitism percent 5% 5% Initial number of cells (N) 16 20

Number of generations to update N 50 50 Initial discarted bits (T) 6 6

Number of generations to update T 25 25 Few (points) 500 500

High Overlapping (HP) 0.001 0.001 Medium Overlapping (MO) 0.01 0.01

Low Overlapping (LO) 0.1 0.1

In order to see the evolution of fitness, we are going to calculate the maximum fitness and we observe how good the fitness is as the generations evolve. The maximum fitness is calculated when we cut the captures, at the end of the cut, the two captures are perfectly overlapped and in this moment the maximum fitness is calculated. The maximum fitness is used to normalize the graph, with different captures fitness results may vary, so it is a good idea normalize to compare and have a way to measure how good it is in different cases.


333

4. Results

The figures 2 and 3 show the evolution of the genetic algorithm, in a graphical way. The figure 2a and 3a shows the first state of the algorithm, with the two fragments in completely different positions. The figure 2b and 3b shows the firsts steps of the algorithm, the fragment is starting to aproach to a good solution, the algorithm is in the 200 generation. The figure 2c and 3c shows the lastest steps of the algorithm, the fragment is almost in its position, the algorithm is in the 600 generation. The figure 2d and 3d shows the result of the algorithm, the fragment is in a position near to the perfect position. The adjustment is better in the rosette than in the house because is a complex capture, although the results are still good and we can see a graph of a typical GA, evolving quickly at first, and later doing small adjustments.

Figure 2. Results of overlapping the range image of the rosette with the proposed GA.

Figure 3. Results of overlapping the range image of the house with the proposed GA.

The figure 4 shows the evolution of the individuals in the genetic algorithm. The graph contains the average of the population normalized fitness in each generation. At first, the population evolves quickly and then, GA makes a


334

slow and more precise adjustment. This is due to the nature of the GA, which at first have a quickly convergence and later have a slowly adjustment, and to the inclusion of the GSA which allows a better adjustment as the GA evolutions.

Figure 4. Normalized fitness evolution during de GA with de rosette and the house.

5. Conclusions and future work

This article presents a strategy to tackle the problem of overlapping two captures using GA’s automatically instead of manually as has been the case until the now.

GA’s are a great help for the resolution of many optimization problems. As we have seen, it is also possible to use them to resolve the problem of overlapping clouds of points, which is a highly complex problem as, a priori, we have no information about the placement of the captures and they can have random translations and rotations.

In the article we have presented a specific GA and we have placed special importance on including the GSA and on the development of the fitness function. After various experiments we have seen that the GA’s behavior greatly depends on the parameters that we use for its execution. This fact highlights that, in order to achieve the overlapping between a pair of range images, we must be perfectly aware of the nature of these range images in order to correctly establish the parameters to be used. If the parameters are not adjusted correctly, the algorithm will converge towards suboptimal solutions and, therefore, towards erroneous overlapping.

Despite the impediment of the parameters, the proposed algorithm continues to present huge benefits compared to the manual overlapping of captures, as, with a little experience, the parameters are quickly adjusted and the algorithm is capable of returning the captures perfectly overlapped.

Normally, the scanners present geographical coordinates, as well as a compass for their orientation. In this paper, we have dispensed with any help as we cannot guarantee that all the captures presented contain this information, and, therefore, the proposed GA has an added value as it works with the minimum information possible on the range images.

In a future paper we will continue to study different fitness functions to see which offers better results. It is possible to establish other fitness functions which offer advantages as regards the precision of the algorithm or the time of its calculation.

It is more and more common to have equipment with multiple process cores, and, therefore, parallelizing these algorithms to reduce their execution time is essential. GA’s are highly parallelizable. With little effort we could parallelize the algorithm to obtain faster response times on moving to the exploitation phase.


335

In this article, we use range images with the same density of points, and, therefore, another problem to resolve is the adaptation of the proposed GA to captures that present different point density. The current fitness is not capable of detecting the overlapping of two range images with different point density because it uses absolute constants to measure whether a capture has many or few points in a cell. It would be necessary to include variables related to the size of the capture to resolve this problem.

Finally, it is possible to replace the genetic algorithms with binary coding used with genetic algorithms with real coding, which can provide a greater convergence speed due to the variety of genetic operators available for these.

Alnowledgements This project has been partially financed by the Ministerio de Industria, Turismo y Comercio Español through the program AVANZA (TSI-020110-2009-438).

References 1. Blais, G.; Martin D. L.: Registering Multiview Range Data to Create 3D Computer Objects, Centre for

Intelligent Machines, TR-CIM-93-16, Center for Intelligent Machines, McGill University, 1993. 2. Chen H.; Flann, N. S.: Paralled Simulated Annealing and Genetic Algorithm: A Space of Hybrid

Methods. Paralled Problem Solving from Nature, Vol. 3, pp. 428-438 (1994). 3. Chen, C.; Hung, Y.; Cheng, J.: RANSAC-based DARCES: A New Approach to Fast Automatic

Registration of Partially Overlapping Range Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 11, pp. 1229 –1234 (1999).

4. Chen, H.; Flann, N.S.; Watson, D.W.: Parallel genetic simulated annealing: a massively parallel SIMD algorithm. IEEE Transactions on Parallel and Distributed Systems, Vol. 9, No. 2, pp. 126-136 (1998).

5. Davis, L. D.; Mitchell M.: Handbook of genetic algorithms. Van Nostrand Reinhold (1991). 6. Holland, J. H.: Adaptation in Natural and Artificial Systems. University of Michigan Press, Ann Arbor

(1975). 7. Horn, B. K.: Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical

Society of America, Vol. 4, No. 4, pp. 629-642 (1987). 8. Kohonen, T.: Self-organizing formation of topologically correct feature maps. Biological Cybernetics, Vol.

43, pp. 59–69 (1982). 9. Lee, L.; Wang, L.; Chen, S.: Temperature prediction and TAIFEX forecasting based on high-order fuzzy

logical relationships and genetic simulated annealing techniques. Expert Systems with Applications, Vol. 34, No. 1, pp. 328-336 (2008).

10. Pulli, K.: Multiview Registration for Large Data Sets, Stanford University. Proceedings. Second International Conference on 3-D Digital Imaging and Modeling, pp. 160-168 (1999).

11. Sappa, A. D.; Spetch, A. R.; Devi, M.: Range Image Registration by using an Edge-Based Representation. In Proceedings of th 9th International Symposium on Intelligent Robotic Systems (2001).

12. Stein, F.; Medioni, G.: Structural Indexing: Efficient 3-D Object Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2 (1992).

13. Tavakolpour, A. R.; Mat Darus, I. Z.; Tokhi O., Mailah T.: Adaptive simulated annealing genetic algorithm for system identification. Engineering Applications of Artificial Intelligence, Vol. 9, No. 5, pp. 523-532 (1996).

14. Tsenov, A.: Simulated Annealing and Genetic Algorithm in Telecommunications Network. Proceedings of the 7-th IEEE International Conference on Telecommunications in Modern Satellite, Cable and Broadcasting Services - TELSIKS, Vol. 2, pp. 555 - 558 (2005).

15. Wong, K. P.; Wong, Y.W.: Genetic and genetic/simulated-annealing approaches to economic dispatch. IEEE Proceedings Generation, Transmission and Distribution, Vol. 141, No. 5, pp.507-513 (1994).

Authors' Information Fernando Ortega, Javier San Juan, Francisco Serradilla, Dionisio Cortes - Dpto. de Sistemas Inteligentes Aplicados, Universidad Politécnica de Madrid, Crta. de Valencia, Km 7. 28031 Madrid, Spain. fortegarequena, javier.sanjuan, francisco.serradilla, [email protected]


336

CONSTRUCTION OF MORPHOSYNTACTIC DISTANCE ON SEMANTIC STRUCTURES

Eduardo Villa, Alejandro De Santos, Pedro G. Guillén, Octavio López Tolic

Abstract: When a natural language is introduced in a computer we have several problems to automate it, this is because it is difficult to make a computer relate concepts in a rich and always changing vocabulary. The two biggest problems come when using synonymous and polysemous words, as it is done in any natural language, this is the problem approached in this paper with an efficient algorithm. The association of a natural language and a space based metric on semantic is probably the best way to manage any language with a machine, so building ∆ as a freesemigroup with its grammatical rules as its natural restrictions, lets us define a distance that helps to provide a metric to the Morphosyntactic space so it is possible to organize and, therefore, study, in an automatic way, a natural language. Keywords: Natural Language, Semantic, Morphology, Distance, Syntactic, Context, Metric Space. ACM Classification Keywords: D.2.11 [Software Engineering] Languages; E.1 [Data Structures] Graphs and networks; H.5.2 [User Interfaces] Natural language; I.7.0 [Document And Text Processing] General.

Introduction Let be a natural language. Building the lexical space ∆, with the structure of a free semigroup, and which will be treated as a set, regardless of its algebraic properties relating its elements. Let a word be treated as a pair(Ѳ, Ω) , data, context respectively, (see [Ito, 1977]) where a data is an array of letters with one or more meanings and a context as a set of words. Starting with the hypothesis that a data has an only one meaning in a concrete context and,inspired to the idea of treating a word as a pair, the problem that polysemy represents is easily approached. The synonymy problem is treated relating a word with its meaning so words with same meaning are the in the same group and, from now on, will be treated as a unique word. Also the set of contexts will be treated as a finite, computable, arbitrary graph with contexts as nodes and natural relations between contexts as edges. By the assumption of these hypothesis, and with the use of the fact that the meaning function described above, that associates each word with its meaning, is injective, it is possible to define in ∆ as a set, the Morphosyntactic Distance by comparing pairs (as in [Ito, 1981]), and to give it a metric space structure. To start dealing with this problem some concepts may be defined.

Analysis of the Words . Lexeme space .The lexeme space, , is definedas the set formed by all the lexemes taken of each word of our language. . Morpheme space .The morpheme space, , is defined as the set formed by all the morphemes taken of each word of our language. . Main space . The main space, , is defined as ℳ = . Decomposition of a word.


337

The decomposition of a word is defined asits only decomposition such that its morphemes and lexemes are separated for its right classification (see [Jacquemin, 2005] and [Koskenniemi, 1984]), taking similar principles as in [Karttunen, 1992](see below): = ( , . . . , , , … , )with , . . . , ∈ and , . . . , ∈ so ∈< > . Taking as principles: ( ) Different forms of similar lexemes are mapped to the same canonical form. ( ) Morphological categories, such as plural, comparative or first person, are classified and compared between them. E.g. is decomposed as ( , , , ). . The main space is a countable space. . The product of two countable sets is countable. . Main lexeme of a word . The main lexeme of a word, in the case of compound words, is its most relevant lexeme in a determined context, being different in different cases, in the case of simple words it is its only lexeme. The main lexeme of a word can be chosen as in [Jacquemin, 2001]. . Main decomposition of a word. The main decomposition of a word is a realignment of its main decomposition with its main lexeme as its first element: = ( , , . . . , , , … , )E.g. is decomposed as ( , , ) and has as main decomposition ( , , ) using

as its main lexeme. In the next section an easy computable distance is defined so its elements can be treated as points in a metric space.

Morphosyntactic Distance Now some useful operations between two elements generated by denoted by ∆=< >⊆ , with its image inℝare defined. Let , ∈ (Ѳ, Ω) be, and considering its respective main decompositions: = ( , , . . . , , , … , )= ( , , . . . , , , … , )Without loss of generality it can be supposed that + ≤ + .

Let = , , … , be with ∈ ℚ⋂( , ) ∀ ∈ , … , + and > ∏ .

Let = ( , , . . . , ) be.

Let = ( , , . . . , ) be. Let the next algorithm be defined: : (Ѳ, Ω)x(Ѳ, Ω) ⟶ [0,1] ( , ) if = ( , ) = 0 end else = 0 ( , ) = 1

if = ( , ) = 1 2 +


338

end

for in +

for in +

if = = + 1end

end end

for in range (1, ) ( , ) = ( , ) − 1 2 + 1 2 end

end . Let , be the main decompositions of , ∈ Ѳ such that they share s morphemes and non-main lexemes: ( , ) = … + 1 2 =… + 1 2 ≠ .( , ) with = ( , ), = ( , ) ∈ (Ѳ, Ω) = ( , , ), = (frog, bull), = ( ) = ( , , ), = (man, frog), = ( ) ((bullfrogs, animal), (frogmans, sea)) ≠ → ( , ) = 1 = → ( , ) = + 1 2 = → ( , ) = + 1 2Function : (Ѳ, Ω)x(Ѳ, Ω) → [ , ] is defined as ( , ) = ([ ], [ ]) with[ ], [ ] equivalence classes of[ ] and [ ]respectively. . Function keeps triangle inequality. . ( , ) ≤ ( , ) + ( , ) Several cases can be distinguished: 1.If = then ( , ) = and ( , ) + ( , ) ≥ . 2.If ≠ and = then ( , ) = ( , ) + ( , ) because ( , ) = and ( , ) = ( , ). 3. If ≠ and = then it can beproved analogously.

4.If ≠ , ≠ and ≠ then ( , ) ≤ and ( , ) + ( , ) ≥ + = , so the

inequality is verified. We define function : ΩxΩ → [ , ] as: ( , ) 1 − 1 + 1 ≠0 =

being the natural distance between and on a graph with all its links lengths . . Function is a distance. . ( ) ( , ) ≥ 0


339

( , ) = − + with≥ , from where the inequality is proved trivially. ( ) ( , ) = 0 ↔ = ( , ) = = − + ↔ = + ↔ + = ↔ = ↔ = ( ) ( , ) = ( , ) As n is a distance, we can assert ( , ) = − + = ( , ) ( ) ( , ) ≤ ( , ) + ( , ) Several cases can be distinguished: 1. If = then ( , ) = and ( , ) + ( , ) ≥ . 2. If ≠ and = then ( , ) = ( , ) + ( , ) because ( , ) = and ( , ) = ( , ). 3. If ≠ and = then it can be proved analogously. 4. If ≠ , ≠ and ≠ then ( , ) = − ⁄ ( + ) ≤ and ( , ) + ( , ) = − + + − ⁄ ( + ) ≥ , so the inequality is verified.

Function : ∆x∆→ ℝ is defined as (∆ , ∆ ) = ( , ) + ( , ). . Function is a distance on knowledgespace∆, this distance is called Morphosyntactic distance. . ( ) (∆ , ∆ ) ≥ 0 (∆ , ∆ ) = ( , ) + ( , ) with ( , ) ≥ and ( , ) ≥ , from where the inequality is obtained trivially. ( ) (∆ , ∆ ) = 0 ↔ ∆ = ∆ ⟹ (∆ , ∆ ) = ( , ) + ( , ), it is known that ( , ) ≥ and ( , ) ≥ , so it can be deduce that ( , ) = and ( , ) = what implies, because of the construction of and , that = and = , thus it is concluded that∆ = ( , ) = ( , ) = ∆ . The other implication can be equally proved. ( ) (∆ , ∆ ) = (∆ , ∆ ) As function is a combination of boolean comparisons to which apply an algorithm is applied and these comparisons do not depend on the order of its elements, it can be inferredtrivially that ( , ) =( , ) and, as is a distance, ( , ) = ( , ) , because all these facts, it can beassumed that (∆ , ∆ ) = ( , ) + ( , ) = ( , ) + ( , ) = (∆ , ∆ ) ( ) (∆ , ∆ ) ≤ (∆ , ∆ ) + (∆ , ∆ ) As ( , ) ≤ ( , ) + ( , )and ( , ) ≤ ( , ) + ( , ) it can be concluded that (∆ , ∆ ) = ( , ) + ( , ) ≤ ( , ) + ( , ) + ( , ) + ( , ). . Distance between two different elements, ∆ , ∆ ∈ ∆ is bounded both, from above and

below by and respectively, ≤ (∆ , ∆ ) ≤ . .It can besupposed, without loss of generality, that they share morphemes and non-main lexemes and its contexts natural distance is ∈ ℕ. = + ∗ + − + ≤ + ∗ … + − + = ( , ) + ( , )


340

= (∆ , ∆ ) = ( , ) + ( , ) = + ∗ … + − ≤ + − ≤ .

Conclusion With all these bases a topological space is built in (Ѳ, Ω) withthe topology induced by the Morphosyntactic distance.

Further study of it can give possibilities of working easily and faster with it, and bringing the opportunity to come to a more general algorithm to compare sentences and even full texts.

With this idea it is possible to relate different information and have a better approach to organize it for its quick accessibility and make easier its sharing.

Acknowledgements This work is supported byAXON Ingeniería y Desarrollo de Software, S.L. (Spain); Buaala.TV Project,Avanza 2 TSI-090302-2011-19;Ministerio de Industria, Turismo y Comercio(Spain) and FEDER (European Union)

Bibliography [Ito, 1977] Ito, Tetsuro; Kizawa, Makoto.Semantic structure of natural language.Systems-Computers-Controls 7

(1976), no. 2, 1–10 (1977).

[Ito, 1981] Ito, Tetsuro; Toyoda, Junichi; Kizawa, Makoto, Hierarchical data base organization for document information retrieval.Systems-Comput.-Controls 10 (1979), no. 2, 39–47 (1981).

[Jacquemin, 2001]Jacquemin, Christian .Spotting and Discovering Terms through Natural Language Processing. 2001. The MIT Press. Page 16.

[Jacquemin, 2005]Jacquemin, Christian .Spotting and Discovering Terms through Natural Language Processing. 2001. The MIT Press. Page 16.Creutz, Mathias.Lagus, Krista. Inducing the Morphological Lexicon of a Natural Language from Unannotated. 2005. International and Interdisciplinary Conference on Adaptive Knowledge Representation and Reasoning. Espoo. Finland.

[Karttunen, 1992]Karttunen, Lauri; Kaplan, Ronald M.; Zaenen, Annie.Two-level morphology with composition. 1992. COLING '92 Proceedings of the 14th conference on Computational linguistics - Volume 1. Stroudsburg, PA, USA.

[Koskenniemi, 1984]Koskenniemi, Kimmo. A general computational model for word-form recognition and production. 1984. ACL '84 Proceedings of the 10th International Conference on Computational Linguistics and 22nd annual meeting on Association for Computational Linguistics. Stroudsburg, PA, USA.


Eduardo Villa – Natural Computing Group, Facultad de Informática, Universidad Politécnica de Madrid, Campus de Montegancedo s.n., 28660 Boadilla del Monte, Madrid, Spain; e-mail: [email protected]

Alejandro De Santos – Natural Computing Group, Facultad de Informática, Universidad Politécnica de Madrid, Campus de Montegancedo s.n., 28660 Boadilla del Monte, Madrid, Spain; e-mail: [email protected]

Pedro G. Guillén – Natural Computing Group, Facultad de Informática, Universidad Politécnica de Madrid, Campus de Montegancedo s.n., 28660 Boadilla del Monte, Madrid, Spain; e-mail: [email protected]

Octavio López Tolic –Escuela Universitaria de Informática, Universidad Politécnica de Madrid, Carretera de Valencia Km. 7, 28031 Madrid; e-mail: [email protected]


341

PROOF COMPLEXITIES OF SOME PROPOSITIONAL FORMULAE CLASSES IN DIFFERENT REFUTATION SYSTEMS1

Ashot Abajyan, Anahit Chubaryan

Abstract: In this paper the proof complexities of some classes of quasi-hard determinable ( nTsgf ) and hard

determinable ( n ) formulas are investigated in some refutation propositional systems. It is proved that 1) the

number of proof steps of nTsgf in )(linR (Resolution over linear equations) and 'GCNF permutation (cut-

free Gentzen type with permutation) systems are bounded by p( nTsgf2log ) for some polynomial p(), 2) the

formulas n require exponential size proofs in 'GCNF permutation.

It is also shown that Frege systems polynomially simulate 'GCNF permutation and any Frege system has

exponential speed-up over the 'GCNF permutation.

Keywords: determinative conjunct, hard determinable formula, quasi-hard determinable formula, proof complexity, refutation system, polynomial simulation.

ACM Classification Keywords: F.4.1 Mathematical Logic and Formal Languages, Mathematical Logic, Proof theory

1. Introduction

The interest in the complexity of propositional proofs has arisen, in particular, from two fields connected with computers: automated theorem proving and computational complexity theory, the most famous open problems of which is the NPP problem.

In 1979 Cook and Reckhow studied the relationship between the lengths of propositional proofs and computational complexity, and observed that NPcoNP iff there exists a propositional system in which

proofs are all polynomially bounded [Cook, Reckhow, 1979].

Cut-free sequent and resolution systems are the most frequently used proof systems for automated theorem proving, but they are “weak” systems. There are some formulas which require exponential proof complexities in these systems.

Due to the popularity of these systems it is natural to consider some of their extensions. Resolution over linear equations ( )(linR ) [Raz, Tzameret, 2008] and cut-free Gentzen type calculus with permutation ( 'GCNF

permutation) [Arai, 1996] can be considered as such extensions. These systems are stronger than the original systems.

In this paper we investigate the proof complexities of some classes of propositional formulas in )(linR and

'GCNF permutation. In [Abajyan, 2011] and [Aleksanyan, Chubaryan, 2009] the notions of quasi-hard

determinable and hard determinable formulas are introduced and proof complexities of such formulas are investigated in some propositional systems. In particular, it was proved that the complexities of some class of

quasi-hard determinable formulas nTsgf in Split Tree (Analytic Tableaux) and resolution systems are by order p(

1 Supported by grant 11-1b023 of Government of The Republic of Armenia


342

nTsgf ) for some polynomial p() [Abajyan, 2011] and in [Aleksanyan, Chubaryan, 2009] it was proved that

complexities of some class of hard determinable formulas n are polynomially bounded in Frege systems.

Now we show that the minimal steps of nTsgf proofs in )(linR and in 'GCNF permutation are bounded by

p( nTsgf2log ) for some polynomial p() and the formulas n require exponential size proofs in 'GCNF

permutation. We also show that any Frege system p simulates 'GCNF permutation and has exponential

speed-up over the last one.

Note that )(linR and 'GCNF permutation are refutation systems, that is, these systems intend to prove the

unsatisfiability of formulas (negations of tautologies), therefore sometimes we shall speak about refutations and proofs interchangeably.

2. Main notions and notations

2.1 Hard determinable and quasi-hard determinable formulas

To prove our main results, we recall some notions and notations. We will use the current concept of the unit

Boolean cube ( nE ), a propositional formula, a tautology, a proof system for Classical Propositional Logic (CPL) and proof complexity.

By we denote the size of a formula , defined as the number of all variable entries. It is obvious that the full

length of a formula, which is understood to be the number of all symbols and the number of all entries of logical

signs, is bounded by some linear function in .

A tautology is called minimal if is not an instance of a shorter tautology.

Following the usual terminology we call the variables and negated variables literals. The conjunct K can be simply represented as a set of literals (no conjunct contains a variable and its negation at the same time).

In [Aleksanyan, Chubaryan, 2009] the following notions were introduced.

We call a replacement-rule each of the following trivial identities for a propositional formula .

,0&0 ,00& ,&1 ,1& ,& ,0& ,0&

,0 ,0 ,11 ,11 , ,1 ,1

,10 ,0 ,1 ,11 ,1 , ,

,10 01 , :

Application of a replacement-rule to some word consists of replacing some of its subwords, having the form of the left-hand side of one of the above identities by the corresponding right-hand side.

Let be a propositional formula, ,, 1 nxxX be the set of all variables of and ,,1

'

mii xxX

nm 1 be some subset of X .

Definition 1. Given mm E ,...,1 , the conjunct m

miii xxxK ,...,, 2

2

1

1 is called -

determinative if assigning j mj 1 to each jix and successively using replacement-rules we obtain the

value of (0 or 1) independently of the values of the remaining variables.


343

Definition 2. We call the minimal possible number of variables in a -determinative conjunct the determinative

size of and denote it by d .

Obviously, d for every formula , and the smaller is the difference between these quantities, the

“harder” can be considered the formula under study.

Definition 3. Let n 1n be a sequence of minimal tautologies. If for some 0n , 0nn ,

1 nn dd then the formulas ,..., 2,1 000 nnn are called quasi-hard determinable.

Definition 4. Let n 1n be a sequence of minimal tautologies. If for some 0n there is a constant c such

that 0nn , 1 cnn

cn dd then the formulas ,..., 2,1 000 nnn are called hard

determinable.

Example 1. For the well-known tautologies

kjijnjnki

ij

n

j

n

in xxxPHP &&

1111

1

1

1n

presenting the Pigeonhole Principle, the determinative conjunct is, in particular, , 2111 xx , therefore

2nPHPd for all 1n , hence, nPHP is neither quasi-hard determinable nor hard determinable.

Example 2. The following tautologies are considered in [Aleksanyan, Chubaryan, 2009].

i

nn

ij

n

i

m

jEmn xTTM

11,,, &

1

, 121,1 nmn .

From the structure of mnTTM , it follows obviously that every mnTTM , -determinative conjunct contains at least

m literals. Let 12,

nnn TTM for all 1n . Then the formulas ,,, 543 are hard determinable

[Aleksanyan, Chubaryan, 2009].

The sequence of quasi-hard tautologies can be considered on the base of graphs.

Let us recall the definition of Tseitin graph formulas [Tseitin, 1968]. Let G be a connected and finite graph with

no loops and assume distinct literals are attached to its edges.

Definition 5. Graph is called marked if each vertex is marked by 0 or 1 and one assigned literal is chosen for each edge.

Let nxx ,,1 be distinct literals, 1,0 . ],,[ 1 nxx denotes a set of disjunctions that consists of literals

nxx ,,1 and satisfy the following conditions

1. For each i ni 1 either ix or ix belongs to the disjunction.

2. If is odd, then the number of negated literals is even and if is even, the number

of negated literals is odd.

Let G be a marked graph. Let us construct the set of ],,[ 1 nxx disjunctions for each vertex where is the

value assigned to the given vertex and nxx ,,1 are variables assigned to the incident edges. The set of

disjunctions constructed for all vertices of graph G is denoted by )(G and the sum of values assigned to

vertices of the graph by modulo 2 is denoted by G . In [Tseitin, 1968] it is proved that )(G is unsatisfiable

iff 1G .


344

It is obvious that if Tseitin graph formulas are constructed on the base of graphs, minimal degree of which is of the same order as the number of vertices, then such formulas are quasi-hard determinable but not hard determinable.

2.2 Proof complexity, polynomial simulation

In the theory of proof complexity the two main characteristics of the proof are: t complexity, defined as the

number of proof steps, and l complexity, defined as total number of proof symbols. Let be a proof system

and be a tautology. We denote by t (

l ) the minimal possible value of t complexity ( l complexity) for

all the proofs of tautology in .

Let 1 and 2 be two different proof systems. Following [Cook, Reckhow, 1979] we recall

Definition 6. 2 tp simulates ( lp simulates) 1 if there exists a polynomial ()p such that for

every formula derivable both in 1 and in 2 )( 12 tpt ( )( 12 lpl ).

Definition 7. The systems 1 and 2 are tp equivalent ( lp equivalent) iff 1 tp simulates (

lp simulates) 2 and 2 tp simulates ( lp simulates) 1 .

Definition 8. The system 2 has exponential t speed-up ( l speed-up) over the system 1 if there exists a

polynomial ()p and a sequence of such formulas n , provable both in 1 and in 2 , that 2

1 2

n

n

tpt (

21 2

n

n

lpl ).

3. Main systems

Let us recall the definitions of some proof systems of CPL which are not well-known.

3.1. Resolution over linear equations

Let us describe linR system following [Raz, Tzameret, 2008]. linR is an extension of well-known

resolution which operates with disjunction of linear equations with integer coefficients. A disjunction of linear equations is of the following form

)(0

)(1

)(1

)1(0

)1(1

)1(1 ......... t

nt

nt

nn axaxaaxaxa

where 0t and the coefficients )( j

ia are integers (for all ni 0 tj 1 ). We discard duplicate linear

equations from a disjunction of linear equations. Any CNF formula can be translated into a collection of

disjunctions of linear equations directly: every clause jJj

iIi

xx

(where I and J are sets of indices of

variables) involved in the CNF is translated into the disjunction 01 j

Jji

Iixx . For a clause D we

denote by D~

its translation into a disjunction of linear equations. It is easy to verify that any Boolean assignment

of the variables nxx ,,1 satisfies a clause D iff it satisfies D~

.

As we wish to deal with Boolean values, we augment the system with axioms, called Boolean axioms:

10 ii xx for all ni .


345

Axioms are not fixed: for any formula we obtain , then we obtain linR translation of CNF of .

We also add Boolean axioms for each variable.

Definition 9 linR . Let ,..., 1 mKKK be a collection of disjunctions of linear equations. An linR -

proof from K of a disjunction of linear equations D is a finite sequence lDD ,...,1 , of disjunctions of

linear equations such that DDl and for every li , either ji KD for some mj , or iD is a

Boolean axiom 10 hh xx for some nh , or iD was deduced by one of the following linR -

inference rules, using kj DD , for some ikj , .

Resolution. Let BA, be two disjunctions of linear equations (possibly the empty disjunctions) and let 21, LL

be two linear equations. From 1LA and 2LB it is derived 21 LLBA or 21 LLBA .

Weakening. From a disjunction of linear equations A derive LA , where L is an arbitrary linear equation over X .

Simplification. From kA 0 derive A , where A is a disjunction of linear equations and 0k .

An linR refutation of a collection of disjunctions of linear equations K is a proof of the empty disjunction from

K . Raz and Tzameret showed that linR is a sound and complete Cook-Reckhow refutation system for

unsatisfiable CNF formulas (translated into unsatisfiable collection of disjunctions of linear equations).

3.2. GCNF ' system Let us describe 'GCNF system following [Arai, 1996]. 'GCNF is a variant of cut-free Gentzen system

introduced by Gallier. It is also a refuting system. Here a clause is a set of literals, separated by commas. For

example, 321 ,, ppp means 321 ppp . A cedent is a finite set of clauses, expressed as a sequence of

clauses punctuated by commas. The meaning of a cedent is the conjunction of the clauses in the cedent. For

example, nCCC ,,, 21 means nCCC &&& 21 . We use capital Greek letters ,, for cedents.

The semantics of cedents implies that a cedent nCC ,,1 is false iff the formula nCC &&1 is valid.

The axioms are of the following form pp, . And there are two inference rules

Structural: ,

.

Logical (Log): llClC

lCC

k

k

,,,

,,,

1

1

, where l is an arbitrary literal, which is called auxiliary literal of this

inference rule.

'GCNF is a sound and complete system [Arai, 1996].

3.3. GCNF ' + permutation system 'GCNF permutation system is based on 'GCNF with one more inference rule [Arai, 1996].

Permutation (Perm): ))(,),((

),,(

1

1

m

m

pp

pp

, where is a permutation on mpp ,,1 and

))(,),(( 1 mpp is the result of replacing every occurrence of ip , mi 1 in ),,( 1 mpp by

)( ip .


346

4. Main results

Let us denote by nTsgf 2n the Tseitin graph formulas which are constructed on the base of complete n -

vertices graph, only one of vertices of which is marked with 1.

Theorem 1: 1. |)|(log2)()(

nlinR

TsgflinR

Tsgf Tsgfpltnn for some polynomial ()p .

2. |)|(log2'

nnpermutatioGCNF

Tsgf Tsgfptn

for some polynomial ()p and

|)(|'n

npermutatioGCNFTsgf Tsgfl

n .

Proof: 1. In order to prove the first part, let us recall two additional lemmas following [Raz, Tzameret, 2008].

Lemma 1: Let 1D be

ixxx nni

1211,0

and 2D be

ixxx nni

211,0

. Then

there exists an linR proof of 2D from 1D and nx with n steps.

Lemma 2: Let 1D be

ixxx nni

1211,0

and 2D be

ixxx nni

21,0

. Then there

exists an linR proof of 2D from 1D and 10 nn xx with 22 n steps.

Now we can consider complete marked n -vertices graph. For each vertex we have the following linR formula

iiii nxxx

121 , where i is the value assigned to the given vertex and

jix

2

11,1

nninj are variables assigned to the incident edges.

Using Resolution rule to linR formulas 1n times (or, summarizing those formulas), we obtain

12222

)1(21 nnxxx (1). On the other hand, for all the variables, we have the following axioms,

10 ii xx ,

2

1,1

nni . By Lemma 2, there is an linR proof of

ixxx nnnn

i 2

121

2

1,0

(2) from the axioms, and the number of proof steps is

4

1667222

23421

2

nnnni

nn

i

. Using Resolution rule

12

1

nn times, every time taking the

next linear equation of (2) as 21 LL , we obtain

ixxx nnnn

i

22222

121

2

1,0

(3). Now, let us

consider (1) and (3).

Using Resolution rule

12

1

nntimes and Simplification rule

1

2

1

nn times (by using Resolution rule,

we take (1) as 1L and the next linear equation of (3) as 2L ), we will cut-off all linear equations in (3) and obtain

the empty clause 10 .

The number of proof steps is


347

4

81321

2

11

2

11

2

1

4

166721

234234 nnnnnnnnnnnnnnn

.

Taking into consideration that 221 nn nnTsgf , we obtain |)|(log2

)(n

linRTsgf Tsgfpt

n .

The size of the proof of (1) is )( 3nO , the size of the proof of (2) is )( 8nO . The size of the proof of (3) is

)( 6nO . And, the size of deducing of the empty clause is )( 6nO . So, the size of the proof of the initial formula is

)( 8nO , hence, )|)|((log 82

)(n

linRTsgf TsgfOl

n .

1. In order to prove the point 2, let us at first demonstrate a proof of 4Tsgf in

'GCNF permutation system. The axioms for this case are indicated as (4).

Using 133221 ,, xxxxxx Permutation rule to (5), we obtain

133213321212 ,,,,, xxxxxxxxxxxx , (6).

Using 231231 ,, xxxxxx Permutation rule to (5), we obtain

211321132323 ,,,,, xxxxxxxxxxxx , (7).

Applying Logical inference rule to (5), (6), (7) and respectively to axioms 66 , xx , 44 , xx , 55 , xx , we obtain first

three lines of (4). The last line of (4) we can deduce as follows:

11, xx 33 , xx

,31 xx 31, xx

,31 xx ,, 31 xx ,31 xx 31, xx 22 , xx

Log

Perm

,31 xx ,31 xx ,21 xx ,32 xx ,, 31 xx 2x

,31 xx ,31 xx ,21 xx ,32 xx ,21 xx 32 xx (5)

Log

Log

3x

0

621 xxx 621 xxx 621 xxx 621 xxx

431 xxx 431 xxx 431 xxx 431 xxx

532 xxx 532 xxx 532 xxx 532 xxx

654 xxx 654 xxx 654 xxx 654 xxx

(4)

6x

2x

1x

4x

5x

0

0

1


348

For nTsgf we denote by it the derivation steps of first 1i lines (as above) of the axioms corresponding to

the complete graph with i vertices. It is not difficult to see that 43 t and

)1(221 nnntnt , hence, 2322

53n

nnnt

. The last line of the axioms

consists of such variables that do not exist in the 1n -vertices complete graph, that is, those variables are

assigned to the edges which are incident to the newly added vertex. Each clause consists of 1n literals and

22 n steps are needed to deduce the last line. So, the number of proof steps is

2362

13222

2

53n

nnn

nn

, then we obtain |)|(log2

'n

npermutatioGCNFTsgf Tsgfpt

n .

There are at most 221 nn literals in each step of the proof and the number of proof steps is at most 23n ,

hence |)(|'n

npermutatioGCNFTsgf TsgfOl

n . It is obvious that the lower bound is the same by order.

Theorem 2:

n

nnpermutatioGCNF n

nl

2log||

2

.

Proof. It is not difficult to see that CNF of

i

n

nn

ij

n

ijEn x

1

12

1,,&&

1

has at least 12 n

n conjuncts such

that neither these conjuncts nor any of their subset can be obtained from each other by Permutation rule (for

121 n and for 021 n ), therefore

nnnnnnpermutatioGCNF nnn

nnnl 2log)12(21212' 2)12()12(2)1221(2

. Taking into

consideration that nnnn )12(2 , we obtain the statement of the Theorem.

Now, let us recall some additional systems. 1. 'GCNF renaming system is based on 'GCNF with one more inference rule [Arai, 1996].

Renaming: qpqp

)(, where )( qp is obtained by replacing every occurrence of p by q in

. 2. 'GCNF restricted renaming system is based on 'GCNF with one more inference rule [Arai, 1996].

44 , xx 55 , xx

,54 xx ,54 xx 5x 44 , xx

,54 xx ,54 xx ,54 xx 54 xx 66 , xx

Log

,654 xxx ,654 xxx ,54 xx 54 xx 6x

,654 xxx ,654 xxx ,654 xxx 654 xxx

Log

Log

Log


349

Restricted renaming: qpqp

)(, where )( qp is obtained by replacing every occurrence of p

by a variable q which does not appear in .

3. We also use the well-known notions of F Frege, SF Substitution Frege and EF Extended Frege systems (see, for example, [Pudlak, 1998]).

Theorem 3: 1. F has exponential speed-up over the 'GCNF permutation.

2. F p simulates 'GCNF permutation.

Proof of point 1 follows from Theorem 2 and main result of [Aleksanyan, Chubaryan, 2009] where it is proved that

F proofs of tautology mnTTM , are l polynomially bounded.

Proof of point 2 follows from some results of [Arai, 1996], [Arai, 2000] and [Cook, Reckhow, 1979], in particular a) 'GCNF renaming lp simulates 'GCNF restricted renaming (it is obvious).

b) 'GCNF restricted renaming lp simulates 'GCNF permutation (see [Arai, 1996]). c) F lp simulates 'GCNF renaming iff F polynomially simulates EF (see [Arai, 1996]).

d) SF and EF are lp equivalent (see [Pudlak 1998]). e) F and SF are lp equivalent (see [Chubaryan, Nalbandyan, 2010]).

Bibliography [Cook, Reckhow, 1979] S. A. Cook, A. R. Reckhow, “The relative efficiency of propositional proof systems”, Journal of Symbolic Logic, vol. 44, pp. 36-50, 1979.

[Raz, Tzameret, 2008] Ran Raz, Iddo Tzameret, “Resolution over linear equations and multilinear proofs”, Ann. Pure Appl. Logic 155(3), pp. 194-224, 2008.

[Arai, 1996] N. H. Arai “Tractability of Cut-free Gentzen-type propositional calculus with permutation inference”, Theoretical Computer Science 170, pp. 129-144, 1996.

[Abajyan, 2011] A. A. Abajyan “Polynomial length proofs for some class of Tseitin formulas”, Proceeding of the Yerevan State University, 3, pp. 3-8, 2011.

[Aleksanyan, Chubaryan, 2009] S. R. Aleksanyan, A. A. Chubaryan “The polynomial bounds of proof complexity in Frege systems”, Siberian Mathematical Journal, vol. 50, 2, pp. 243-249, 2009.

[Tseitin, 1968] G. S. Tseitin “On the complexity of derivation in the propositional calculus”, (in Russian), Zap. Nauchn. Semin. LOMI. Leningrad: Nauka, vol. 8, pp. 234-259, 1968.

[Pudlak, 1998] P. Pudlak “Lengths of proofs” Handbook of proof theory, North-Holland, pp. 547-637, 1998.

[Arai, 2000] N. H. Arai “Tractability of Cut-free Gentzen-type propositional calculus with permutation inference II”, Theoretical Computer Science 243, pp. 185-197, 2000.

[Chubaryan, Nalbandyan, 2010] A. Chubaryan, H. Nalbandyan “Comparison of proof sizes in Frege systems and substitution Frege system”, International Journal “Information Theories and Applications”, vol. 17, 2, pp. 146-153, 2010.

Authors’ Information Ashot Abajyan – PhD Student of the Department of Informatics and Applied Mathematics, Yerevan State University, 1. A.Manoogyan, 0025 – Yerevan, Armenia; e-mail: [email protected]. Major Fields of Scientific Research: Mathematical Logic, Proof Theory, Proof complexity. Anahit Chubaryan – Doctor of sciences, full professor of the Department of Informatics and Applied Mathematics, Yerevan State University, 1. A.Manoogyan, 0025 – Yerevan, Armenia; e-mail: [email protected]. Major Fields of Scientific Research: Mathematical Logic, Proof Theory, Proof complexity.


350

A METHOD OF CONSTRUCTING PERMUTATION POLYNOMIALS OVER FINITE FIELDS

Melsik Kyureghyan, Sergey Abrahamyan

Abstract: In this paper we consider the problem of characterizing permutation polynomials of the shape ( ) =+ ( ) + ( ) + ( ) over the field ; that is, we seek conditions on the coefficients of a polynomial

which are necessary for it to represent a permutation.

Keywords: finite field, permutation polynomial, linear translator.

Introduction

Let be a power of a prime number and be the finite field of order ≥ 1. Recall that any mapping of a

finite field into itself is given by polynomial. A polynomial ( ) is called a permutation polynomial of if it induces a permutation on . These polynomials were first explored in the research of Betti [Betti,1851],

Mathieu and Hermite [Hermite 1863] as a way of representing permutations. A general theory was developed by Hermite [Hermite 1863] and Dickson [Dickson 1896], with many subsequent developments by Carlitz et.al. The construction of permutation polynomials over any finite fields is a challenging mathematical problem. Interest in permutation polynomials stems from both mathematical theory as well as practical applications such as cryptography. Recent papers [Betti,1851]- [Markos 2011] highlight a method of construction of permutation polynomials. The given article considers permutations of the form + ( ) + ( ) + ( ) over .

Preliminaries

Let’s start with recalling some definitions and basic results that will be helpful to derive our main result.

1.

Definition 1. Let : → and ∈ . We say that ∈ ∗ is a c linear structure of the function f if ( + ) − ( ) = for all ∈ .

Note that if is a -linear structure of , then necessarily = ( ) − (0). Definition 2. Define ( ) = ( )° ( ) composition of the mapping with .

2.

Proposition1. ([Kyureghyan G. 2011] Proposition1) Let , ∈ ∗ , + ≠ 0 and , , ∈ , ≠ 0. If

is an -linear translator and is a -linear translator of a mapping : → , then + is an ( + )-linear translator of and ∙ is a ( ∙ )-linear translator of . In particular, if Λ∗( )denotes the

set of all linear translators of , then Λ( ) = Λ∗( ) ∪ 0 is an -linear subspace of .

3.

Proposition 2([Kyureghyan G. 2011] theorem3) Let ∈ be a b-linear translator of : → and ≠ −1 then the inverce maping of the permutation ( ) = + ( ) is

4. F (x) = x − γ f(x).


351

5.

Proposition 3. ([Kyureghyan G. 2011] theorem8) Let ∈ be a -linear translator of : → .

(a) Then ( ) = + ( ) is a permutation of if ≠ −1.

(b) Then ( ) = + ( ) is a q-to1 mapping of if = −1.

6.

Proposition4. ([Kyureghyan G. 2011] theorem10) Let , ∈ . Suppose is a -linear translator of : → and a -linear translator of : → , and moreover is a -linear translator of and a

-linear translator of . Then ( ) = + ( ) + ( ) is a permutation of , if ≠ −1 and − ≠ −1, or by symmetry, if ≠ −1 and − ≠ −1.

Constructing Permutation

In this section we characterize permutation polynomials of the form ( ) = + ( ) + ( ) + ( ) Theorem1

Let ( ) = + ( ) + ( ) be a permutation polynomial in . Suppose γ is a b −linear

translator of f: F → F and a b −linear translator of g: F → F moreover δ is a d −linear

translator of f and a d −linear translator of g.

Then the inverse mapping of the permutation ( ) = + ( ) + ( ) is ( ) = − ( ) − ( )( ) ( ) − ( )( ) ( )

where A = (1 + d )(b + 1) − d b .

Proof

Consider ( )° − ( ) − ( )( + 1) − ( ) + 1 − ( )( + 1) − ( )= − ( ) − ( )( + 1) − ( ) + 1 − ( )( + 1) − ( )

+ − ( ) − ( )( + 1) − ( ) + 1 − ( )( + 1) − ( )

+ − ( ) − ( )( + 1) − ( ) + 1 − ( )( + 1) − ( )

Taking into account that, and respectively is a b and d linear translators of f: F → F and b , d

linear translators of : F → F we get ( )° ( )° ( ) = − ( )+ 1 − ( )( + 1) − ( )( + 1) · − ( )( + 1) − ( )

+ ( ) − ( )+ 1 + ( )( + 1) − ( )( + 1) − ( )( + 1) − ( )


352

+ ( ) − ( )+ 1 + ( )( + 1) − ( )( + 1) − ( )( + 1) − ( )

Composing similar members we have = + ( ) 1 − 1+ 1 − + 1 − ( )( + 1) − ( ) 1 − 1+ 1 − + 1 ( )( _1 + 1) − _2 ( ) + 1 − 1 − + + 1 =

Theorem2

Let γ, δ, τ, ϵF .Suppose γ, δ, τ, is a respectively b , d , c -linear translators of f: F → F and b , d , c

-linear translators ofg: F → F and b , d , c -linear translators of : F → F . Then ( ) = + ( ) + ( ) + ( ) is a permutation polynomial of if

1. ≠ −1, (1)

2. − ≠ −1 (2)

3. − − − ( )( ) ≠ −1 (3)

Proof

( ) = + ( )- is a permutation polynomial in by Proposition3 and condition(1).

We show that ( ) = + ( )( ) ( ) is also permutation polynomial.

For convenience denote ℎ( ) = ( )( ) ( ). ℎ( + ) = ( + ) − + 1 ( + ) = ( ) + d − + 1 ( ( ) + d ) =

= ℎ( ) + d − + 1

So, is a d − -linear translator of ℎ: → . As d − ≠ 0then according to proposition3 ( ) − is also permutation polynomial in F .

In accordance with proposition 2 H (x) = x − δ ( ) = x − δ ( )( )( ) = δ ( )( )

IT is easy to see that ( ) ( ) = − ( ) − ( )( ) ( ) − ( )( ) ( ):

Now we consider P(x) ( ) ( ) = ( + ( ) + ( )) − ( ) − ( )( ) ( ) − ( )( ) ( )(1) + − ( ) − ( )( + 1) − ( ) + 1 − ( )( + 1) − ( )


353

Since ≠ −1 and − ≠ −1 , so according to propopsition4 ( ) = + ( ) + ( ) is

permutation polynomial in F . So by theorem1 we can imply that (1) = ,and we have P(x) ( ) ( ) = = + ( ) − ( ) − ( )( + 1) − ( ) + 1 − ( )( + 1) − ( )

Denote ( ) − ( ) − ( )( ) ( ) − ( )( ) ( ) = ( ) . So P(x) ( ) ( ) = + ( ) We show that is a − − − ( )( ) linear translator of ( ) ∈→ . ( + ) = ( + ) − + 1 ( + ) + ℎ( + ) − ( + 1) ℎ( + ) =

( ) + − ( ( ) + ) + ℎ( ) + − − ( + 1) ℎ( ) + − + 1 = ( ) + − + 1 ( ) − + 1

+ ℎ( ) + − + 1 − ( + 1) ℎ( ) − ( + 1) − + 1

= ( ) + − + 1 −( + 1) − + 1 − − + 1 =

= ( ) + − + 1 − − + 1 − −(1 + d )(b + 1) − d b

In accordance proposition3 and (3) P(x) ( ) ( ) is a permutation polynomial in F . As ( ) and ( ) is also permutation polynomials in F ,then ( ) also will be a permutation polynomial in F .

Conclusion

In recent years in cryptography and coding theory permutations are applied very often. So it is important to propose new methods for generating permutation polynomials. Method for constructing permutation polynomials of the shape P(x) = x + γf(x) + δg(x) + τl(x) is given.

Bibliography

[Betti,1851] E. Betti, Sopra la risolubilit`a per radicali delle equazioni algebriche irriduttibili di grado primo, Annali di Scienze Matematiche e Fisiche 2 (1851), 5–19. (Opere Matematiche, v.1, 17–27)

[Charpin 2009]. P.Charpin, G. Kyureghyan, When does ( ) + ( ( )) permute ?, Finite Fields.

Appl15 (5) 2009 615-632

[Dickson 1896] L. E. Dickson, The analytic representation of substitutions on a power of a prime number of letters with a discussion of the linear group, Annals Math. 11 (1896-7), 65–120 and 161–183.

[Hermite 1863] Ch. Hermite, Sur les fonctions de sept lettres, C. R. Acad. Sci. Paris 57 (1863), 750–757.


354

[Kyureghyan G. 2011]. G. Kyureghyan, Constructing permutations of finite fields via linear translator, Journal of Combinatorial Theory 2011. P. 1052-1061

[Lidl,1987]. R. Lidl, H. Niederreiter, Finite Fields. Cambridge University Press 1987.

[Markos 2011]. J.Markos Specific permutation polynomials over finite fields Appl. 2011 V.17 p.105-112


Melsik Kyureghyan – Head of Data Coding Laboratory of Institute of Informatics and Automation problems of NAS of RA 1, P.Sevak St., Yerevan, 0014, Republic of Armenia

e-mail: [email protected]

Sergey Abrahamyan – Researcher; Data Coding Laboratory of Institute of Informatics and Automation problems of NAS of RA 1, P.Sevak St., Yerevan, 0014, Republic of Armenia

e-mail: [email protected]


355

ЛИНГВИСТИЧЕСКИЕ И ИНТЕЛЛЕКТУАЛЬНЫЕ ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА СИМУЛЯТОРА КОМПЬЮТЕРНЫХ СЕТЕЙ TRIADNS

Елена Замятина, Александр Миков, Роман Михеев

Abstract: В работе представлен симулятор компьютерных сетей TRIADNS. Широко используемая в настоящее время распределенная обработка информации, развитие Grid-технологий и облачных вычислений, позволяют говорить об актуальности проблемы, связанной с проектированием и моделированием компьютерных сетей. Проблема заключается в разработке программных средств имитационного моделирования, которые позволяют исследовать компьютерные сети, включающие множество узлов (и, следовательно, требующие больших временных затрат на моделирование). Кроме того, возникает необходимость в определении их топологических характеристик (диаметр, ширина бисекции и т.д.), исследовать трафик, изучить поведение устройств и отладить разрабатываемые протоколы компьютерной сети, в частности, исследовать работу алгоритмов маршрутизации, узнать, как будет выполняться тот или иной алгоритм при изменении сети и т.д. Таким образом, к симуляторам предъявляются требования, связанные с их эффективностью и гибкостью, т.е. симуляторы достаточно быстро должны находить решения, связанные с проектированием как аппаратной части компьютерных сетей, так и с проектированием их программного обеспечения, учитывая при этом особенности сетей различного типа (локальных, глобальных, корпоративных, беспроводных и т.д.). В работе представлены подходы, позволяющие решить эти проблемы (иерархическое трехслойное представление модели, использование онтологий и методов Data Mining).

Keywords: имитационное моделирование, компьютерные сети, онтологии, алгоритмы маршрутизации, Data Mining, параллельное имитационное моделирование.

ACM Classification Keywords: I.6 SIMULATION AND MODELING: I.6.8 Types of Simulation – Distributed : I.2 ARTIFICIAL INTELLIGENCE: I.2.5 Programming Languages and Software – Expert system tools and techniques.

Введение

Роль компьютерных сетей в настоящее время достаточно велика. Это и распределенная обработка информации (корпоративные информационные системы, Grid-технологии, облачные вычисления), это и социальные сети, без которых многие люди уже не представляют себе жизни.

Широкое распространение компьютерных сетей предъявляет требования к скорости и надежности передачи информации, к эффективной ее обработке. По этой причине возникает необходимость в исследовании трафика, в разработке и изучении новых протоколов, в разработке новой аппаратуры и исследовании алгоритмов работы новых устройств.

Поскольку аналитические методы не всегда возможно применить для исследования компьютерных сетей из-за сложности объекта исследования, а натурные эксперименты не дают возможность исследовать все аспекты проектируемой сети, разработчики прибегают к методам и программным средствам имитационного моделирования, а именно, к использованию симуляторов компьютерных сетей. В


356

настоящее время существует большое число программных средств такого рода [Salmon S., 2011]. Краткий обзор этих средств приведен ниже.

В связи со сложностью исследуемого объекта к симуляторам можно предъявить ряд требований:

– Оптимизация имитационного эксперимента по времени. Такая необходимость возникает при решении задач, требующих значительных вычислительных ресурсов, например, при моделировании крупномасштабных сетей (large-scale networks). Моделирование сетей, насчитывающих сотни, тысячи и десятки тысяч узлов, должно завершаться за приемлемое время [Миков, 2008; Liu, 2009]. А это возможно при использовании многопроцессорной или кластерной аппаратуры, на которой проводится имитационный эксперимент, и соответствующего программного обеспечения, реализующего параллельный алгоритм продвижения времени [Riley, 1999; Fujimoto, 2003; Замятина, 2011]. Здесь же возникает проблема равномерной загрузки узлов при выполнении имитационного эксперимента, надежности и отказоустойчивости симулятора, использующего несколько вычислительных узлов [Zheng, 2005; Миков, 2010]. В настоящее время появился и ещё один класс симуляторов, использующих высокопроизводительную аппаратуру, – это симуляторы, предназначенные для выполнения на графических процессорах [Djinevski, 2012].

– Совместное исследование аппаратуры и программного обеспечения компьютерных сетей. При проектировании компьютерных систем обычно рассматривают отдельно аппаратную их часть и программную часть. Однако наиболее адекватным решением было бы наличие программных средств как для проектирования и анализа аппаратуры, проектирования и анализа алгоритмов, управляющей этой аппаратурой, так и для совместного проектирования аппаратного и программного обеспечения [Hu, 2011]. При проектировании, к примеру, алгоритмов маршрутизации, возникает необходимость в анализе их работы при изменении топологии, т.е. в данном случае проектировщика интересуют топологические характеристики сети, которые влияют на коммуникационную сложность алгоритма, графовая модель сети, алгоритмы на графах (кратчайшее расстояние, например). В настоящее время наиболее востребованы динамические алгоритмы маршрутизации, которые реагируют на изменение характеристик компьютерной сети и адаптируются к новым условиям. Поэтому важно иметь возможность промоделировать поведение устройств и действия алгоритмов при изменении трафика, пропускной способности линий связи и других характеристик компьютерной сети, промоделировать работу устройств и управляющих ими алгоритмов при выполнении тех или иных событий.

– Адаптируемость программного обеспечения симуляторов к включению в имитационную модель новых устройств и новых алгоритмов, которые управляют их работой. Наиболее известные программные продукты для проектирования компьютерных сетей таковы: [OPNET, 2004] (проектирование локальных и глобальных сетей, многопроцессорных и распределенных вычислительных систем, возможность оценивать производительность проектируемой системы и т.д.); OMNeT++ [OMNeT++, 2005] (симулятор дискретных событий, позволяющий исследовать все уровни компьютерных сетей и подключать пользовательские модули), NS-2 [NS-2, 2004] и др. Каждый из продуктов действительно имеет характерные особенности. Одни средства рассчитаны на управление локальными сетями, а другие предназначены для администраторов территориально-распределенных сетей. Одни просто позволяют строить схемы сетей и обладают ограниченными возможностями моделирования, другие же способны производить сложный анализ глобальных сетей. Предлагаемые программные продукты не могут решить все задачи, поскольку одни направлены на решение задач анализа сетей, другие – на решение задач проектирования, одни исследуют только локальные сети, другие – сенсорные. Поскольку технологии работы с сетями развиваются очень быстро, быстро


357

сменяются типы сетей, то средство проектирования, анализа и моделирования компьютерных сетей должно быть адаптируемыми к этим изменениям.

При проектировании и разработке симулятора компьютерных сетей TriadNS авторы постарались учесть опыт различных разработок подобного рода. Симулятор построен на базе CAD Triad [Миков, 1995]. Идеи, заложенные в Triad, позволяют адаптироваться к быстрой смене технических средств за счет того, что Triad располагает:

– лингвистическими средствами программирования структурных особенностей и поведения проектируемого объекта;

– развитыми средствами подсистемы анализа, которые включают библиотеки стандартных информационных процедур и лингвистические средства для создания новых процедур, а, следовательно, и новых алгоритмов анализа.

Кроме того, эффективность симулятора обеспечивается распараллеливанием имитационного эксперимента и интеллектуальным анализом результатов моделирования (на основе методов Data Mining). Гибкость же достигается за счет использования онтологий, механизма доопределения моделей (поиск по семантическому типу или другим критериям в базе рутин тех процедур, которые определяют сценарий поведения того или иного устройства), интероперабельности (включение в модель в качестве подмодели компонента, разработанного в другой системе моделирования). Прежде всего, следует рассказать о том, как представлена имитационная модель в Triad, архитектуру симулятора и назначение каждой из его подсистем.

Представление имитационной модели в Triad.Net

В Triad принято трехуровневое представление имитационной модели: M = (STR, ROUT, MES), где STR – слой структур, ROUT – слой рутин, MES – слой сообщений.

Слой структур представляет собой совокупность объектов, взаимодействующих друг с другом посредством посылки сообщений. Каждый объект имеет полюсы (входные и выходные), которые служат соответственно для приёма и передачи сообщений. Основа представления слоя структур – графы. В качестве вершин графа следует рассматривать отдельные объекты (концентраторы, маршрутизаторы, серверы, рабочие станции, например). Дуги графа определяют связи между объектами. Имитационная модель имеет иерархическое представление. Отдельные объекты, представляющие вершины графа, могут быть расшифрованы подграфом более низкого уровня и т.д.

Объекты действуют по определённому сценарию, который описывают с помощью рутины. Рутина представляет собой последовательность событий ei, планирующих друг друга (E – множество событий; множество событий рутины является частично упорядоченным в модельном времени). Выполнение события сопровождается изменением состояния объекта. Состояние объекта определяется значениями переменных рутины. Таким образом, система имитации является событийно-ориентированной. Рутина так же, как и объект, имеет входные и выходные полюса. Входные полюса служат соответственно для приёма сообщений, выходные полюса – для их передачи. В множестве событий рутины выделено входное событие ein. Все сообщения, которые поступают на входные полюса рутины, обрабатываются входным событием. Обработка сообщений, которые генерируются на выходных полюсах рутины, осуществляется обычными событиями рутины. Для передачи сообщения служит специальный оператор out (out <cообщение> through <имя полюса>). Совокупность рутин определяет слой рутин ROUT.

Слой сообщений (MES) предназначен для описания сообщений сложной структуры.


358

Система Triad реализована таким образом, что пользователю необязательно описывать все слои. Так, если возникает необходимость в исследовании структурных особенностей модели, то можно описать только слой структур.

Ниже приведен пример описания структуры компьютерной сети (рис. 1), состоящей из сервера и нескольких клиентов (в слое структур).

Structure КлиентСервер[ integer числоКлиентов ] def

КлиентСервер := node Сервер<ПРИЕМ,ВЫДАЧА> + node Клиент[ 0 : числоКлиентов - 1 ] <ПРИЕМ,ВЫДАЧА>;

integer i;

for i := 0 by 1 to числоКлиентов - 1 do

КлиентСервер := КлиентСервер + arc ( Клиент[ i ].ВЫДАЧА -- Сервер.ПРИЕМ ) +

arc ( Сервер.ВЫДАЧА -- Клиент[ i ].ПРИЕМ );

endf;

endstr

Рис.1. Слой структур с описанием структуры компьютерной сети «Клиент-сервер»

Следует обратить внимание, что слой структур представляет собой параметризованную процедуру. В Triad модель рассматривается как переменная. Она может быть построена с помощью операций над моделью.

На рис.1. представлена структура сети «КлиентСервер», которая строится в виде вершины «Сервер» и присоединенным к ней массивом вершин «Клиент». Связи между вершинами устанавливаются в цикле for с помощью дуг, при этом указываются входные и выходные полюса (arc (Сервер.ВЫДАЧА -- Клиент[ I ].ПРИЕМ )).

Сценарий работы клиента описывают с помощью рутины, текст которой приведён ниже (рис. 2).

routine Клиент( input ПРИЕМ; output ВЫДАЧА )[ real deltaT ]

initial boolean запросПослан;

запросПослан := false; schedule ЗАПРОС in 0; Print "Инциализация клиента"; endi

event ЗАПРОС;

out "Запрос на обслуживание" through ВЫДАЧА;

Print "Клиент послал запрос серверу";

schedule ЗАПРОС in deltaT;

ende endrout

Рис.2. Рутина «Клиент»

Рутина также представляет собой параметризованную процедуру, которая наряду с параметрами интерфейса (входные и выходные полюса рутины «Прием» и «Выдача»), включает формальные параметры deltaT – временной интервал между запросами Клиента к Серверу.

Экземпляры рутин формируются оператором let Клиент( clientDeltaT ) be клиент , а наложение рутины на соответствующую вершину графа выполняется оператором put клиент on Модель.Клиент[ i ] <ПРИЕМ=ПРИЕМ, ВЫДАЧА=ВЫДАЧА>. При этом входные и выходные полюса рутины сопоставляются с входными и выходными полюсами вершины.


359

Ниже приведено описание слоя структур модели (рис. 3, 4), которая представляет собой фрагмент компьютерной сети, состоящей из рабочих станций, передающих сообщения друг другу, и маршрутизаторов, отвечающих за нахождение пути передачи данных.

Рис.3. Графическое представление компьютерной сети «Маршрутизаторы», состоящей из

маршрутизаторов и рабочих станций

Type Router,Host; integer i;

M:=dcycle (Rout[5]<Pol>[5]);

M:=M+node (Hst[11]<Pol>);

for i:=1 by 1 to 5 do

M.Rout[i]=>Router;

M:=M+edge(Rout[i].Pol[1] — Hst[i]);

endf

for i:=1 by 1 to 3 do

M:=M+edge(Rout[i].Pol[2] — Hst[2*i-1]);

endf;

for i:=0 by 1 to11 do

M.Hst[i]=>Host;

endf;

Рис.4. Описание структуры компьютерной сети «Маршрутизаторы» на языке Triad

При построении модели на рис.3. используют графовые константы, которые соответствуют основным топологиям компьютерных сетей. В приведенном выше описании модели использовали графовую константу «ориентированный цикл» (dcycle). Кроме того, в приведенном выше примере были использованы «семантические» типы (Type Router, Host). В данном случае, это семантические типы «маршрутизатор», и «хост». Семантические типы используют для того, чтобы можно было доопределить модель с помощью рутины, извлеченной из библиотеки экземпляров рутин.


360

В слое структур определены стандартные процедуры, с помощью которых можно определить множество вершин графа, множество ребер, дуг и т.д., найти кратчайшее расстояние между двумя вершинами, компоненты связности GetStronglyConnectedComponents(G), выделение слоя из структур модели GetGraphWithoutRoutines(M).

Кроме того, пользователь располагает лингвистическими и программными средствами, которые дают возможность написать недостающие для исследования процедуры самостоятельно.

Исследование модели на уровне структур является статическим. Итак, после того, как произошло наложение рутин на вершины структуры модели, можно проводить моделирование. Алгоритмом имитации будем называть совокупность объектов, функционирующих по определённым сценариям, и синхронизирующий их алгоритм. Запуск модели осуществляется оператором simulate. Он имеет вид:

Simulate <список моделей> on condition of simulation <имя условия моделирования>(<настроечные параметры>) (<параметры интерфейса>) (<список информационных процедур>; <последовательность операторов> )

Алгоритм исследования

Для сбора, обработки и анализа имитационных моделей в системе Triad.Net существуют специальные объекты – информационные процедуры и условия моделирования. Информационные процедуры и условия моделирования реализуют алгоритм исследования модели. Информационные процедуры ведут наблюдение за элементами модели (событиями, переменными, входными и выходными полюсами), указанными пользователем. Если в какой-либо момент времени имитационного эксперимента пользователь решит, что следует установить наблюдение за другими элементами или выполнять иную обработку собираемой информации, он может сделать соответствующие указания, подключив к модели другой набор информационных процедур. Условия моделирования анализируют результат работы информационных процедур и определяют, выполнены ли условия завершения моделирования. Кроме того, именно условия моделирования позволяют выполнить операции над моделью в рамках одного сеанса моделирования.

В системе TriadNS для анализа функционирования компьютерной сети можно использовать стандартные и пользовательские информационные процедуры. Пользовательские информационные процедуры описывают на языке Triad. Для каждого элемента сети можно указать список необходимых информационных процедур, которые будут вести наблюдение во время моделирования за переменными, событиями и полюсами элемента.

Система TriadNS предоставляет также лингвистические средства для создания условий моделирования, в которых можно описывать оригинальные алгоритмы сбора статистики и алгоритмы преобразования модели в динамике. Для удобного и оперативного представления имитационной модели компьютерной сети, отладки моделей, анализа результатов моделирования, проведения распределенных экспериментов разработаны специальные программные компоненты, описанные ниже.

Компоненты Triad.Net и их назначение

СИМ TriadNNS включает следующие компоненты: компилятор, ядро, графический редактор, подсистему отладки, подсистему валидации, подсистему синхронизации распределенных объектов модели, подсистему балансировки (распределенная версия), подсистему организации удаленного доступа,


361

подсистему защиты от внешних и внутренних угроз, подсистему автоматического доопределения модели. Назначение каждого из компонентов представлено ниже:

– TriadCompile (компилятор языка Triad, переводит описание имитационной модели с языка Triad во внутреннее представление);

– TriadDebugger (отладчик, использует механизм информационных процедур алгоритма исследования, локализует ошибки и вырабатывает рекомендации для их устранения на основании правил из базы данных, для каждого класса ошибок осуществляется поиск по онтологии соответствующего обработчика ошибок);

– TriadCore (ядро системы, включает библиотеки классов основных элементов модели),

– TriadEditor (редактор моделей, предназначен для работы с моделью как в удаленном, так и локальном режимах, локальный режим предполагает работу с системой в том случае, если нет удаленного доступа),

– TriadSecurity (подсистема безопасности, этот компонент используют при удаленном доступе к системе моделрования),

– TriadBuilder (подсистема автоматического доопределения частично описанной модели), база данных, где хранятся экземпляры элементов модели,

– TriadMining (набор процедур для исследования результатов модели методами DataMining),

– TriadBalance (подсистема балансировки),

– TriadRule – алгоритм синхронизации объектов распределенной модели, использующей для вычислительного эксперимента ресурсы нескольких вычислительных узлов.

Далее более подробно опишем компоненты, которые придают разработанным программным средствам определенную гибкость, позволяя добавлять новые объекты, доопределять модели, выполнять интеллектуальный анализ результатов моделирования.

Представление знаний

Для настройки на конкретную предметную область в Triad используют онтологии.

Онтологии используются на различных этапах моделирования [Benjamin, 2005, Benjamin, 2006]. В основном, на этапе сборки общей модели из отдельно разрабатываемых, переиспользуемых компонентов, в качестве источника информации о внутреннем устройстве этих компонентов и о возможных взаимосвязях между ними. При использовании более ранних подходов к объединению разнородных компонентов, приходилось создавать некоторый общий шаблон представления компонентами информации о себе, отдельно для каждого случая, а после этого ещё и дорабатывать компоненты, чтобы обеспечить их соответствие этому шаблону. При использовании онтологий достаточно один раз построить онтологию, описывающую компонент, после чего её можно переиспользовать в любом количестве моделей. Основное отличие представления знаний в виде онтологий заключается в том, что онтологии не нуждаются к приведению к общему словарю терминов и понятий. Достаточно определить несколько отношений синонимии терминов, чтобы новая онтология могла использоваться наравне с уже существующими, без её переработки, даже если она создавалась совершенно другими людьми с использованием другой терминологии. При этом работу по объединению и приведению форматов данных при обмене информацией между компонентами, берёт на себя среда моделирования.

Использование онтологий позволяет так же создавать репозитории компонентов, в которых будет храниться не только информация о предназначении и интерфейсе компонента, но и информация о связях между отдельными компонентами.


362

В Triad разработана базовая онтология. Основу ее составляют следующие классы: TriadEntity (любая логическая сущность языка Triad, имеющая имя), Model (имитационная модель), ModelElement (составная часть имитационной модели, а также все, чем может быть специализирована вершина структуры имитационной модели), Routine (рутина), Message (сообщение) и т.д.

Основными свойствами в базовой онтологии являются следующие свойства:

– Свойства владения чем-либо: модель имеет структуру, структура имеет вершину, вершина имеет полюс и т.д.

– Свойства принадлежности к чему-либо – inverse properties по отношению к соответствующим свойствам владения – структура принадлежит модели, вершина принадлежит структуре, полюс принадлежит вершине и т.д.

– Свойства, связывающие полюс с присоединенной к нему дугой: connectsWithArc (Pole, Arc), connectsWithPole (Arc, Pole).

– Свойство, связывающее вершину с наложенной на неё рутиной putsOn (Routine, Node).

– Свойства, связывающие вершину с расшифровывающей её структурой: explicatesNode (Structure, Node), explicatedByStructure (Node, Structure).

– Свойство, связывающее модель с условием моделирования modelingToCondition (Model, ModelingCondition).

Онтология системы TriadNS дополняет базовую онтологию. Введены специализированные для области компьютерных сетей подклассы основных классов базовой онтологии (см. рис.5):

Рис. 5. Иерархия классов онтологии

– ComputerNetworkModel (модель компьютерной сети), ComputerNetworkStructure (структура модели компьютерной сети),


363

– ComputerNetworkNode (элемент компьютерной сети, изначально содержит подклассы WorkStation, Server, Router),

– ComputerNetworkRoutine (рутина элемента компьютерной сети) и т.д.

В онтологии есть два специальных свойства для полюса, которые используются при проверке возможности наложения рутины на элемент сети:

– isRequired(ComputerNetworkRoutinePole, Boolean) – обязательно ли полюс должен быть соединен с другим полюсом

– canConnectedWith(ComputerNetworkRoutinePole, ComputerNetworkRoutine) – определяет семантический тип элемента, с которым полюс можно соединить.

Имитационная модель компьютерной сети может быть представлена графически или описана на языке Triad (входной язык CAD TriadNS). Рассмотрим более подробно особенности работы с графическим интерфейсом.

Графический интерфейс

Графический редактор позволяет оперативно проектировать компьютерные сети. Структуру сети формируют путем перемещения пиктограмм из панели элементов, обозначающих конкретные элементы сети, в рабочую область, затем добавляют связи между ними.

Как уже говорилось ранее, имитационная модель имеет графовое представление. Элементы сети являются вершинами этого графа. Элементы сети загружаются из онтологии предметной области (подклассы класса ComputerNetworkNode, изначально он содержит 3 подкласса: «Рабочая станция», «Сервер», «Маршрутизатор»). Пользователь может также добавлять собственные элементы с помощью диалоговых окон системы, для этого нужно указать имя элемента, описание, суперкласс, изображение.

Помимо элементов, загруженных из онтологии, на панели элементов есть специальный «Пользовательский элемент». Данный элемент обозначается знаком вопроса, но после добавления на рабочую область можно поменять его изображение. Он позволяет описывать поведение элемента на языке Triad, не добавляя его в библиотеку стандартных элементов. Его удобно использовать в том случае, когда это поведение не придется повторно использовать.

После перемещения элементов на рабочую область они имею только определенный семантический тип («Маршрутизатор», «Рабочая станция» и т.д.), поведение у этих элементов не определено. Поведение элементу можно задать через контекстное меню, все возможные сценарии поведения определяются из онтологии, где располагаются все экземпляры рутин данного семантического типа. Каждая из рутин имеет некоторое количество параметров, которые пользователь может изменять после наложения рутины на элемент. Если у некоторых элементов поведение не задано, то перед началом моделирования система предложит доопределить их поведение автоматически (о доопределении модели чуть ниже).

Рис. 6. Выбор поведения для элемента


364

Каждому элементу можно добавлять произвольное количество сценариев поведения, описав его на языке Triad. Нужно будет указать необходимость соединения каждого полюса и семантический тип возможного соседа, значения по умолчанию для указанных в рутине параметров, примечание - по желанию. Так, например, у стандартной рутины маршрутизатора полюса могут соединяться с рабочей станцией или другим маршрутизатором. Вся перечисленная выше информация и местоположение созданной сборки добавляется в онтологию, в онтологии размещается подкласс класса соответствующего семантического типа и индивид, описывающий созданную рутину.

Если поведение хотя бы одного элемента определено и у него больше одного полюса, то при соединении его с другим элементом необходимо указать свободный полюс для соединения. Способ соединения полюсов можно менять.

При этом элементы программно добавляются в онтологию с использованием библиотеки OWL API, описав их на языке Triad и добавив в онтологию. При добавлении рутины следует указать необходимость соединения каждого полюса рутины и семантический тип возможного соседа, значения по умолчанию для указанных в рутине параметров.

Доопределение имитационной модели

В TriadNS возможно автоматическое доопределение имитационной модели. Автоматическое доопределение модели выполняется компонентом TriadBuilding с использованием онтологий. Доопределение предусматривает сопоставление элементов компьютерной сети с соответствующими рутинами из онтологий. Для поиска нужной рутины используют семантические типы. Семантический тип – это специальное понятие, которое используется в процессе автоматического доопределения модели. Семантический тип используется, чтобы сгруппировать ряд объектов предметной области моделирования по смысловому, структурному, поведенческому признакам.

Для определения рутины, которую требуется наложить на недоопределённую вершину, используется база знаний экземпляров рутин, представленная в виде онтологий. В этой базе знаний описываются семантические типы рутин, отношения наследования между ними, множества соответствующих этим типам экземпляров рутин, и семантическая информация, необходимая для проверки условий доопределения. Существуют следующие три условия доопределения терминальной вершины экземпляром рутины: условие специализации (совпадение семанитческих типов рутины и вершины), условие конфигурации (совпадение количества входных и выходных полюсов рутин и вершины), условие декомпозиции (проверка совместимости рутины и вершины по графу окружения).

Доопределение выполняется автоматически без участия исследователя. Доопределяются элементы компьютерной сети, для которых пользователь не указал точного сценария поведения. Автоматическое доопределение целесообразно использовать на ранних стадиях моделирования при «грубом» первоначальном описании модели. Тем не менее, исследователь может получить представление о функционировании модели, сделать соответствующие выводы, принять решение о ходе дальнейших исследований и о необходимых экспериментах. Более подробно о доопределении имитационной модели было написано в [Mikov, 2007].

Интеллектуальный анализ результатов моделирования

В результате имитационного эксперимента пользователь получает информацию о характеристиках исследуемого объекта. Существуют различные способы сбора и обработки статистики, чаще всего это стандартная информация, которую получают по окончании имитационного эксперимента. Эта


365

информация чаще всего характеризуются своей избыточностью и недостаточностью. В симуляторе TriadNS для сбора и обработки статистики реализован механизм информационных процедур, который в отличие от многих других систем имитационного моделирования позволяет собирать именно ту статистику, в которой нуждается исследователь (сбор информации по сформированному запросу). Ранее уже упоминалось о наличии библиотеки стандартных информационных процедур, кроме того, исследователь имеет возможность создать оригинальную процедуру сбора статистики, воспользовавшись лингвистическими средствами языка Triad.

Существует еще одна проблема обработки полученной статистики. Дело в том, что анализ полученной в результате имитационного эксперимента информации является трудоемким и зачастую требует высокой квалификации аналитика.

Считается, что эти два фактора существенно снижают популярность моделирования, и делают их фактически недоступными для массового пользователя. В последнее время появились работы [Naumann, 2010], которые предлагают структурировать полученные результаты моделирования. В других работах [Вrady, 2005] предлагался новый способ формирования выходных данных имитационного моделирования. Вместо обычного для моделирующих систем отчета, содержащего различные статистические данные, предлагалось применить методы Data Mining для анализа полученных данных. После обработки стандартного отчета получают зависимости между входными данными. Анализ этих зависимостей позволяет сократить общий объем данных, которые приходится анализировать, а информативность отчета повышается. Выявление зависимостей между данными позволяет сократить размерность задачи и тем самым оптимизировать имитационный эксперимент.

Для обработки результирующей информации по окончании имитационного эксперимента в TriadNS используют средства Data Mining (компонент TriadMining). Инструментальные средства TriadMining включают средства регрессионного анализа, временные ряды, баейсовские сети, сиквенциальный анализ и т.д. Известно, что информационные процедуры следят за изменением локальных переменных рутины, за сигналами, посылаемыми и получаемыми объектами модели и за событиями, происходящими в модели. Таким образом, с помощью информационных процедур можно проследить за последовательностью интересующих событий, определив их в качестве фактических параметров информационной процедуры. Известно, что информация о последовательности событий может быть использована для выявления аварий в узлах телекоммуникационных систем [Барсегян, 2009]. Поскольку информационная процедура активизируется при изменении значения локальной переменной рутин, то может быть сформирован временной ряд, содержащий информацию об изменении некоторой переменной во времени. Анализируя схожесть временных рядов, выявляют зависимости между элементами модели, а это позволит сократить объем исследуемых данных [Замятина, 2011].

Заключение

Итак, в работе рассматриваются вопросы применения онтологического подхода для настройки на предметную область. Использование онтологий позволило достаточно просто реализовать инструментальные средства моделирования и проектирования компьютерной сети TriadNS, используя в качестве основы CAD Triad. Симулятор TriadNS оснащен удобным графическим интерфейсом. Симулятор позволяет моделировать как аппаратное обеспечение компьютерных сетей, так и алгоритмы, управляющие устройствами компьютерных сетей. Еще одной отличительной особенностью симулятора является возможность проведения распределенного имитационного эксперимента. Использование методов Data Mining позволяет сделать анализ полученной в результате имитационного эксперимента информации менее трудоемкой, а использование онтологий – автоматизировать процесс построения


366

модели, ее отладки и добиться интероперабельности программных средств моделирования (переиспользования компонентов, разработанных в других системах моделирования).

Библиографический список

[Salmon, 2011] Salmon S, ElAarag H/ Simulation Based Experiments Using Ednas: The Event-Driven Network Аrchitecture Simulator. In Proceedings of the 2011 Winter Simulation Conference S. Jain, R.R. Creasey, J. Himmelspach, K.P. White, and M. Fu, eds.. The 2011 Winter Simulation Conference 11-14 December 2011 Grand Arizona Resort Phoenix, AZ, pp. 3266-3277.

[Liu, 2009], Liu Y., He Y. A Large-Scale Real-Time Network Simulation Study Using Prime. M. D. Rossetti, R. R. Hill, B. Johansson, A. Dunkin, and R. G. Ingalls, eds. The 2009 Winter Simulation Conference 13-16 December 2009. Hilton Austin Hotel, Austin, TX, pp. 797-806.

[Fujimoto, 2003] Fujimoto R.M. Distributed Simulation Systems. In Proceedings of the 2003 Winter Simulation Conference S. Chick, P. J. Sánchez, D. Ferrin, and D. J. Morrice, eds. The 2003 Winter Simulation Conference 7-10 December 2003. The Fairmont New Orleans, New Orleans, LA, pp. 124-134

[Wilson, 1998] Wilson L. F., Shen W. Experiments in load migration and dynamic load balancing in Speedes // Proc. of the Winter simulation conf. / Ed. by D. J. Medeiros, E. F.Watson, J. S. Carson, M. S. Manivannan.

Piscataway (New Jersey): Inst. of Electric. and Electron. Engrs, 1998. P. 487–490.

[Zheng, 2005] Zheng G. Achieving high performance on extremely large parallel machines: Performance prediction and load balancing: Ph.D. Thesis. Department Comput. Sci., Univ. of Illinois at Urbana-Champaign, 2005. 165 p. [Electron. resource]. http://charm.cs.uiuc.edu/.

[Миков, 2008] Миков А.И., Замятина Е.Б. Технология имитационного моделирования больших систем // Труды Всероссийской научной конференции «Научный сервис в сети Интернет» – М.: Изд-во МГУ, 2008. С.199-204.

[Mikov, 1995] Mikov A.I. Simulation and Design of Hardware and Software with Triad// Proc.2nd Intl.Conf. on Electronic Hardware Description Languages, Las Vegas, USA, 1995. pp. 15-20.

[Замятина, 2011] Замятина Е., Ермаков С. Алгоритм синхронизации объектов распределенной имитационной модели в TRIAD.Net. Applicable Information Models. ITHEA, Sofia, Bulgaria, 2011, ISBN: 978-954-16-0050-4, стр.211-220.

[Djinevski, 2012] Djinevski L., Filiposka S, Trajanov D.Network Simulator Tools and GPU Parallel Systems. In Proceedings of Small Systems Simulation Symposium 2012, Niš, Serbia, 12th-14th February 2012, pp.111-114

[Riley,1999] Riley G., Fujimoto R.M., Ammar, M., A Generic Framework for Parallelization of Network Simulations”, in Proc. 7th Int.Symposium on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems, 1999, p. 128-135.

[Hu, 2007] Hu W., Sarjoughian H.S. A Co-Design Modeling Approach For Computer Network Systems. . In Proceedings of the 2007 Winter Simulation Conference S. G. Henderson, B. Biller, M.-H. Hsieh, J. Shortle, J. D. Tew, and R. R. Barton, eds. The 2007 Winter Simulation Conference 9-12 December 2007 J.W. Marriott Hotel, Washington, D.C., pp. 124-134

[Замятина, 2011] Замятина Е.Б., Колеватов Г.А., Миков А.И. Использование методов Data Mining при проектировании компьютерных сетей в CAD TRIADNS. Знания-Онтологии-Теории. 3-5 октября 2011, (ЗОНТ-2011). Материалы Всероссийской конференции с международным участием. Институт математики им. С.Л.Соболева СО РАН Новосибирск, Т.1., стр.146-154.


367

[Миков, 2010] Миков А.И., Замятина Е.Б., Козлов А.А. Мультиагентный подход к решению проблемы равномерного распределения вычислительной нагрузки. Natural and Artificial Intelligence, ITHEA, Sofia, Bulgaria, 2010, pp.173-180.

[Neumann G.,2010] Neumann G, Tolujew J, From Tracefile Analysis to Understanding the Message of Simulation Results, proceeding of the 7th EUROSIM Congress on Modeling and Simulation, Prague, Czechia, 2010, 7 pp.

[Brady, 2005] Brady T., Yellig E., Simulation Data Mining: a new form of simulation output, 37th Winter Simulation Conference, Orlando, USA, 2005, pp 285-289.

[Замятина, 2010] Замятина Е.Б., Михеев Р.А. Использование мультиагентного подхода и онтологий для моделирования компьютерных сетей //Материалы Четвертой международной научно-технической конференции «Инфокоммуникационные технологии в науке, производстве и образовании (Инфоком-4)» 28-30 июня 2010, Ставрополь, стр. 175-180.

[NS-2, 2004] The Network Simulator - NS-2. Доступно на сайте: http://www.isi.edu/nsnam/ns [Проверено 21 марта 2012]

[OPNET, 2004] OPNET Modeler. Доступно на сайте: <http://www.opnet.com> [Проверено: 21 марта 2012]

[OMNeT++, 2005] OMNeT++ Community Site. Доступно на сайте: http://www.omnetpp.org. [Проверено: 21 марта 2012]

[Benjamin,2005] Benjamin P., Akella K.V., Malek K., Fernandes R. An Ontology-Driven Framework for Process-Oriented Applications // Proceedings of the 2005 Winter Simulation Conference / M. E. Kuhl, N. M. Steiger, F. B. Armstrong, and J. A. Joines, eds.,– pp 2355-2363

[Benjamin, 2006] Benjamin P.,Patki M., Mayer R. J. Using Ontologies For Simulation Modeling // Proceedings of the 2006 Winter Simulation Conference/ L. F. Perrone, F. P. Wieland, J. Liu, B. G. Lawson, D. M. Nicol, and R. M. Fujimoto, eds. –pp.1161-1167

[Mikov, 2007] Mikov A., Zamyatina E., Kubrak E.Implementation of simulation process under incomplete knowledge using domain ontology. In proceedings of 6-th EUROSIM Congress on modeling and Simulation. 9-14, September, 2007, Ljubljana, Slovenia, Vol.2. Full papers, 7 pp.

[Барсегян, 2009] Барсегян А.А. Анализ данных и процессов: учеб.пособие /А.А.Барсегян, М.С.Куприянов, И.И.Холод, М.Д.Тесс, С.И.Елизаров.-Спб.:БХВ-Петербург,2009.-512с.

Информация об авторах

Елена Замятина – Пермский государственный национальный исследовательский университет, РФ, Пермь, 614990, Букирева,15; e-mail: [email protected]

доцент: имитационное моделирование, искусственный интеллект, распределенное моделирование

Александр Миков – Кубанский государственный университет, г. Краснодар, ул. Ставропольская, 149 e-mail: [email protected]

заведующий кафедрой вычислительных и информационных технологий: информационные системы, имитационное моделирование, искусственный интеллект

Роман Михеев – Пермский государственный национальный исследовательский университет, РФ, Пермь, 614990, Букирева,15; e-mail: [email protected]

магистр: имитационное моделирование, искусственный интеллект, онтологии


368

РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ АНАЛИЗА ИННОВАЦИОННЫХ ПРОЦЕССОВ ПОЯВЛЕНИЯ, ОТБОРА И РЕАЛИЗАЦИИ ИДЕЙ И ПРОЕКТОВ

НА ОСНОВЕ АГЕНТ-ОРИЕНТИРОВАННОГО ПОДХОДА

Анатолий Селянинов, Наталья Фролова

Abstract: В статье представлены результаты разработки агент-ориентированной модели инновационного процесса появления, отбора и реализации инновационных проектов. Инновационная система является сложной слабоструктурированной социально-экономической системой, являющейся результатом взаимодействия целенаправленных элементов и обладающей множеством явных и неявных прямых и обратных связей. Для построения правдоподобной социально-экономической модели и повышения эффективности управления инновационной системой возникает необходимость полноценного учета особенностей инновационных процессов, что стимулирует искать новые способы моделирования экономической реальности Предложенный агент-ориентированный подход к моделированию и исследованию проблем инновационного развития позволяет получать как качественные, так и количественные оценки эффекта воздействия на инновационную систему. Для оценки эффективности взаимодействия агентов в модели созданы параметры profit (абсолютная величина чистых выгод) и efficiency (отношение полезных конечных результатов её функционирования к затраченным ресурсам), а также использованы функций сбора статистики, например, в ходе анализа изменения числа инновационных продуктов, реализуемых на рынке. Качественные оценки могут базироваться, например, на анализе причин скопления инновационных идей на некоторой стадии отбора. В статье определены основные этапы, а также некоторые математические аспекты построения агент-ориентированной модели инновационной системы. Приведено концептуальное описание механизма работы модели. Инновационная система в разработанной модели рассматривается в качестве «инновационной воронки», то есть основное внимание уделяется процессам отбора и преобразования идей в конечный продукт, появления и выбытия этих идей на различных стадиях инновационного процесса. В качестве экономических агентов в модели рассматриваются технологические брокеры, авторы инновационных разработок, инвесторы и правительство. Все экономические агенты, за исключением правительства, являются реплицированными, что позволяет регулировать их количество при помощи параметров, добавлять и удалять агентов во время симуляций, управляя классами агентов. В процессе разработки агент-ориентированной модели инновационной системы рассматривались четыре взаимосвязанных уровня экономической реальности: реальная инновационная система; агент-ориентированный уровень инновационной системы; логико-математический уровень инновационной системы; виртуальная реальность, в которой осуществляются целенаправленные вычислительные эксперименты. Созданная компьютерная модель позволяет проводить эксперименты типа «Что будет, если…» и, в конечном счете, уменьшить риск принятия неверного управленческого решения. Keywords: агент-ориентированное моделирование; инновации; инновационная воронка; имитационное моделирование; моделирование сложных систем. ACM Classification Keywords: H. Information Systems: H.4 Information Systems Applications: H.4.2 Types of Systems – Decision support (e.g., MIS).

Введение Моделирование инновационной системы, как совокупности субъектов и объектов инновационной деятельности, взаимодействующих в процессе создания и реализации инновационной продукции и осуществляющих свою деятельность в рамках проводимой государством инновационной политики, является слабо структурированной проблемой: на процессы в инновационной системе влияет множество факторов, как управляемых, так и неуправляемых.


369

Разрабатывая модели инновационных систем, необходимо учитывать влияние системообразующих факторов и закономерностей (неустранимый уровень неопределенности, гетерогенность экономических агентов и др.) на эволюцию инноваций [1, 8]. В рамках традиционных эконометрических моделей невозможно объяснить такие характерные особенности инновационных процессов, как лавинообразный характер начала инновационного развития, стохастичность этого процесса, природа скачков на логистических кривых инновационного развития. Эти особенности связаны с нелинейностью инновационных процессов и для их объяснения можно использовать синергетический подход. C помощью современных инструментальных средств такой подход позволяет реализовать агент-ориентированное моделирование. В этом случае субъекты инновационной системы рассматриваются как гетерогенные агенты, наделенные определенными свойствами, взаимодействующие с другими агентами и находящиеся в каждый момент времени в определенном состоянии. Применение агентного подхода позволяет исследователям формализовать моделируемые объекты с полным сохранением их логической структуры и поведенческих особенностей на любом уровне абстракции. Агент-ориентированный подход сочетает в себе черты различных направлений информационных технологий, поэтому агент-ориентированные модели можно рассматривать в качестве:

― – элемента ситуационного центра; ― – инструмента Data Mining; ― – системы поддержки принятия решений (СППР); ― – системы игрового моделирования; ― – средства Business Intelligence.

При разработке агент-ориентированной модели (АОМ) инновационной системы были поставлены следующие цели:

― – Полное соответствие основным принципам мультиагентного подхода. ― – Построение модели, ориентированной на получение результатов, имеющих прикладное

значение. В процессе разработки АОМ инновационной системы рассматривались четыре взаимосвязанных уровня экономической реальности:

– реальная инновационная система; – агент-ориентированный уровень инновационной системы; – логико-математический уровень инновационной системы; – виртуальная реальность, в которой осуществляются целенаправленные вычислительные эксперименты.

Переход от одного уровня экономической реальности к другому соответствует следующим этапам построения АОМ: концептуализация, как содержательный анализ предметной области (переход от первого уровня ко второму); формализация, как представление концептуального описания на формальном языке (переход от 2 уровня к 3 уровню); компьютерная реализация (переход от 3 к 4 уровню). Рассмотрим последовательно все три этапа построения АОМ.

Концептуализация и формализация инновационной системы

АОМ инновационной системы может быть представлена в виде совокупности трех множеств: AOM=( A, R, Е ),

где:


370

― NAAAA ...21 – множество агентов модели, разделенных на некоторые

подмножества, определенные ниже;

― NAAAR ...21 – множество отношений между агентами, элементами которого являются

упорядоченные N-ки ),...,,( 21 Naaa для всевозможных NN AaAaAa ,..., 2211 ;

― MEEEE ...21 – множество созданных вариантов экспериментов.

Рис.1. Формализованное представление агент-ориентированной модели

Определим содержательно описанные выше составляющие АОМ. В качестве экономических агентов в модели рассматриваются технологические брокеры, авторы инновационных разработок, инвесторы и правительство. Все экономические агенты, за исключением правительства, являются реплицированными, что позволяет регулировать их количество при помощи параметров, добавлять и удалять агентов во время симуляций, управляя следующими подмножествами агентов.

Определим AA 1 как множество всех технологических брокеров, AA 2 – множество всех

инвесторов, 11 AA free – множество свободных в текущий момент времени брокеров,

22 AA free – множество свободных в текущий момент времени инвесторов.

Определим AA 3 как множество всех идей и проектов в инновационной системе; 33 AABwait

– множество инновационных идей, проектов, технологий, разработчики которых ищут технологического

брокера; BwaitIwait AA 33 – множество инновационных идей, проектов, технологий, отобранных

технологическими брокерами и находящихся в ожидании инвестора; Iwaittrial AA 33 – множество

инновационных идей, проектов, технологий, прошедших отбор технологических брокеров и инвесторов; trialresult AA 33 – множество реализованных идей, проектов, технологий.

Мощность этих множеств не является неизменной: в каждом множестве с течением времени могут появляться новые элементы, старые могут исчезать. Соотношение между множествами, характеризующими уменьшение количества инновационных идей и проектов в процессе их отбора, представлено на рис. 2.

Генерация агентов

Агент 2 Агент 1

Агент n

Модель инновационной системы

…

Эксперимент 1

Эксперимент М

…

…

Исходные данные K

Исходные данные K+1

Исходные данные N+L

Исходные

данные 1

…


371

Рис.2. Вложенная структура множеств BwaitA3 ,

IwaitA3 , trialA3 ,

resultA3

Ежегодно как на региональном, так и на федеральном уровне национальной инновационной системы возникают сотни и тысячи инновационных проектов, идей, новых подходов к использованию ресурсов и

управлению ими. Они являются элементами множества 3A . Процесс генерации элементов множества

3A осуществляется талантливой молодежью, студентами, аспирантами, сотрудниками ВУЗов, НИИ,

предприятий. Генерация идей, которую можно аппроксимировать числом поданных патентных заявок, становится более интенсивной при увеличении расходов государства на высшее и послевузовское профессиональное образование. Формирование и повышение качества человеческого потенциала, происходящее в период обучения в ВУЗе и при получении послевузовского образования, в значительной мере формирует прослойку квалифицированных специалистов, способных к генерации знаний. Поэтому расходы на высшее профессиональное и послевузовское образование в модели рассматриваются как основной фактор увеличивающий интенсивность генерации знаний. Итак, в качестве объясняющих переменных рассматривались фактические доли расходов федерального бюджета на образование в общей сумме расходов в текущий и предыдущий финансовые годы (xt и xt-1 соответственно), в качестве объясняемой переменной – число поданных патентных заявок на изобретения в текущем году (y). В результате оценки параметров регрессии в статистическом пакете STATISTICA 6.0 была получена эконометрическая модель, которая использовалась при задании зависимостей между генерируемыми в обществе идеями и расходами бюджета на образование:

ty = 14146,25 + 1803,16*xt + 4967,78*xt-1 . (1)

Поскольку ty по экономическому смыслу может принимать только целые значения, при построении

виртуальной реальности в AnyLogic для округления использовалась специальная функция round(). Анализ качества модели, основанный на вычислении статистических критериев, позволяет говорить о достаточно точной аппроксимации описанных выше зависимостей. Следует отметить, что и технологический брокер, и инвестор могут работать только с ограниченным числом проектов одновременно. Возможности технологического брокера ограничены площадью помещения, количеством сотрудников, а инвестора – наличием у него свободного капитала.

BwaitA3

IwaitA3

trialA3 resultA3


372

В терминах теории множеств эти ограничения (принадлежность конкретного инвестора множеству freeA2

и принадлежность конкретного технологического брокера множеству freeA1 ) при контакте разработчика d

и инвестора i и при контакте разработчика d и технологического брокера s учитываются следующим образом:

если d IwaitA3 , i: SizeI < MaxI (то есть i

freeA2 ) SizeI = SizeI + 1, d trialA3 ,

если dBwaitA3 , s: SizeS < MaxS (то есть s

freeA1 ) SizeS = SizeS + 1, d IwaitA3 .

Используемые обозначения: MaxS – максимальное число инноваторов, с которым одновременно может работать технологический брокер, MaxI – максимальное число инновационных проектов, которые одновременно может финансировать инвестор, SizeS – текущее число инноваторов, с которым одновременно может работать технологический брокер, SizeI – текущее число инновационных проектов, которые одновременно может финансировать инвестор. Для каждого конкретного технологического брокера или инвестора MaxS и MaxI необходимо задавать индивидуально, учитывая гетерогенность агентов. В результате мониторинга информации о возникающих в обществе идеях и проектах, оперативность и результативность которого зависит от уровня профессионализма технологического брокера и общего состояния экономической конъюнктуры, может произойти или не произойти контакт брокера с инноватором. Иными словами для осуществления контакта разработчика инновационной идеи или проекта с технологическим брокером необходимо:

),E(

,

S

31

Cf

AA Bwaitfree

(2) где: – случайная величина, принимающая с равной вероятностью значения из интервала (0;1),

(0;1)C – переменная, отражающая общее состояние рыночной конъюнктуры (0 – кризис, глубокая

рецессия, 1 – нет кризиса, подъем), (0;1)ES – эффективность работы технологического брокера,

),E( S Cf – некоторая функция.

Однако если в течение двух-трех лет автор идеи не нашел технологического брокера, то он, как правило, покидает национальную инновационную систему (пытается реализовать свои разработки за рубежом или

теряет интерес к их реализации): множество 3A теряет один элемент.

Если автор инновационной разработки нашел технологического брокера, готового включиться в процесс продвижения, то между ними возникают экономические отношения. Технологический брокер проводит профессиональную экспертизу проекта, оценивает его с точки зрения возможности коммерциализации. Если инновационный проект бесперспективен и не имеет потенциала для коммерциализации, то он отклоняется брокером. По мнению директора Центра инновационного бизнеса, расположенного во французском городе Монпелье, из 230 поданных заявок шансы пройти отбор имеют в лучшем случае 30-35 инновационных идей, т.е. 13-15 процентов их общего числа [5]. В случае положительной оценки проекта технологический брокер ищет компанию, заинтересованную во внедрении и доведении разработки исследователя до производства готовой продукции. На этом этапе возможна также доработка инновационного проекта до необходимого уровня при согласованном взаимодействии брокера и автора разработки. Если в течение двух-трех лет подходящая компания не была найдена, то автор проекта также уходит из национальной инновационной системы, пытаясь реализовать свои интеллектуальные разработки за ее пределами. Вероятность нахождения инвестора


373

технологическим брокером в значительной мере зависит от профессионализма технологического брокера и состояния экономики. Условие контакта инвестора и технологического брокера можно записать так:

),E(

,

I

32

Cf

AA Iwaitfree

(3)

где: – случайная величина, принимающая с равной вероятностью значения из интервала (0;1),

(0;1)C – переменная, отражающая общее состояние рыночной конъюнктуры (0 – кризис, глубокая

рецессия, 1 – нет кризиса, подъем), (0;1)EI – эффективность работы инвестора с инноваторами,

),E( I Cf – некоторая функция.

Функции ),E( S Cf , ),E( I Cf в правой части неравенств в системах (2) и (3) с учетом экономического

содержания процессов должны обладать следующими свойствами. 1. Непрерывность. 2. Убывание по С, IE , SE . При улучшении состояния экономики и повышения

эффективности работы агентов вероятность контакта должна увеличиваться, и наоборот.

3. При 0C и 0EI случайная величина всегда должна быть меньше значения

выражения в правой части (значение правой части должно быть равно или больше 1), и даже при наличии свободных агентов контакт не произойдет.

4. При 1C и 1EI случайная величина всегда должна быть больше значения

выражения в правой части (значение правой части должно быть равно или меньше 0), в этом случае контакт агентов зависит только от наличия свободных агентов.

Кроме этих требований в зависимости от условий конкретной инновационной системы к функциям

),E( I Cf и ),E( S Cf могут предъявляться дополнительные требования.

Свойствам 1-3 удовлетворяют, например, функции: ),E( I Cf = )1(*)E-(1 I C и ),E( Csf =

)1(*)E-(1 S C . Могут быть подобраны и другие функции, удовлетворяющие этим свойствам.

Если в течение двух-трех лет подходящая компания не была найдена, то автор проекта также уходит из национальной инновационной системы, пытаясь реализовать свои интеллектуальные разработки за пределами инновационной системы (в зарубежных странах). Время поиска инвестора технологическим брокером в значительной мере зависит от профессионализма технологического брокера. После того, как автор проекта при помощи технологического брокера нашел нужную компанию для реализации своих разработок, начинается процесс обсуждения условий его реализации. На совместных переговорах с участием автора, представителей технологического брокера, компании-инвестора обсуждаются финансовые показатели инвестиционного проекта, пропорции распределения доходов участников, интеллектуальные права на изобретение, целевой рынок и т.д. Если при обсуждении не возникло принципиальных разногласий по поводу этих вопросов, агенты подписывают соглашение и переходят к следующему этапу – реализации инновационного проекта и опытному производству. В противном случае по истечении 2-3 лет поиска инвестора автор проекта покидает инновационную систему России. Наконец, на этапе реализации и опытного производства автор проекта также может вследствие ряда неблагоприятных факторов покинуть инновационную систему. К таким факторам относятся недостаток финансовых ресурсов компании при реализации проекта, низкий спрос на новую продукцию и др. И только в случае успешного прохождения этого этапа происходит выпуск инновационного продукта.


374

По истечении некоторого промежутка времени продукт перестает быть инновационным. На рынке появляются аналогичные товары или товары-заменители, выпускаемый продукт становится привычным для общества и покидает инновационную систему. Формализовать целевое поведение агента-разработчика инновационного проекта или идеи возможно с помощью набора карт состояний, или стейтчартов (UML Statecharts), ведущих свое происхождение от карт состояния Харелла. Они являются основным инструментом формализации в агент-ориентированном моделировании [3]. В соответствии со стейтчартом автор инновационной разработки может находиться в одном из четырех состояний (рис. 3): поиск технологического брокера, поиск инвестора, опытное производство и выпуск готового инновационного продукта. Динамическая модель перехода интеллектуального агента из одного режима функционирования в другой может быть представлена в виде продукционной системы, определяемой выражением:

PS = < R, P, I >, где: R – множество состояний (или иными словами режимов функционирования) агента; P – множество правил преобразования (база знаний); I – интерпретатор (механизм логического вывода).

Структура k-го правила kp , k = 1..K, имеет следующую форму:

hjRthenQqRifp newjjcurrentk ,1),()(: ,

где: Rcurrent – текущий режим функционирования агента; h – количество параметров, контролируемых в

данном состоянии; jQ – определенное множество значений параметров, заданное индивидуально для

каждого hj ,1 ; jq – множество текущих значений параметров, Rnew – новый режим

функционирования агента.

jQ может представлять собой множество, состоящее из одного элемента (вещественного,

рационального, натурального, двоичного числа), может представлять собой отрезок, интервал и т.д.

Реализация модели

Такое концептуальное и формализованное описание инновационной системы можно реализовать на основе нового инструмента имитационного моделирования AnyLogic, разработанного компанией XJ Technologies [9]. Результатом компьютерной реализации будет виртуальная реальность, сохраняющая логическую структуру и свойства реальных объектов инновационной системы. На этапе компьютерной реализации АОМ при помощи AnyLogic необходимо решить задачу визуализации виртуальной реальности в информационной системе. Для этого нами разработана абстрактная структура инновационной системы, в которой для инновационных идей и проектов зоны их появления, отбора технологическими брокерами и инвесторами и реализации представлены в виде участков «инновационной воронки». Созданный графический интерфейс эффективно и наглядно демонстрирует децентрализованные, динамические инновационные процессы, параллельно осуществляемые в условиях неопределенности множеством неоднородных взаимосвязанных и взаимозависимых между собой агентов. Конечный результат в форме структуры «инновационной воронки», отображаемый в окне анимации созданной модели, представлен на рис. 4. При помощи управляющих кнопок в модели предусмотрено переключение между четырьмя областями просмотра:

– окно анимации (главное окно); – окно секторной диаграммы отклонённых проектов в зависимости от причин;


375

– окно управления расходами на высшее и послевузовское профессиональное образование; – окно управления числом технологических брокеров в инновационной системе.

Рис. 3. Диаграмма состояний автора-разработчика инновационного проекта

Рис.4. Внешний вид окна анимации модели «инновационной воронки»


376

Для оценки эффективности взаимодействия агентов в модели были созданы параметры profit (абсолютная величина чистых выгод) и efficiency (отношение полезных конечных результатов её функционирования к затраченным ресурсам). В эффективном управлении воронкой для инновационной системы любого уровня существуют две важнейшие проблемы: расширить вход воронки и до необходимого размера сузить ее горловину. Иными словами, необходимо увеличивать генерацию идей о новых продуктах, процессах и технологиях, организуя при этом эффективный процесс их отбора. При этом следует организовывать инновационный процесс так, чтобы была минимальной доля отклоненных проектов по причине отсутствия свободных технологических брокеров, разногласий при обсуждении условия контракта с инвестором и др. В идеале авторы разработок не должны покидать инновационную систему по этим причинам, и, соответственно, доля проектов отклоненных в связи с их бесперспективностью будет стремиться к 100%. Чтобы не запутаться в огромном количестве вычислительных экспериментов, необходимо сузить круг поиска, стараясь внести в модель как можно более приближенные к реальности варианты исследования инновационной системы. Поэтому каждое подмножество MEEE ,...,, 21 соответствует определённой

группе экспериментов, характеризующихся своими начальными параметрами и управляющими воздействиями. Например, 1E можно рассматривать как множество экспериментов при отсутствии управляющих

воздействий, а 2E – как множество экспериментов, когда исследователь осуществляет управляющие

воздействия. Тогда, 21 EEE .

Изменяя управляющие параметры, в модели можно реализовать следующие стратегии, а также их комбинации, позволяющие упорядочить множество экспериментов:

– увеличение/уменьшение число технологических брокеров; – повышение/снижение профессионализма в работе технологических брокеров; – улучшение/ухудшение общеэкономической ситуации; – увеличение/снижение доли расходов на высшее профессиональное образование в общем объеме расходов федерального бюджета и другие факторы.

Запуская модель, задавая начальные условия и управляя ходом экспериментов, пользователь получает возможность изучить поведение инновационной системы. С помощью разработанной мультиагентной модели «инновационной воронки» можно получить как качественные, так и количественные оценки эффекта воздействия на инновационную систему. Количественные оценки могут быть получены в процессе расчета параметров efficiency и profit, при анализе изменения числа инновационных продуктов, реализуемых на рынке, и т.д. Качественные оценки могут базироваться, например, на анализе причин скопления инновационных идей на некоторой стадии отбора.

Заключение Таким образом, АОМ инновационного процесса позволяет проследить взаимосвязи агентов и оценить эффективность функционирования инновационной системы любого уровня с различных позиций.

Для демонстрации возможностей использования построенной модели охарактеризуем результаты проведенных экспериментов, которые позволяют проиллюстрировать выявленные закономерности.

Во-первых, следует отметить, что в случае эффективной работы брокеров показатели эффективности всей системы растут значительно быстрее.

Во-вторых, график efficiency представляют собой S-образную кривую – динамика процесса в чем-то напоминает динамику распространения заболевания. Во многих работах и экспериментальных исследованиях высказаны предположения о возможности использования S-образных кривых при


377

моделировании процессов технологического развития и показано, что процесс диффузии инноваций описывается логистической кривой или ее модификациями [4, 6, 7].

Поэтому можно говорить о том, что практически точно воспроизведена экономическая реальность в форме виртуальной реальности агент-ориентированной модели, а также формализованы и реализованы в AnyLogic реальные процессы, происходящие в инновационной системе, следовательно, модель может быть использована для выработки управленческих решений.

Благодарности The paper is published with financial support by the project ITHEA XXI of the Institute of Information Theories and Applications FOI ITHEA (www.ithea.org) and the Association of Developers and Users of Intelligent Systems ADUIS Ukraine (www.aduis.com.ua).

Библиографический список 1. Горизонты инновационной экономики в России: Право, институты, модели/ Общ.ред. В.Л.Макарова. – М.:ЛЕНАНД, 2010. – 240 с.

2. Индикаторы инновационной деятельности: 2009. Статистический сборник. – М.: ГУ–ВШЭ, 2009. Карпов Ю.Г. Имитационное моделирование систем. Введение в моделирование с AnyLogic 5 / Ю.Г. Карпов. – СПб.: БХВ–Петербург, 2005. – 400 с.

3. Маевский В.И. Введение в эволюционную макроэкономику / В.И. Маевский. – М.: Изд-во «Япония сегодня», 1997. – 106 с.

4. Миндич Д. Хорошо выдержанные инновации / при участии А.Никифоровой // Эксперт. – 2011. – 41. – С.71-75.

5. Полтерович В.М. Диффузия технологий и экономический рост / В.М.Полтерович, А.А.Хенкин. – М.:Экономика, 1988. – 189 с.

6. Скиба, А. Н. Эффект резонанса в инновационных системах - условия возникновения и экономическая интерпретация / А. Н. Скиба, В. А. Гарькавый// Экономика и математические методы / Российская академия наук. – 2011. – Том 47, 3 – С.68-79

7. Herbert D. Agent-Based Models of Innovation and Technological Change /David Helbert// Handbook of Computational Economics: in K. L. Judd and L. Tesfatsion, editors, Elsevier. – 2005. – Volume 2. –P.1235-1272.

8. Официальный сайт компании XJ Technologies [Электронный ресурс]. – Режим доступа: http://www.xjtek.com/ (дата обращения 30.02.12)

Сведения об авторах

Анатолий Селянинов – Пермский государственный национальный исследовательский университет, аспирант кафедры информационных систем и математических методов в экономике, Россия, г. Пермь, 614990, ул. Букирева, д. 15; e-mail: [email protected] Major Fields of Scientific Research: моделирование инновационных систем, агент-ориентированное моделирование, математические и инструментальные методы в экономике

Наталья Фролова – Пермский государственный национальный исследовательский университет, доцент кафедры информационных систем и математических методов в экономике, Россия, г. Пермь, 614990, ул. Букирева, д. 15; e-mail: [email protected]. Major Fields of Scientific Research: графовые модели бизнес-процессов и систем; графовые грамматики; аналитические системы, моделирование социально-экономических систем


378

МЕТОДЫ И МОДЕЛИ ПРОГНОЗИРОВАНИЯ ЭЛЕКТРОПОТРЕБЛЕНИЯ НА РЕГИОНАЛЬНОМ УРОВНЕ

Галина Старкова

Abstract: В работе исследуется ряд существующих в отечественной и зарубежной практике подходов к моделированию энергопотребления, а также возможности их применения для построения модели конъюнктуры оптового рынка электроэнергии и мощности, на базе которой будет сформирован программный комплекс моделирования электропотребления РФ в региональном разрезе.Целью данной работы является описание модуля моделирования и прогнозирования электропотребления. Предполагается построение моделей различных спецификаций, включая регрессионные (множественные регрессии, регрессии с учётом сезонной декомпозиции и корректировки – CensusII), экстраполяционные (ARMA, ARIMA, ARMAX) и нейросетевые модели, учитывающие многогранные аспекты процесса электропотребления. Исходные данные длямоделирования электропотребления были взяты с таких официальных источников, как Росстат (Федеральная служба государственной статистики), Министерство экономического развития РФ, НП «Совет рынка» (Некоммерческое партнёрство «Совет рынка» по организации эффективной системы оптовой и розничной торговли электрической энергией и мощностью), Международный Валютный Фонд (IMFPrimaryCommodityPrices) и других. Кроме модуля моделирования и прогнозирования электропотребления, в состав рассматриваемого программного комплекса будет включён модуль, обеспечивающий интеграцию с уже существующими информационными системами, единое хранилище данных, а также модуль визуализации данных и формирования отчётов.Структура комплекса будет учитывать возможность дальнейшего расширения функциональности, в том числе посредством расширения возможностей имеющихся функциональных модулей и интеграции новых. Keywords: моделирование электропотребления; эконометрические модели; нейросетевое моделирование; информационно-аналитические системы; системы поддержки принятия решений; единое хранилище данных; контейнер моделирования. ACM Classification Keywords: H. Information Systems: H.1Models and Principles, H.4 Information Systems Applications. I.6 Simulation and Modeling: I.6.5 Model Development.

Введение

Рост мирового энергопотребления по-прежнему во многом определяют долгосрочные тенденции, тесно связанные с процессами индустриализации, урбанизации и глобализации. Эти тенденции проявляются в увеличении объёма потребляемой энергии, повышении эффективности добычи и потребления энергии, а также растущей диверсификации источников энергии. Перечисленные факты заставляют крупных производителей и потребителей энергии уделять всё большее внимание процессам прогнозирования, особенно в условиях жёсткой конкуренции на рынке.

Крупные энергопотребители, стремясь выйти на оптовые рынки электроэнергии, сталкиваются с необходимостью составления заявок на энергопотребление. Причём последующее отклонение реального потребления от заявленного может быть чревато штрафными санкциями от поставщика. Недооценка ожидаемого энергопотребления приводит к необходимости использования дорогих пиковых станций. Завышенный прогноз энергопотребления приводит к увеличению издержек на поддержание в рабочем состоянии излишних резервных мощностей. С другой стороны, производители электроэнергии заинтересованы в прогнозах энергопотребления с целью оперативного реагирования на спрос и с целью оптимального развития инфраструктуры. Эффективность мероприятий по управлению энергопотреблением, качество планирования и экономичность режимов работы энергосистемы определяются достоверностью прогноза. Повышение точности прогноза энергопотребления способствует


379

экономии энергоресурсов, увеличению эффективности работы и соответственно увеличению прибыли энергопредприятий.

Прогнозирование энергопотребления является многоэтапным и многоуровневым процессом, результаты которого могут использоваться для формирования рациональной стратегии развития энергетики как страны в целом, так и отдельных её субъектов в частности.

Отечественные и зарубежные подходы к моделированию энергопотребления Исследования в области прогнозирования энергопотребления проводятся Международным энергетическим агентством (International Energy Agency), Международным агентством по атомной энергии (International Atomic Energy Agency), Международным институтом прикладного системного анализа (International Institute for Applied Systems Analysis), Всемирным энергетическим советом (World Energy Council), транснациональными корпорациями – British Petroleum, Exxon Mobil и другими. В Российской Федерации проблемами прогнозирования энергопотребления занимается Министерство экономического развития РФ, Институт систем энергетики им. Л.А. Мелентьева СО РАН, Институт народнохозяйственного прогнозирования РАН, ОАО «Институт «Энергосетьпроект» и другие.

Достаточно долгое время исследования развития энергетики и экономики, а также их взаимосвязи, определялись преимущественно потребностями среднесрочного и краткосрочного прогнозирования спроса на электроэнергию и на отдельные виды топлива. Большинство исследований сводилось к построению эконометрических моделей, выявляющих зависимости энергопотребления от ключевых макроэкономических показателей: индексы промышленного производства, роста численности и доходов населения и других. При этом обратное влияние стоимости энергоресурсов и структуры производства на макроэкономические показатели и, как следствие, на величину энергопотребления не рассматривались. Данный подход был оправдан в период относительно стабильных и низких цен на энергоресурсы[1].

Для исследования и прогнозирования долгосрочного энергопотребления существует достаточно широкий спектр методов, однако наибольшее распространение получил метод прямого счёта и различные его модификации. Метод прямого счёта заключается в выборе определённого числа наиболее энергоёмких производств, детальном изучении их энергоёмкостей и построении прогнозов на основе планируемых объёмов производств и выявленной динамики удельных энергозатрат. Как правило, данный метод применяется для горизонта прогнозирования до 15 лет, поскольку именно для такого периода прогнозирования существует возможность собрать всю необходимую информацию, исходя из существующей технологии производства, программ экономического развития страны и регионов, а также принятых к реализации инвестиционных проектов.

При прогнозировании энергопотребления используются также эконометрические методы, в основе которых лежит объединение экономической теории, прикладного математического инструментария и экономической статистики. Регрессионные уравнения отображают зависимость эндогенных переменных модели от внешних воздействий в условиях, описываемых параметрами модели. К существенным недостаткам эконометрического подхода следует отнести, прежде всего, инерционность прогнозов, полученных на основе предыстории, и отсутствие возможности появления новых тенденций в рассматриваемой системе. Перечисленными недостатками также обладает и метод анализа долгосрочных тенденций, основанный на исследовании длительных временных рядов уровней энергопотребления и факторов, существенно влияющих на величину энергопотребления. Этот метод применяется преимущественно в странах с устойчиво развивающейся экономикой, как правило, включается в комплекс моделей прогнозирования энергопотребления как один из возможных методов прогнозирования, крайне редко используется изолированно от других методов.

Метод межстрановых сравнений, основанный на выявлении закономерностей в развитии энергопотребления и экономик различных стран, используется преимущественно для прогнозирования отдельных показателей энергопотребления в секторах экономики, технологических процессов, тенденции развития которых могут быть сопоставимы и сравнимы между собой. На практике метод межстрановых


380

или межрегиональных сравнений достаточно часто используется для верификации полученных результатов моделирования и прогнозирования.

Широкое распространение в мире получило прямое или косвенное использование моделей, основанных на методе полных энергетических затрат межотраслевого баланса (energyanalysisnetto). Идея этого метода заключается в определении энергетической эффективности источников энергии из соотношения энергетической ценности производимого энергоносителя и полных затрат энергии на него. Одним из преимуществ моделей межотраслевого баланса является возможность учёта и анализа не только прямых, но и косвенных энергетических затрат. Помимо моделей межотраслевого баланса при моделировании энергопотребления часто используют различные балансовые соотношения.

Последнее время всё большее распространение получают методы прогнозирования, связанные с использованием искусственных нейронных сетей. Для решения большинства прикладных задач используются трёх- и четырёхслойные нейросети. При этом в многослойных нейронных сетях каждый слой рассчитывает нелинейное преобразование от линейной комбинации сигналов предыдущего слоя, таким образом, достигается аппроксимация произвольной многомерной функции при соответствующем выборе количества слоёв, диапазоне изменения сигналов и параметров нейронов [2]. Одним из недостатков нейросетевых моделей является прежде всего их недетерминированность. Подразумевается, что после обучения сеть представляет собой «чёрный ящик», логика расчета прогнозных значений совершенная скрыта от пользователя. На практике в принципе существуют алгоритмы «извлечения знаний из нейронной сети», способные формализовать обученную нейронную сеть до списка логических правил, образующих своеобразную экспертную систему. Однако не следует забывать о том, что после каждого процесса обучения нейросетевые модели способны выдавать различные результаты.

Рассмотренные методы недостаточно учитывают сложные и меняющиеся взаимосвязи между объёмами энергопотребления, условиями и уровнем развития экономики и топливно-энергетическим комплексом в целом. Необходимость учёта этих взаимосвязей побуждает исследователей создавать комплексы экономико-математических моделей, описывающих наиболее существенные аспекты энергопотребления. Из зарубежных разработок следует в первую очередь упомянуть известную французскую модель MEDEE [3], модели PRIMES [4], VLEEM [5], получившие распространение в странах Западной Европы, американские модели NEMS [6], PURHAPS, INRAD, ISTUM, ORIM [7], канадскую CREECEM [8] и другие.

MEDEE – имитационная модель, позволяющая оценивать влияние на энергопотребление таких факторов, как структура и темпы промышленного производства, уровень жизни населения, политика энергосбережения в отдельных секторах и так далее. При этом потребности в энергии рассчитываются как для производственной, так и для непроизводственной сфер экономики.

Система Моделей PRIMES, разработанная для 15 стран Европейского Союза, используется в качестве инструмента для анализа энергетической политики в тесной взаимосвязи с энергетическими технологиями. С помощью моделей PRIMES возможно построить энергетические балансы, определить потребность в энергии по различным видам энергоносителей, выбросы 2CO и другие показатели,

характеризующие функционирование энергетической системы. Европейская энергетическая модель VLEEM (Very Long Energy and Environmental Model) предназначена для более длительного периода прогнозирования от 50 до 100 лет.

Подводя итог краткому обзору существующих методов и моделей прогнозирования энергопотребления, можно выделить следующие тенденции: расширение числа внешних связей топливно-энергетического комплекса, переход от создания изолированных экономических и энергетических моделей к их синтезу, а также создание комплексов моделей, позволяющих отражать процесс энергопотребления в отдельных секторах экономики с различным уровнем детализации и агрегации моделируемых показателей, а также проводить многовариантные сценарные расчёты.

Программный комплекс моделирования электропотребления РФ в региональном разрезе


381

С учётом выявленных тенденций при решении задачи прогнозирования электропотребления Российской Федерации в региональном разрезе было принято решение о создании программного комплекса моделирования электропотребления, реализованного в виде автоматизированного комплекса функций по приёму, обработке, передаче, хранению, отображению и анализу данных, с использованием показателей международной, макроэкономической и отраслевой статистик и прогнозированию отраслевого развития. Программный комплекс моделирования электропотребления должен включать в себя следующие элементы:

― модуль, обеспечивающий интеграцию с существующими информационными системами; ― единое хранилище данных; ― модуль моделирования и прогнозирования основных сегментов электропотребления; ― модуль моделирования и прогнозирования конечного электропотребления; ― модуль визуализации данных и формирования отчётов.

Программный комплекс моделирования электропотребления будет реализованс использованием Аналитического комплекса «Прогноз-5» [8](АК «Прогноз-5»), созданного ведущим российским разработчиком систем бизнес-аналитики ЗАО «Прогноз» (рис. 1, [9]). Программный комплекс позволяет получать сценарные точечные (изолированные, комплексные, интегральные) и интервальные прогнозные оценки электропотребления на долгосрочную перспективу.

АК «Прогноз-5» предназначен для разработки информационно-аналитических систем и систем поддержки принятия решений в различных сферах экономики и включает в себя информационное хранилище данных, контейнер моделирования, конструктор построения отчётов и визуализации данных. Информационное хранилище данных содержит постоянно обновляемую информацию более чем из 160 российских и международных источников, таких как Росстат, Всемирный банк, Организация объединённых наций, Евростат и другие. В контейнере моделирования осуществляется построение модели и оценка её качества. В АК «Прогноз-5» реализован автоматический расчёт и отображение различных статистических характеристик временного ряда, а так же поддержка широкого класса методов моделирования, включая эконометрические, балансовые, оптимизационные, сценарное прогнозирование возможных последствий принятия управленческих решений, поиск оптимальных управляющих параметров экономической системы при заданных ограничениях.

Для создания программного комплекса моделирования электропотребления РФ в региональном разрезе был апробирован ряд существующих методов моделирования и прогнозирования электропотребления на примере суммарного электропотребления Пермского края в динамике по месяцам. Прогнозирование электропотребления является многоэтапным процессом, требующим большого объёма разнородной по качеству информации: объёмы производства по различным видам экономической деятельности, коэффициенты энергоёмкостей, средняя температура, длина светового дня, количество рабочих дней в месяце и других. Исходные данные взяты из таких официальных источников как Росстат (Федеральная служба государственной статистики), Министерство экономического развития РФ, НП «Совет рынка» (Некоммерческое партнёрство «Совет рынка» по организации эффективной системы оптовой и розничной торговли электрической энергией и мощностью), Международный Валютный Фонд (IMF Primary Commodity Prices) и других.

В результате проведённого исследования построены модели различных спецификаций: 1. Регрессионные модели:

― множественные регрессии; ― регрессии с учётом сезонной декомпозиции и корректировки (CensusII);

2. Экстраполяционные модели: ― модели экспоненциального сглаживания; ― ARMA; ― ARIMA; ― ARMAX.


382

3. Нейросетевые модели.

В каждой из перечисленных групп, были построены модели, включающие различные экзогенные переменные, и оценено их качество.

Рис. 1. Структура и сферы применения АК «Прогноз»

Для идентификации моделей использовались данные в динамике по месяцам в период с 01.01.2005 по 31.12.2010. При сравнении полученных модельных значений с фактическими значениями электропотребления за 2011 год, наиболее точные результаты показали модели ARIMA, нейросетевыемодели и регрессии с учётом сезонной декомпозиции и корректировки. На основе проведённых расчетов построено несколько комплексных моделей, включающих выбранные модели с определёнными неотрицательными весовыми коэффициентами, в сумме образующих единицу. На начальном этапе исследования было выбрано два варианта определения соответствующих весов: первый вариант –равновесное включение выбранных моделей, второй вариант – с учётом модуля абсолютной ошибки прогноза. Полученные результаты приведены на рис. 2.

Рис. 2. Фактическое и модельные значения электропотребления Пермского края


383

В процессе исследования также рассматривался вариант построения агентной имитационной модели электропотребления регионов. Но для построения агентных моделей требуется детальное описание поведения агентов. Однако в случае моделирования электропотребления на уровне региона достаточна высока степень агрегации, что исключает возможность описания поведенческой составляющей, которая значительно усредняется при подобной агрегации. Традиционно причинами применения имитационного моделирования являются неразработанность, сложность и трудоёмкость аналитических методов решения математической модели. На основании перечисленных причин и в силу отсутствия данных об электропотреблении отдельных агентов на первом этапе исследования было принято решение отказаться от построения имитационных моделей.

Заключение В работе представлен проект модели конъюнктуры оптового рынка электроэнергии и мощности, на базе которой будет построен программный комплекс моделирования электропотребления, описаны существующие отечественные и зарубежные подходы к моделированию энергопотребления. Структура комплекса будет учитывать возможность дальнейшего расширения функциональности, в том числе посредством расширения возможностей имеющихся функциональных модулей и интеграции новых.

Библиографическийсписок 1. Системные исследования в энергетике: Ретроспектива научных направлений СЭИ–ИСЭМ / отв. ред. Н.И. Воропай. – Новосибирск: Наука, 2010. – 686 с. 2. Медянцев Д.В., Фирсов А.В., Замятин Н.В. Нейросетевая система прогнозирования энергопотребления // Научная сессия МИФИ – 2003 V Всероссийская научно-техническая конференция «Нейроинформатика - 2003» Сборник научных трудов в 2-х частях. Ч. I, М, МИФИ, 2003 – 244 с. – С. 221-226. 3. Cheatue B., Lapillone B. The MEDEE Approach: Analysis and Long-Term Forecasting of Final Energy Demand of Country. – France, 1978. 4. The PRIMES Energy System Model Summary Description. – National Technical University of Athens. – European Commission Joule-III Programme. – 16 p. http://www.e3mlab.ntua.gr/manuals/PRIMsd.pdf 5. VLEEM – Very Long Term Energy Environmental Modelling. – Final Report. – 2002. – 66 p.http://www.vleem.org/PDF/annex1-demande-model.pdf 6. КоганЮ.М. Современныепроблемыпрогнозированияпотребностивэлектроэнергии // Открытыйсеминар «Экономическиепроблемыэнергетического комплекса». ИНП РАН. – М., 2006. 7. Методы и модели прогнозных взаимосвязей энергетики и экономики / Ю.Д. Кононов, Е.В. Гальперова, Д.Ю. Кононов и др. – Новосибирск: Наука, 2009. – 178 с. 8. Свидетельство Российского агентства по патентам и товарным знакам 2005610980 от 22.04.2005 об официальной регистрации программы для ЭВМ «Аналитический комплекс «Прогноз-5» (АК «Прогноз-5»). Авторы: Андрианов Д.Л., Полушкина Г.К. и др. 9. Официальный сайт компании ЗАО «ПРОГНОЗ» http://www.prognoz.ru

Сведенияобавторах

Галина Старкова– Пермскийгосударственный национальный исследовательскийуниверситет, аспирант, ассистент кафедры информационных систем и математических методов в экономике, Россия, г. Пермь, 614990, ул. Букирева, д. 15; e-mail: [email protected] MajorFieldsofScientificResearch: математические и инструментальные методы экономики; информационно-аналитические системы и системы поддержки принятия решений.


384

РАЗРАБОТКА МЕТОДИКИ АВТОМАТИЧЕСКОГО ТЕСТИРОВАНИЯ АЛГОРИТМОВ ПОИСКА ЧЕЛОВЕКА ПО ПРИМЕТАМ

Андрей Дураков

Аннотация: В статье рассматривается проблема автоматического тестирования алгоритмов поиска человека по приметам. Особое внимание уделяется испытаниям этих алгоритмов в реальных условиях. Сформулированы ключевые показатели для оценки производительности и качества работы алгоритмов с учетом пользовательского опыта. Для оценки производительности предлагается измерять два параметра: скорость построения одного индекса человека и скорость сравнения двух индексов. Измерения производительности проводятся относительно эталонного алгоритма, который длительное время испытывался в реальных условиях. Качественными показателями работы алгоритмов являются доля выраженных ошибок в результатах поиска и доля камер, на которых искомый объект был найден. Именно эти два показателя сложнее всего измерить автоматически ввиду их субъективной природы. Требование репрезентативности тестовой выборки, т.е. соответствия ее реальным условиям, дополнительно усложняет задачу измерения. В качестве тестовой выборки предложено использовать большое количество видеороликов, отснятых в различных условиях освещенности и на камеры различных моделей и производителей. Для измерения качественных показателей предложена методика, основанная на предварительной разметке тестовых видеороликов человеком и использовании модуля трекинга людей в рамках одной камеры. В разметку закладываются человеческие субъективные оценки степени похожести людей на видеороликах. Разметка видеороликов состоит из двух частей: отметка временных границ движения отдельных людей и заполнение матрицы сравнения людей между собой. Модуль трекинга необходим для сопоставления людей в видеороликах и людей, проиндексированных в системе видеонаблюдения. После разметки вся тестовая выборка подается на вход системы видеонаблюдения, где она индексируется. После этого происходит сопоставление людей в размеченных видеороликах и архиве, а на основе сопоставления автоматически рассчитываются качественные показатели.

Ключевые слова: видеоанализ, поиск человека по приметам, автоматическое тестирование.

ACM Classification Keywords: D.2 SOFTWARE ENGINEERING: D.2.5 Testing and Debugging – Testing tool; D.2.8 Metrics – Performance measures. I.5 PATTERN RECOGNITION: I.5.4 Applications – Computer vision.

Введение

В современном мире системы видеонаблюдения прочно вошли в нашу жизнь. Трудно себе представить крупное предприятие, банк или торговый центр, не использующие видеонаблюдение в своей системе безопасности. В крупных городах видеокамеры нередко встречаются в жилых домах и даже в отдельных квартирах, не говоря уже об офисных и административных зданиях.

В последние десятилетия главным трендом в развитии систем видеонаблюдения является повышение их интеллектуального уровня [Dee, 2008]. Уже сейчас на рынке систем видеонаблюдения представлено большое количество программных продуктов, выполняющих не только хранение и отображение видеоданных, но и различного рода анализ. Такие продукты включают в себя специальные


385

интеллектуальные модули, которые позволяют решать задачи обнаружения и распознавания лиц, перехвата объектов, интерактивного поиска, распознавания номеров и т.д.

Одной их самых востребованных функций на данный момент является поиск человека по приметам, который работал бы приемлемо в различных условиях освещенности, на массовых камерах низкого разрешения и не требовал бы больших вычислительных мощностей.

Если качество видеокамер недостаточно хорошее, то методы распознавания людей по лицу не работают из-за невозможности четко выделить на лице отдельного человека ключевые признаки, на основе которых и происходит сравнение [Viola, 2004]. В связи с этим необходимо использовать другие характерные особенности внешнего вида людей и различать людей по ним. Такими особенностями могут быть, например, основные цвета одежды и их взаимное расположение, а также паттерн, то есть узор одежды.

В этом случае задача поиска человека по приметам предполагает поиск не одного заданного человека, а всех похожих на него людей, включая и искомого. Такое смягчение условий задачи является вынужденным следствием требования об использовании массовых IP-камер, не обеспечивающих возможности точно идентифицировать человека по лицу. Важно отметить, что образец может быть задан самыми разными способами: кадр из архива системы видеонаблюдения, фотография, сделанная на мобильный телефон или фотоаппарат, шаблон, заданный в виде рисунка, и даже описание на естественном языке.

Таким образом, ставится задачи разработки программного комплекса видеонаблюдения, который должен по заданному образцу найти похожих людей во множестве видеопотоков с нескольких камер, выделить их и показать охраннику только те кадры, где присутствует эти люди.

Эта функция является крайне востребованной, т.к. ее решение значительно повышает мобильность службы безопасности, увеличивая скорость обработки большого объема видеоданных и, тем самым, уменьшая время реакции охраны с нескольких часов или даже дней до нескольких минут.

Несмотря на большую значимость этой функции и большое количество исследований по всему миру эта задача до сих пор не решена в полной мере. Одной из причин, препятствующих ее решению, является сложность оперативной оценки качества, а главное, применимости разрабатываемых учеными алгоритмов в реальных условиях. Под реальными условиями будем понимать типичные условия, в которых работают системы видеонаблюдения, а именно:

– камеры бывают различного качества;

– камеры установлены под различными углами и на различном расстоянии относительно охраняемой территории (отчего сильно варьируется размер и ракурс людей на изображении);

– камеры размещены как в помещениях, так и на улице;

– камеры находятся в разных условиях освещённости;

– освещённость периодически меняется (рассвет, день, сумерки);

– изображение с камер подвержено большому количеству внешних помех: дождь, снег, листопад, пыль, ветер, трясущий камеру, блики от окружающих предметов и т.д.

Для того чтобы учесть все особенности реальных условий функционирования систем видеонаблюдения при разработке новых алгоритмов, необходимо иметь не только обширную тестовую выборку и способ измерения качества работы алгоритма, но и инструменты, автоматизирующие процесс оценки качества. Автоматизация процесса тестирования является отдельной сложной задачей [Greiffenhagen, 2001].

В данной статье пойдет речь о создании методики тестирования комплекса алгоритмов видеоанализа, предназначенных для решения задачи поиска человека по приметам.


386

Измеряемые показатели

Прежде всего, необходимо подчеркнуть, что предметом тестирования будет являться целый комплекс алгоритмов видеоанализа, которые работают над решением одной задачи и выдают единый для всех результат. Тестируемый комплекс алгоритмов содержит двух ключевых функций:

― индексирование человека, которое включает в себя следующие этапы:

― детектирование движения и обнаружение теней;

― фильтрация шумов;

― цветовая коррекция изображения;

― выделение и сохранение ключевых признаков;

― сравнение двух индексов.

Таким образом, предметом оценки и будет являться качество работы двух указанных функций.

Для выделения ключевых показателей, которые необходимо замерять, будем исходить из потребностей пользователей системы видеонаблюдения, где и должны работать все эти алгоритмы. Если абстрагироваться от требований к удобному визуальному интерфейсу поиска, который не является предметом исследования, то остаются два ключевых требования:

– требование к производительности системы;

– требование к качеству поиска.

Требование к производительности системы означает, что работа алгоритмов индексирования людей не должна значительно ухудшать производительность системы видеонаблюдения в целом. А также, что время поиска человека по приметам должно быть достаточно мало, чтобы обеспечивать возможность службе безопасности оперативно реагировать на обнаружение искомого человека.

Требование к качеству поиска означает, что среди результатов поиска человека по приметам обязательно должен присутствовать искомый человек на абсолютном большинстве камер, но при этом процент ошибок (людей, абсолютно не похожих на искомого визуально) не должен превышать некоторого порога, после которого пользователь теряет доверие к функции поиска.

Формализуя требование к качеству поиска, удалось выделить следующие четыре категории объектов, встречающихся в результатах поиска:

1. Искомый объект.

2. Объект, визуально похожий на искомый.

3. Объект, визуально не похожий на искомый, но при этом имеются видимые основания, которые позволяют объяснить пользователю причину ошибки. Например, объект находится в толпе людей, в кадре присутствуют помехи, в маску движения объекта попала его тень или часть фона. Будем называть такие объекты «объяснимо не похожими».

4. Объект, визуально не похожий на искомый, и при этом нет никаких оснований, которые бы позволили объяснить пользователю причину ошибки. Будем называть такие объекты «абсолютно не похожими».

В процессе формализации требований удалось также выявить два условия, при которых уровень доверия пользователей к результатам функции поиска человека по приметам будет достаточным для ее использования вместо поиска, осуществляемого человеком-оператором системы видеонаблюдения. Во-первых, доля камер, на которых был обнаружен искомый объект, среди всех, на которых он попал в поле зрения, должна составлять не менее 80%. Во-вторых, доля абсолютно не похожих на искомый объектов в результатах поиска не должно превышать 15%.


387

Таким образом, можно выделить следующие измеряемые показатели:

T1 – скорость построения индекса одного объекта;

T2 – скорость сравнения двух индексов объектов между собой;

K1 – процент камер, на которых был обнаружен искомый объект, среди всех камер, где он попал в поле зрения;

K2 – процент ошибочно найденных объектов.

Методология измерения производительности

Показатели T1 и T2 следует измерять таким образом, чтобы измерения, сделанные в различное время и на различных вычислительных системах, были сравнимы между собой. Этого можно добиться, если измерять показатели не в абсолютных величинах (время выполнения), а в относительных. В качестве такого эталона может выступать одна из реализаций всего комплекса алгоритмов, решающих задачу поиска человека по приметам. Причем, это должна быть реализация, которая прошла проверку в реальных условиях и удовлетворяет требованиям производительности, сформулированным ранее. Так как все алгоритмы проходят проверку в системе видеонаблюдения Macroscop, имеющей открытую архитектуру, то за эталон была взята реализация функции поиска человека по приметам из версии Macroscop 1.2, которая работает на большом количестве объектов в реальных условиях уже больше года.

Пусть 1эталон и 2эталон – время индексирования человека и сравнения индексов эталонным алгоритмом соответственно; 1эталон и 2эталон– время индексирования человека и сравнения индексов

тестируемым алгоритмом соответственно. Тогда: 1 = эталон , а 2 = эталон.

Все перечисленные замеры должны производиться на единой тестовой базе, которая может со временем пополняться. Так, в процессе тестирования выяснилось, что скорость индексирования алгоритмов значительно зависит от размера движущихся объектов, в частности, большой вклад вносят различные фильтры изображений. Поэтому измерения показателей T1 и T2 производились на различных тестовых выборках (рис.1), которые были ранжированы по размерам движущихся объектов. Тестовые выборки состоят из кадров и масок движения, полученных с помощью системы Macroscop в реальных условиях, а также из некоторого количества (10-20%) искусственно созданных образцов.

показатель T1 показатель T2

Рисунок 1. Пример сравнения показателей производительности текущей версии алгоритма относительно эталона

00.20.40.60.81

1.21.4

T1

Эталон01234567

T2

Эталон


388

Для повышения точности измерений необходимо множество раз запускать тестируемые функции и усреднять значения измерений. В примере (рис.1) измерения проводились 100 раз.

Методология измерения качества работы

На данный момент накоплен некоторый опыт измерения качества работы алгоритмов поиска людей по приметам вручную. Например, измерение показателей в системе Macroscop на выборке из 15 людей, заснятых на 2 камеры (всего 30 роликов), заняло 3 часа рабочего времени у двух человек (6 человеко-часов). Такие показатели скорости измерений не являются приемлемыми для больших выборок и оперативной оценки результатов изменений алгоритмов. Тем более что тестовая выборка должна быть близка к реальным условиям, описанным ранее, а это неминуемо ведет к значительному увеличению количества тестовых роликов и невозможности за разумные сроки измерить показатели алгоритмов.

Определим состав тестовой выборки. Прежде всего, это видеоматериал, который записан на видеокамерах, работающих в реальных условиях. Половина тестовой выборки должна состоять из видеороликов, на которых присутствуют одни и те же люди. Например, один человек проходит в поле зрения 10 камер, находящихся в разных условиях освещенности. Это необходимо для расчета показателя K1. Вторая же часть выборки предназначена для моделирования разнообразия людей, попадающих в объектив, и должна содержать видеоролики большого количества людей: от похожих до колоритных (явно выделяющихся из толпы). Причём каждый из этих людей должен попадать в объектив одной или двух камер, но не более. Кроме того, на одном видеоролике могут встречаться несколько людей. Это значительно усложняет задачу тестирования, но является принципиально важным условием, которое приближает тестовую выборку к реальности. Вторая часть выборки необходима для более точного измерения показателя K2.

На данном этапе разработки методологии автоматического тестирования алгоритмов можно предположить характеристики репрезентативной тестовой выборки:

– все видеоролики должны быть получены с 10 камер, находящихся в различных условиях освещенности и установленных как в помещениях, так и на улице;

– 10 абсолютно не похожих человек должны быть отсняты на 5 случайных камерах каждый;

– ещё 50 роликов с участием разнообразно одетых людей должно быть отснято на тех же камерах.

Всего в репрезентативной тестовой выборке должно быть порядка 100 роликов. Отметим, что типичное время присутствия человека в поле зрения одной камеры составляет от 5 до 20 секунд. Это означает, что типичное количество индексируемых кадров для одного человека составляет от 50 до 200 (при темпе записи 10 кадров в секунду). Тогда для всей тестовой выборки получим от 5 000 до 20 000 индексируемых кадров.

После того как отсняты видеоролики для тестовой выборки, необходимо установить отношения похожести между людьми в видеороликах, т.е. отнести их друг относительно друга в одну их четырех выявленных ранее категорий. Эти отношения необходимы для подсчета показателей К1 и К2. Для этого сначала необходимо выделить людей в видеороликах. Выделение производится вручную и заключается в отметке времени, когда объект появился в кадре, и когда он покинул кадр. Пример разметки приведён на рис. 2.

На рис. 2 видно, что объекты Чел1А и Чел3А – это один и тот же человек. Таким образом, необходимо учитывать, что человек может появляться в видеоролике несколько раз и создавать несколько интервалов для него. Для этих интервалов необходимо задать отношение похожести из группы 1.

Для 100 объектов необходимо заполнить матрицу отношений похожести 100×100 из 10 000 ячеек, а в силу ее симметрии относительно главной диагонали необходимо задать 4 950 отношений похожести, что


389

является довольно трудоемким процессом. Тем не менее, такие усилия оправданы, т.к. эта процедура производится всего один раз.

Рисунок 2. Предварительная разметка видеоролика

Разметка видеороликов и матрица соотношений похожести сохраняется в специальном файле метаданных тестовой выборки. Далее подготовленные видеоролики разбиваются на кадры и подаются на вход системы видеонаблюдения Macroscop через специальный плагин-камеру SampleReader (рис. 3). Каждому ролику соответствует свой плагин, работающий в отдельном потоке.

Рисунок 3. Схема работы механизма автоматического тестирования алгоритмов поиска человека по

приметам

SampleReader эмулирует работу камеры и подаёт подготовленные кадры на вход интеллектуальных модулей, качество работы которых и предстоит оценить. Результаты работы интеллектуальных модулей поступают в архив.


390

После того как все видеоролики будут проиндексированы, тестирующая программа на основе файла метаданных тестовой выборки и результатов работы модуля трекинга производит сопоставление движущихся объектов. Таким образом, для каждого индекса в архиве становится известно, какому объекту в видеороликах он соответствует. Это означает, что любые два индекса можно сравнить, а затем, используя матрицу похожести, оценить правильность работы алгоритма сравнения и рассчитать показатели K1 и K2.

Заключение В статье подробно рассмотрена проблема автоматического тестирования и оценки производительности и качества работы алгоритмов поиска человека по приметам. На основе требований к функции поиска, выдвигаемых пользователями, разработаны показатели T1, T2, K1 и K2, которые необходимо измерять. Формализованы требования пользователей к этим показателям.

Разработана методика измерения показателей производительности (T1 и T2) алгоритмов поиска человека по приметам на основе эталонного алгоритма. Реализовано вспомогательное программное обеспечение, реализующее предложенный подход. В процессе тестирования оно позволило выявить некоторые зависимости. В частности, зависимость относительной скорости работы различных алгоритмов от размера движущихся объектов.

Разработана методика автоматического измерения качественных показателей (K1 и K2) работы алгоритмов поиска человека по приметам. Предложен механизм формирования тестовой выборки видеороликов.

Данная статья была подготовлена при участии сотрудников компании ООО «Сателлит» – разработчика системы видеонаблюдения для IP-камер Macroscop.

Библиографический список [Dee, 2008] Hannah M. Dee and Sergio A. Velastin. How close are we to solving the problem of automated visual surveillance?: A review of real-world surveillance, scientific progress and evaluative mechanisms. Mach. Vision Appl. 19, 5-6 (September 2008), 329-343. DOI=10.1007/s00138-007-0077-z http://dx.doi.org/10.1007/s00138-007-0077-z

[Greiffenhagen, 2001] M. Greiffenhagen, D. Comaniciu, H. Niemann, and V. Ramesh. Design, analysis and engineering of video monitoring systems: An approach and case study. Proc. IEEE, vol. 89, no. 10, pp. 1498-1517.

[Viola, 2004] Paul Viola and Michael J. Jones. Robust Real-Time Face Detection. Int. J. Comput. Vision 57, 2 (May 2004), pp. 137-154. DOI=10.1023/B:VISI.0000013087.49260.fb http://dx.doi.org/10.1023/B:VISI.0000013087.49260.fb


Андрей Дураков – Заведующий лабораторией инструментальных средств разработки программного обеспечения кафедры математического обеспечения вычислительных систем ПГНИУ; 614990, Россия, г. Пермь, ул. Букирева, 15; e-mail: [email protected].

Сфера научных интересов: Распознавание образов, Интеллектуальный видеоанализ, Высокопроизводительные вычисления, Дополненная реальность.


391

РАЗРАБОТКА ПРИЛОЖЕНИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ, ОСНОВАННЫХ НА ОНТОЛОГИЯХ

Кирилл Юрков

Аннотация: В данной статье представлена технология разработки приложений дополненной реальности, основанных на онтологиях. Представлены результаты анализа существующих подходов к разработке приложений дополненной реальности, продемонстрирована потребность в высокоуровневых технологиях построения систем дополненной реальности. Проведен анализ наиболее популярных библиотек и платформ разработки приложений дополненной реальности (ARTAG, ARTOOLKIT, Layar, QUALCOMM AR PLATFORM), показана потребность в разработке более высокоуровневых инструментов. На основе анализа основных задач, требующих решения при создании приложения дополненной реальности, предложена технология разработки приложений дополненной реальности на основе онтологического анализа. В основе технологии лежит применение онтологии проблемной области и онтологии пространства задачи. Онтология проблемной области описывает основные понятия проблемной области и связи между ними. Онтология пространства задачи предоставляет описание пространства задачи, локаций и их взаимного расположения и содержит два уровня: описание метапонятий, то есть тех понятий, которые будут использоваться для описания, и непосредственно описание самого пространства, где указывается, какие объекты есть в пространстве, и как они связаны между собой. Для применения полученных онтологий предложена типовая архитектура приложения дополненной реальности, описаны компоненты архитектуры. Отдельно рассмотрена проблематика формирования сцены, которая выводится на экран мобильного устройства, а также некоторые особенности построения пользовательского интерфейса для приложений дополненной реальности. Предложенная технология активно используется для разработки системы «Интеллектуальный видеогид». Прототип системы запущен в промышленное использование в Пермской Государственной Художественной Галерее. Ключевые слова: Дополненная реальность; онтологическое моделирование; Augmented reality; mobile applications; ontological modeling. ACM Classification Keywords: H.5 Information Interfaces and Presentation: H.5.1 Multimedia Information Systems – Artificial, augmented, and virtual realities.

Введение В 1968 году Айвен Сазерленд впервые в мире создал первый шлем виртуальной и дополненной реальности. В частности, с помощью данного прибора, получившего название «Дамоклов Меч», пользователь мог обозревать трехмерный куб, отраженный поверх картинки реального мира. За 50 лет приложения дополненной реальности (ПДР) прошли большой путь. На сегодняшний день основным средством отображения дополненной реальности являются мобильные устройства, решения на основе дополненной реальности (ДР) применяются в медицине, машиностроении, туризме и с каждым годом находят свое применение во всё новых прикладных областях. Однако технологии разработки приложений дополненной реальности на сегодняшний день остаются малоисследованной областью. ПДР обладают целым рядом особенностей, требующих учета при их разработке:

1. Большинство современных приложений дополненной реальности разрабатывается для мобильных устройств. Мобильные устройства обладают довольно ограниченными вычислительными мощностями, что значительно осложняет решение проблем обработки изображений. Кроме того, мобильные устройства, как правило, имеют небольшой экран, что требует разработки новых способов взаимодействия с пользователем. 2. Приложения ДР с точки зрения решаемых задач функционально очень похожи друг на друга, несмотря на особенности проблемной области, в которой они применяются, и аппаратных платформ (под проблемной областью (ПрО) будем понимать совокупность предметной области и решаемых в ней задач).


392

3. Классический графический пользовательский интерфейс плохо подходит для приложений дополненной реальности. Более того, сама технология дополненной реальности предлагает принципиально новые возможности по пользовательскому взаимодействию с приложениями.

Возможности решений, существующих на сегодняшний день, как правило, сводятся к использованию пакетов библиотек, в которых реализованы основные функции для работы с изображениями и решения задач распознавания образов, возникающих при разработке ПДР. Не хватает же технологии разработки приложений и высокоуровневых инструментов поддержки этих технологий. В частности, представляется весьма актуальной разработка технологий, построенных на декларативных принципах, что позволит пользователю средствами языков (сверх)высокого уровня в наглядной форме специфицировать описание задачи и вид необходимого решения, избавив его от необходимости низкоуровневого программирования.

Существующие технологии, библиотеки построения ПДР Среди существующих технологий в области построения приложений дополненной реальности наиболее распространенными решениями, демонстрирующими различные подходы к разработке ПДР, являются: ARTAG [Fiala, 2005], ARTOOLKIT [Kato, 2000], Layar [Layar, 2012], QUALCOMM AR PLATFORM [Vuforia, 2012], принадлежащие как к маркерным, так и безмаркерным подходам [Ferrari, 2001]. На сегодняшний день ARTAG и ARTOOLKIT остаются наиболее популярными системами дополненной реальности, основанными на маркерах. Эти системы поддерживают различные подходы к формированию маркеров и имеют соответствующий набор библиотек, включающий различные алгоритмы для выделения и распознавания маркеров. ПДР, основанные на маркерах, позволяются решать задачи в областях, в которых возможно явно указания места сцены, где должно быть размещено дополнение. Безусловными преимуществами таких систем является меньшая по сравнению с безмаркерными системами трудоёмкость и наукоёмкость разработок, а также большая надежность определения точных координат расположения дополнительного контента. Однако уровень средств ARTAG и ARTOOLKIT остается довольно низким: многие задачи, связанные с ПДР, остаются на плечах программиста. Вопросы общей архитектуры приложения, разработки пользовательского интерфейса, учета положения пользователя в пространстве не решены средствами этих библиотек. Более того, обе эти системы не предлагают каких-либо решений с точки зрения технологии разработки ПДР, учета особенностей ПрО и возможных изменений в ней. Одним из наиболее распространенных продуктов, построенных на безмаркерных технологиях дополненной реальности, является Layar Browser. Данное приложение позволяет отображать дополнительный контент, представленный в виде слоев, а в качестве основы для расположения дополнительного контента используют данные о позиции пользователя в пространстве, которые, как правило, получены с помощью GPS. Особенностями технологии Layar при построении ПДР являются:

1. Ориентация на использование геопозиционирования. 2. Богатая «экосистема», содержащая подробную документацию и примеры по созданию слоев. 3. Доступность для внесения изменения только API уровня слоя, то есть разработчик не может вносить изменения в работу приложения, выходящие за рамки редактирования слоев. Все остальные решения зашиты в платформу Layar.

Как следствие, важным преимущество технологии Layar является то, что практически все вопросы создания ПДР, за исключением уровня слоя, переносятся с плеч прикладного разработчика на саму систему Layar. Однако у данного подхода есть ряд недостатков:

1. Трудность использования для решения тех задач ПДР, где геопозиционирование не является основным или единственным источником данных о местоположении пользователя. 2. Сложность настройки приложения под конкретного пользователя. 3. Сложность явного учета специфики конкретной ПрО при разработке слоев.


393

Qualcomm AR Platform является логичным развитием систем типа ARTOOLKIT и ARTAG, предоставляя более богатые возможности для работы с видео-потоком, для распознавания объектов различных типов. В рамках данной платформы предоставлены также средства для организации взаимодействия с пользователем на основе ДР. Однако вопросы разработки приложения, учета особенностей ПрО, вопросы учёта позиции человека в пространстве остаются на плечах программиста. Подводя итог, можно сказать, что на сегодняшний день актуальной задачей является создание технологий разработки ПДР, которые позволяют создавать решения, легко переносимые между различными аппаратными платформами, могут адаптироваться к особенностям проблемных областей и пользователей в них и обладают достаточным универсализмом для поддержки как маркерных, так и безмаркерных подходов.

Онтологическое моделирование как подход к преодолению недостатков существующих решений В качестве основы технологии разработки ПДР предлагается использовать подход, базирующийся на онтологическом моделировании. Адаптируемые приложения, построенные с использованием явно представленных онтологических моделей, обладают следующими преимуществами:

1. Простота адаптации программного обеспечения к изменениям в ПрО за счёт внесения изменений в онтологическую модель ПрО. 2. Простота адаптации программного обеспечения к нуждам конкретного пользователя/группы пользователей за счёт внесения изменений в онтологическую модель пользователя. 3. Возможность переиспользования онтологических моделей и их фрагментов на разных слоях сложной системы (слое хранения данных, слое бизнес-логики, слое представления и т.д.). 4. Возможность внесения изменений в поведение системы в процессе работы без необходимости перекомпиляции программного кода за счет внесения изменений в онтологическую модель. 5. Переиспользование моделей онтологического типа на всех этапах разработки программного ПДР, в том числе и для упрощения коммуникаций в рамках команды разработчиков, для построения документации и т.д. 6. Возможность интеллектуализации пользовательского интерфейса программного обеспечения.

Технология создания ПДР, основанных на онтологиях Предлагаемая технология построения приложений дополненной реальности построена с использованием многоуровневой онтологии. Понятиями верхнего уровня для этой онтологии являются:

– Реальное пространство – пространство реального мира, в котором пользователь изменяет своё положение. – Пространство сцены – множество объектов формируемой сцены (изображения). – Точка замещения – место размещения объекта дополнения в реальном пространстве.

Сцена в приложениях дополненной реальности формируется с помощью объединения картины реального мира и дополнительных объектов. Таким образом, реальный мир, пространство, в котором перемещается пользователь, можно назвать дополняемым, а все множество объектов дополнения – пространством дополнения. Дополняемое пространство дискретно и разбито на локации. С целью выделения места онтологических моделей в ПДР рассмотрены основные задачи, возникающие при разработке ПДП, и возможности применения семантически мощных инструментов для их решения. Выявлены следующие задачи:

1. Задача задания точек замещения в реальном пространстве. 2. Задача распознавания точек замещения. 3. Задача определения параметров объекта дополнения, которое будет размещено. 4. Задача навигации между точками замещения.

Для решения задачи 1 требуется построить онтологию понятий предметной области, которая будет включать такие понятия как комната, этаж, улица и т.д. Далее требуется построить прикладную онтологию


394

реального пространства с использованием онтологии понятий. Для более точного указания мест точек замещения предлагается ввести относительную сетку координат в рамках отдельных локаций, то есть для указания расположения экспоната можно будет указать его координаты в рамках конкретного зала, этажа. Построенную для решения задачи 1 онтологию можно использовать для упрощения решения задачи распознавания точек замещения. Для этого необходимо применять алгоритмы распознавания изображений, способные учитывать не только результаты анализа видео-потока, но и данные о месте расположения пользователя в пространстве. Решение задачи 3 требует применения знаний об объектах дополнения. Эти знания могут быть представлены как онтология предметной области. Предметная онтология, при условии существования в ней семантической метрики, может быть использована для решения задачи семантической навигации, то есть определения маршрута пользователя на основе характеристик объектов дополнения (возможно, с учетом профиля пользователя). На основе проведенного анализа задач сделан вывод о необходимости описания модели онтологии ПрО и онтологии пространства задачи. Онтология ПрО (ОПрО) описывает основные понятия ПрО и связи между ними. В рамах ОПрО введена семантическая метрика, позволяющая определять близость понятий. С каждым понятием связан набор возможных дополнений. В рамках онтологии поддерживаются основные парадигматические типы связей (класс-подкласс, эксземпляр-класс, часть-целое, необходимая часть-целое, атрибут-класс), связь типа «контекстуально связаны», а также типы связи, необходимые для данной предметной области. Например, связь типа «автор». Онтология ПрО может также служить единым хранилищем знаний, которое будет переиспользоваться для различных приложений в рамках ПрО. Так как онтология ПрО содержит описания основных понятий, их структуры, а также данные о взаимосвязях между ними, на ранних этапах она может служить основой языка для общения разработчиков и специалистов. Более того, наличие визуального представления онтологии значительно упрощает взаимодействие различных специалистов и выделение проблемных фрагментов онтологии, требующих доработки, уточнения, принятия административных решений для разрешения многозначности. Понятия в онтологии ПрО связаны с элементами базы дополнений. Это может значительно облегчить разработку и редактирование дополнительного контента. Более того, наличие подобной связи позволяет определять семантическую близость дополнений, и даже описывать ее. Например, фотография «Василий Васильевич Верещагин» может быть описана так: «Фотография (как название формата дополнения) автора (как тип связи из онтологии ПрО) картины (как название понятия из онтологии ПрО, связанного по связи класс-подкласс) "Апофеоз войны" (понятие из онтологии ПрО)». Для того чтобы дать возможность пополнять онтологию пользователям-непрофессионалам, предложено использование простого подхода на основе «тематической разметки» отдельных понятий. В рамках данного подхода понятие предметной области метится пользователем с помощью тегов. Простейшую модель на основе двудольного графа понятий и тегов предлагается обогатить, введя в нее связи типа «первый тег» / «главный тег», «тег автора понятия», «тег читателя». Введение таких связей позволило создать более осмысленные семантические метрики для определения близости объектов. В случае необходимости возможно также применение понятных пользователю связей, например, может быть легко добавлена связь «создатель» для отражения авторов того или иного объекта в музее. Для того чтобы сделать возможными разработку интеллектуального пользовательского интерфейса и интеллектуальный поиск по экспонатам, онтология может быть расширена с применением лингвистических ресурсов. В частности, такой подход позволяет применять полученную онтологию при разработке естественного интерфейса взаимодействия с пользователем на естественном языке. Онтология пространства задачи (ОП) предоставляет описание пространства задачи, локаций и их взаимного расположения. ОП содержит два уровня: описание метапонятий, то есть тех понятий, которые будут использоваться для описания пространства (например: «комната» часть «этажа»); и непосредственно описание самого пространства, где указывается, какие объекты есть в пространстве, и как они связаны между собой. Понятия ОП могут быть связаны с точками замещения. Для понятий


395

нижнего уровня можно указать их место в рамках относительной координатной сетки введенной в раках понятия более высокого уровня. Например, «Картина "Апофеоз войны" находится по координатам 8,0 в рамках зала 4». Для предоставления возможности сохранения рекомендуемых маршрутов предлагается вести базу маршрутов пользователей, описывающих порядок посещения локаций (элементов из онтологии пространства задачи). Подобная база не только позволит рекомендовать пользователю тот или иной маршрут, но и проводить журнализацию маршрутов различных пользователей. Благодаря онтологическим моделям ПрО и пространства задачи могут также генерироваться описания полученных маршрутов. Дальнейший интеллектуальный анализ маршрута может быть использован для составления его краткой аннотации. В качестве единого хранилища всех объектов из пространства дополнений используется база дополнений. Дополнения связаны с понятиями из ПрО точками в маршруте. Структура элемента в базе дополнений включает:

– тип (текстовые данные, изображения, звуковые данные, видео данные); – способ отображения; – дополнительный способ отображения (сцена дополняется данными); – подменяющий способ отображения (сцена подменяется объектом); – координаты расположения; – способ расположения; – свободное расположение (координаты вычисляются в пределах сцены); – расположения в пределах маркера (координаты вычисляются в пределах маркера); – данные.

В зависимости от значений полей «способ отображения» и «способ расположения» будут различаться особенности формирования сцены в ПДР. Для всех возможных комбинаций значений полей предложены алгоритмы формирования сцены. Подводя итог, можно сказать, что предлагаемая технология разработки ПДР, основанных на онтологиях, может быть описана следующей последовательностью действий:

1. Провести анализ ПрО. Построить онтологическую модель ПрО. Методы: онтологический инжиниринг, оригинальный подход на основе тематической разметки, обогащение онтологии с использованием лингвистических ресурсов. Результат: онтологическая модель ПрО.

2. Построить онтологию пространства задачи. Методы: онтологический инжиниринг. Результат: онтологическая модель пространства задачи, с указанными точками замещения.

3. Заполнить базу дополнений, указав точки замещения и дополнительные условия демонстрации. Результат: Созданные и описанные объекты пространства дополнения с указанными связями с ОПрО и ОП.

4. Заполнить базу маршрутов пользователей. Результат: База маршрутов, заполненная примерными вариантами рекомендованных разработчиками маршрутов.

5. Использовать полученные онтологии в рамках разработанной архитектуры ПДР.

Архитектура ПДР, основанных на онтологиях Рассмотрим особенности реализация программной системы дополненной реальности, основанной на онтологиях. Общая архитектура ПДР представлена на рис. 1. Предложенная архитектура позволяет создавать приложения, в которых маршрут пользователя зависит от его текущих предпочтений и интересов, позволяет показывать пользователю ту информацию, которая ему нужна, а также помогает ориентироваться в сложных ситуациях. При этом даже один и тот же путь в реальном пространстве между


396

одними и теми же объектами может быть сопровожден различной информацией, что позволяет приложению настраиваться как на пользователя, так и на текущие цели владельцев контента.

Рис. 1. Архитектура ПДР, основанного на онтологиях

(стрелками обозначены основные направления потоков данных) Компонента формирования сцены является центральной в приложении дополненной реальности. Она отвечает за размещения дополнений трех типов:

1. Компонента дополнения пользовательского интерфейса формирует пользовательский интерфейс, руководствуясь декларативно описанной моделью интерфейса и, в случае наличия, моделью пользователя. 2. Компонента дополнения маршрутных указателей с помощью данных от компоненты формирования маршрута позволяет отображать подсказки о необходимом направлении движения к указателям, расстоянии между ними. Причем расстояние может быть представлено в терминах предметной области, например: «в следующей комнате», «на соседней улице». 3. Компонента размещения дополнительного контента из ПрО на основе данных, полученных от компоненты распознавания образов, определяет, где и как будет отражаться специальный контент. Этот контент связан как с текущим положением пользователя, так и с конкретными объектами ПрО.

Сформированные дополнения должны быть расположены в рамках сцены и выведены на экран устройства, за что отвечают соответственно компонента взаимного расположения дополнений и компонента вывода. В приложениях ДР, как правило, крайне ограниченным является пространство на экране устройства, которое может быть использовано для отображения системного функционала. Однако вполне возможно создание интерактивных дополнений, поведение которых будет зависеть от явно выраженных действий пользователя. Такие элементы как раз и будут являться пользовательским интерфейсом приложения ДР. Декларативный характер модели интерфейса позволяет значительно упростить процесс его разработки. Подобный подход упрощает разделение обязанностей между разработчиками пользовательского интерфейса (дизайнерами) и разработчиками логики работы приложения (программистами). Такой подход также значительно упрощает разработку адаптивных приложений, способных учесть место пользователя в пространстве ПрО и соответственно изменить не только поведение приложения, но и его внешний вид.


397

Одной из важных задач в приложениях ДР является оказание помощи пользователю в навигации: – оказание поддержки при выборе следующей точки маршрута; – оказание поддержки при выборе пути следования к следующей точке маршрута.

Для выбора следующей точки маршрута пользователь должен располагать данными о возможных точках маршрута, расстоянием до этих точек, а также индикатором семантической близости следующей точки к точке, в которой он на данный момент находится. Причем расстояние может быть представлено как в абсолютных единицах, так и в специальных, характерных для данной предметной области, например: «в соседней комнате», «на следующем этаже», «в двух кварталах». Компонента дополнения маршрутных указателей (КДМУ) взаимодействует с компонентой формирования маршрута для получения данных о близких точках предполагаемого маршрута, о семантическом расстоянии между ними и текущей точкой. На основе полученных данных КДМУ формирует указатели, которые должны быть отражены на экране, например, в виде стрелок-маркеров, или даже «дороги из желтых кирпичей».

Заключение В данной статье представлена технология разработки приложений дополненной реальности, основанных на онтологиях. Представлены результаты анализа существующих подходов к разработке приложений дополненной реальности, продемонстрирована потребность в высокоуровневых технологиях построения систем дополненной реальности. Предложена технология применения онтологического анализа для решения проблем, возникающих при разработке приложений дополненной реальности. Описана общая архитектура приложения дополненной реальности, основанного на онтологиях.

Предложенная технология активно используется для разработки системы «Интеллектуальный видеогид». Прототип системы запущен в промышленное использование в Пермской Государственной Художественной Галерее.

Библиографический список [Ferrari, 2001] V. Ferrari, T. Tuytelaars, and L. Van Gool. Markerless augmented realtime affine region tracker. Proceedings of the IEEE and ACM International Symposium on Augmented Reality:87 – 96, 2001.

[Fiala, 2005] M. Fiala. Artag, a fiducial marker system using digital techniques. In CVPR (2), pages 590-596. IEEE Computer Society, 2005.

[Kato, 2000] I.P.H. Kato and M. Billinghurst. ARToolkit User Manual, Version 2.33. Human Interface Technology Lab, University of Washington, 2000.

[Layar, 2012] Layar. http://www.layar.com/, April 2012.

[Vuforia, 2012] Augmented Reality (Vuforia), https://developer.qualcomm.com/develop/mobile-technologies/augmented-reality, April 2012.


Кирилл Юрков – Старший преподаватель кафедры математического обеспечения вычислительных систем ПГНИУ; 614990, Россия, г. Пермь, ул. Букирева, 15; e-mail: [email protected].

Сфера научных интересов: Искусственный интеллект, Онтологический анализ, Дополненная реальность.


398

TABLE OF CONTENT OF IJ ITA, VOL. 19, NO.: 1, 2012 A System Approach to Information Structuring in the Context of Social Interaction

Mark Burgin ......................................................................................................................................................... 3

Multi-variant Pyramidal Clustering and Analysis High-dimensional Data

Krassimira B. Ivanova, Vitalii Velychko, Krassimir Markov .................................................................................... 14

Integrated Tools for Restoration of Oil Polluted Soils and Water Bodies

Nataliya Pankratova, Lyudmila Khokhlova ........................................................................................................ 39

Decision of Problem of Choice on Set of Telecommunication Networks' Streams' Mathematical Models

Maxim Solomitsky ............................................................................................................................................. 50

Beginnings of the Universe Model and Deduction of Initial System of Information Concepts

Alexander V. Sosnitsky ..................................................................................................................................... 56

Accounting in Theoretical Genetics

Karl Javorszky ................................................................................................................................................... 86

TABLE OF CONTENT OF IJ ITA, VOL. 19, NO.: 2, 2012 MEIA Systems: Membrane Encrypted Information Applications systems

Nuria Gomez, Alberto Arteta, Luis Fernando Mingo ....................................................................................... 103

About Criteria for an Estimation of Nonlinear Parameters in Models of Monitoring

Sergii Mostovyi, Vasilii Mostovyi ..................................................................................................................... 110

Individual-optimum Equilibriums in Games with Fussy Purposes of Players

Sergiy Mashchenko ......................................................................................................................................... 116

Portable Biosensor: from Idea to Market

Volodymyr Romanov, Dmytro Artemenko, Yuriy Brayko, Igor Galelyuka, Roza Imamutdinova, Oleg Kytayev, Oleksandr Palagin, Yevgeniya Sarakhan, Mykola Starodub, Volodymyr Fedak ............................................. 126

Optimization of Fire Alarm Systems Based on Evolutionary Methods

Alexandr Zemlyansky, Vitaliy Snytyuk ............................................................................................................. 132

A Semantic Indexing of Electronic Documents in Open Formats

Vyacheslav Bessonov, Viacheslav Lanin, George Sokolov ............................................................................ 139

An Estimation of Time Required for Modeling of an Algorithm Calculate a Non-conflict Schedule for Crossbar Switch Node by Means of Grid-structure

Tasho Tashev ................................................................................................................................................. 149

Maugry: Augmented Reality Guide for Museums. From Proof of Concept to Museum as a Service

Kirill Yurkov ..................................................................................................................................................... 155


399

Risk Identification Analysis of Statistic Data for Building the Investment Forecast with the Help of Brownian Motion Model

Kyzemin Oleksandr, Irina Gurina .................................................................................................................... 160

Application of the Universe Theory: Modern Globalization is Progressive but Unfair and Problem World System The Manifesto of the New World Order

Alexander V. Sosnitsky ................................................................................................................................... 169

Trend, Decomposition and Combined Approaches of Time Series Forecasting Based on the “Caterpillar”-SSA Method

Vitalii Shchelkalin ............................................................................................................................................ 181

TABLE OF CONTENT OF IJ ITA, VOL. 19, NO.: 3, 2012 Use Proxies in Tree Topology Architectures to Reduce the Communication Time in Membranes Systems

Miguel Ángel Peña, Ángel Castellanos, Alberto Arteta, Francisco Gisbert ..................................................... 203

Semantic Construction of Univocal Language

Alejandro De Santos, Pedro G. Guillén, Eduardo Villa, Francisco Serradilla. ................................................. 211

Modeling and Control of Lyapunov Exponents in a Coupled Map Lattice

Vitaliy Yatsenko, Olexandr Kochkodan ........................................................................................................... 216

Some Aspects of Choice of Switching Scheme for Construction of Optical Signals' Switching System

Yuri Grinkov .................................................................................................................................................... 224

Modeling and Optimization of Cryogenic – Optical Gravimeters

Vitaliy Yatsenko, Nikolay Nalyvaychuk............................................................................................................ 232

Multicriterion Choice Problem for Enterprises to Crediting

M. M. Malyar, V. V. Polischuk ......................................................................................................................... 241

Decision Making Problem with Fuzzy Set of Goal Sets

Sergiy Mashchenko, Oleksandr Bovsunivskyi ................................................................................................. 249

Methods and Tools of Knowledge Management at the Semantic web Enviroment

Julia Rogushina ............................................................................................................................................... 258

A Model for Visual Learning in Autism

Ekaterina Detcheva ......................................................................................................................................... 269

Optimization of Connection’s Structure of Remotely-operated Portables to Information Networks' Basic Equipment

Galyna Gayvoronska ....................................................................................................................................... 282

Program Model for Automated Design of Telecommunication Networks

Galyna Gayvoronska ....................................................................................................................................... 292


400

TABLE OF CONTENT OF IJ ITA, VOL. 19, NO.: 4, 2012

Membrane Structure Simplification

Fernando Arroyo, Carmen Luengo, José R. Sánchez .................................................................................... 303

Cellular Computing: Towards an Artificial Cell

R. Lahoz-Beltra ............................................................................................................................................... 313

Milieu-M: Visual Manipulation and Programming for Multi-Membranes

Rosario Lombardo, Vincenzo Manca .............................................................................................................. 319

Overlapping Range Images Using Genetic Algorithms

Fernando Ortega, Javier San Juan, Francisco Serradilla, Dionisio Cortes ..................................................... 328

Construction of Morphosyntactic Distance on Semantic Structures

Eduardo Villa, Alejandro De Santos, Pedro G. Guillén, Octavio López Tolic .................................................. 336

Proof Complexities of some Propositional Formulae Classes in Different Refutation Systems

Ashot Abajyan, Anahit Chubaryan .................................................................................................................. 341

A Method of Constructing Permutation Polynomials over Finite Fields

Melsik Kyureghyan, Sergey Abrahamyan ....................................................................................................... 350

Лингвистические и интеллектуальные инструментальные средства симулятора компьютерных сетей TRIADNS

Елена Замятина, Александр Миков, Роман Михеев ................................................................................... 355

Разработка информационной системы анализа инновационных процессов появления, отбора и реализации идей и проектов на основе агент-ориентированного подхода

Анатолий Селянинов, Наталья Фролова ..................................................................................................... 368

Методы и модели прогнозирования электропотребления на региональном уровне

Галина Старкова ........................................................................................................................................... 378

Разработка методики автоматического тестирования алгоритмов поиска человека по приметам

Андрей Дураков ............................................................................................................................................. 384

Разработка приложений дополненной реальности, основанных на онтологиях

Кирилл Юрков ................................................................................................................................................ 391

Table of content of IJ ITA, Vol. 19, No.: 1, 2012 .................................................................................................. 398


