ОТКРЫВАЕМОТКРЫВАЕМ

ОТКРЫВАЕМOPEN

ИТ для

образования и науки

Опыт компании Открытые Технологии

Павел Анащенко

ИНТЕГРАЦИЯ ИННОВАЦИЙ

Кратко о компетенциях Открытых

технологий

Виртуальная инфраструктура АРМ для

научных и образовательных

учреждений

Высокопроизводительные вычисления,

подходы Открытых технологий

Облачные вычисления и роль ОТ на

рынке хaaS

План презентации

О нас

Кто мы?

Где мы

работаем?

С кем мы

работаем?

• Российский системный интегратор

• Компания основана в 1994 году

• Более 400 сотрудников

• Присутствие в регионах

• 5 филиалов в России

• Филиал в Белоруссии

• Партнеры – ведущие мировые

производители

• Заказчики – крупные предприятия

различных отраслей экономики

Присутствие в регионах

Действующие филиалы и представительства компании

Текущие компетенции

компании

Пр

огр

ам

мно

ео

бе

спече

ни

е •Бизнес-системы предприятия

•Специализированные бизнес-приложения

•Информационная безопасность

•Базовые корпоративные информационные сервисы

•Мониторинг и управление ИТ-инфраструктурой и услугами

Инф

ра

стр

укт

ур

а •Построение инфраструктуры ЦОД

•Организация резервных ЦОД

•Серверы и СХД

•Корпоративные сети

•Сети операторов связи

•Инженерная инфраструктура

•Средства виртуализации

•Кластеры высокой доступности

•Кластеры высокой производительности

•Унифицированные коммуникации

•Инфраструктура офисного пространства

Се

рвис •Поддержка

серверов и СХД

•Поддержка системного ПО

•Поддержка сетей передачи данных

•Поддержка инженерной инфраструктуры

•Поддержка приложений

•Аудит ИТ-инфраструктуры

•Аудит приложений

•Аудит ИТ-безопасности

•Инсталляция ИС

•Оптимизация и настройка производительности

•ИТ-аутсорсинг

Ор

гани

зац

ия р

аб

от •Проектное

управление

•Администрирование проектов и договоров

•Работа с генеральным подрядом

•Системы промышленной автоматизации

•Комплексные системы безопасности: Безопасный город/регион;

•Инженерно-техническая защита зданий и прилегающих территорий

Ко

нса

лти

нг

•Автоматизированные системы управления предприятием (SAP-консалтинг)

Направления деятельности

ИТ – инфраструктура

Сети передачи данных

ВКС, WiFi, IP телефония

Вычислительные сервера

Инженерная инфраструктура

ИТ - консалтинг

Разработка ИТ стратегии

Разработка BCP и DRP планов

ЦОД и РЦОД

Электроснабжение

ИБП, ДГУ

Системы виртуализации

СУБД Кластерное ПО

CО

ПР

ОВ

ОЖ

ДЕ

НИ

Е

Внедрение систем ERP, BI, ЭДО

Системы хранения данных

Системы резервного копирования

Информационная безопасность

Антивирус

Антиспам

Программные решения

Прикладное ПО

(Порталы, SOA …)

Инфраструктурное

ПО (AD, почта …)Антифрод DLP

Мониторинг и управление

инфраструктурой

Кондиционирование

СКС

АУ

ТС

ОР

СИ

НГ

Инженерная

инфраструктура

НАЗНАЧЕНИЕ

Основа стабильной работы IT-

систем

Фундаментом стабильного функционирования IT-систем является

инженерная инфраструктура центра обработки данных.

РЕШАЕМЫЕ ЗАДАЧИ

Основные решаемые задачи

• Обеспечение параметров электроснабжения и параметров

окружающей среды заданного качества;

• Защита оборудования от большинства вредных воздействий,

включая безопасный и контролируемый доступ к оборудованию;

• Взаимодействие всех элементов инженерной инфраструктуры в

автоматизированном (автоматическом) режиме по

разработанным заранее алгоритмам;

• Предоставление дежурной смене объекта всеобъемлющей

информации о ситуации в помещениях ЦОД, качестве

электроэнергии, состоянии систем ЦОД.

ТИПОВЫЕ СИСТЕМЫ

ИНЖЕНЕРНОЙ

ИНФРАСТРУКТУРЫ

Автоматизированная система мониторинга и управления

Инженерной Инфраструктурой

Обеспечение

микроклимата

Монтажные конструктивы

Структурированная Кабельная СистемаА

Г

П

Т

К

С

Б

Электроснабжение

Мы применяем новейшие технические и программные разработки

ведущих мировых производителей для создания инженерных

систем ЦОД

ПРИМЕНЯЕМЫЕ

РЕШЕНИЯ

МОДЕРНИЗАЦИЯ КОРПОРАТИВНОЙ СЕТИ

ПЕРЕДАЧИ ДАННЫХ

13

Корпоративная сеть

передачи данных

• Построение объединённой архитектуры –

специальная разработка модульной

архитектуры для объединения электросети с

цифровой сетью

• Автоматизация и управление сетью –

интеграция специальных систем управления и

автоматизации сети для мониторинга и

контроля потоков в сети

• Обеспечение безопасности – разработка и

внедрение интегрированных решений, которые

повышают защиту от кибер-угроз

• Виртуализация и программирование сети –

интеграция виртуальных сетевых функций для

стандартных х86-серверов и внедрение

программно-определяемых сетей

Унифицированные коммуникации

• Обеспечение сотрудников всеми видами коммуникаций:

• Телефония

• Видеосвязь

• Текстовые сообщения

• Групповые конференции

• Реализация диспетчерской связи на базе технологий VoIP

• Интеграция с существующими системами диспетчерской связи

• Автоматизированный приём внешних обращений по разным каналам

(телефон, электронная почта, web-чат)

• В том числе возможно использование технологий виртуализации

Мы применяем новейшие технические и программные разработки,

при модернизации корпоративных сетей передачи данных

Применяемые решения

РАЗВИТИЕ И МОДЕРНИЗАЦИЯ

ВЫЧИСЛИТЕЛЬНОЙ ИНФРАСТРУКТУРЫ И

ИНФРАСТРУКТУРЫ ХРАНЕНИЯ ДАННЫХ

Развитие инфраструктуры обработки и

хранения данных

Вычислительная инфраструктура

Основная функциональная часть ИТ-

инфраструктуры ЦОД

• Резервирование и объединение систем

Доступность

Масштабирование

• Виртуализация ресурсов

Масштабирование

Гибкое распределение ресурсов

Высокая утилизация

Оптимизированное управление

Снижение затрат на обслуживание

Инфраструктура хранения данных• Консолидация ресурсов

Гибкое распределение ресурсов

Высокая утилизация ёмкости

Упрощённые процедуры добавления ёмкости

Удалённая репликация

Оптимизированное управление

Снижение затрат на обслуживание

• Высокая производительность

• Понижение нагрузки на систему

обработки

Результаты реализации

проектов

Цели создания/модернизации вычислительной инфраструктуры и инфраструктуры хранения

• Повышение уровня сохранности данных

• Повышение уровня доступности критичных информационных систем

• Защита от ЧС за счет катастрофоустойчивости ИТ инфраструктуры

• Расширение вычислительных мощностей существующей инфраструктуры в условиях ограничений (площади, электрическая мощность и др.)

Рассматриваемые сценарии ЧС• Отказ информационной системы

• Отказ основного ЦОД

Реализация требований по восстановлению информационных систем

• RPO: 0.5-24 часов, RTO: 2-48 часов

Подход к построению

вычислительной инфраструктуры и

инфраструктуры хранения

Выбор решения – поиск баланса между:

• Бизнес-требованиями

• Технологическими

ограничениями

• Внешними

ограничениями

• Стоимостью решения

• Сроком реализации

решенияВремя

Стоимость

Стоимость

восстановления

потерянных

данных

Стоимость

простоя

сервисов

Стоимость

обеспечения

сохранности

данных

Оптимальное RPO Оптимальное RTO

Стоимость

обеспечения

доступности

сервисов

Составные части

решения

Составные части решения по обеспечению

заданных показателей SLA:

• Аппаратно-программные средства (набор

оборудования и ПО, достаточного для

функционирования информационных систем на

резервной площадке)

• Технологии обеспечения отказоустойчивости (набор

современных технологий и решений для

катастрофоустойчивости инфраструктуры)

• Организационно-техническое обеспечение (набор

инструкций и перечень мероприятий по

обеспечению действий персонала в случае ЧС)

Инфраструктура вычислительных центров.

Реализованные и выполняемые проекты

• Генеральная Прокуратура РФ:• 102 региональных ЦОД + ЦОД в г. Москва

• Казахтелеком:• SAP ERP (расстояние ~1000 км)• Репликация – асинхронная средствами СУБД Oracle• RPO: десятки минут, RTO: 1-2 часа

• Уралсвязьинформ:• Oracle ERP (расстояние ~250 км)• Репликация – асинхронная средствами дискового массива• RPO: 1-10 минут, RTO: десятки минут

• Сибирьтелеком:• Oracle ERP (расстояние ~50 км)• Репликация – синхронная средствами дискового массива• RPO: секунды, RTO: десятки минут

• Ведущий НИИ России (ФГУП):проект в стадии пуско-наладки, два резервных ЦОД

• VMWare (расстояния ~750 км и ~1000 км)• Репликация – асинхронная средствами EMC2 RecoverPoint• RPO: 10-20 минут, RTO: 10-15 минут.

Решения основных

партнеров

ПОСТРОЕНИЕ ЭФФЕКТИВНОЙ

ИНФРАСТРУКТУРЫ РАБОЧИХ МЕСТ

Эффективная инфраструктура

рабочих мест

o Защита интеллектуальной собственности;

o Повышение степени использования ресурсов. Эффективное

использование аппаратуры и ПО;

o Оперативное и удобное управление ИТ-инфраструктурой;

o Гибкость. Подключение к рабочему месту с любого устройства.

Реализация концепции BYOD (Bring Your Own Device);

o Удалённая работа пользователей;

o Сокращение эксплуатационных затрат на обслуживание и

поддержку комплекса технических средств ЦОД

o Повышение доступности информационных сервисов

Обеспечение высокой

доступности ИТ-сервиса

Пользователи LAN / WANПодсистема

хранения

данных

SAN

В защите нуждается вся цепочка – от пользователей

(возможно, удаленных) до критически важных служб

Подсистема

обработки

данных

Виртуализация рабочих мест

GPU для облачных сервисов

Традиционный подходНедостатки

Виртуальные Десктопы

Преимущества

• Ограниченная гибкость рабочего

места

• Требования безопасности

ограничивают мобильность и

применяемые устройства

• Изменения, добавления,

перемещения – занимают дни

• Постоянный цикл обновления с

минимальной выгодой

Поддержка виртуального стиля

работы

Возможность применения любых

мобильных устройств

Быстрая адаптация к изменяющимся

условиям бизнеса

Трансформация настольных

вычислений

Управление доступом на уровне

приложений

Контроль над комфортностью работы

пользователей

Организация рабочего места

Варианты виртуализации

графических процессоров

Освободить CPU от задач формирования изображения – использование

ресурсов GPU для обработки изображения и формирования картинки

NVIDIA GRID + CITRIX XenDesktop

o Полноценная реализация OpenGL и DirectX

o Использование драйверов драйверов разработчика

видеокарт

o Полное использование ресурсов графического процессора

o Использование большого количества клиентских устройств

для работы

o Постоянно растущее число официально поддерживаемых

приложений http://www.nvidia.com/content/cloud-

computing/pdf/GRID_Certifications.pdf

Альтернативное решение

NICE Software

Платформы для NVIDIA GRID

HP Proliant

SL230; SL250HP Proliant WS460c

NVIDIA GRID K1

NVIDIA GRID K2

NVIDIA Tesla K40

NVIDIA Tesla K80

HP Proliant DL380p

Проектирование информационной

инфраструктуры НИИ

Проектирование

информационной

инфраструктуры НИИР

Обеспечение контроля на всех уровнях

управления ключевыми процессами

Повышение эффективности

использования ИТ активов (ЦОДы, сети,

АРМы)

3

Обеспечение сохранности и

непрерывности доступа к данным

2

1

4 Построение полноценной VDI

инфраструктуры на базе NVIDIA Tesla

2070Q и Citrix

Проект VDI c поддержкой

обработки 3D контента на

виртуальных АРМ

• Применение нового производительного решения от NVIDIA

• Обеспечение быстрого доступа к рабочим столам конструкторов

• Обеспечение безопасности данных

• Обеспечение управляемости

Cистема виртуализации рабочих мест конструкторов

ВПЕРВЫЕ!

LAN/WAN

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ

ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ ДЛЯ

ОБРАЗОВАНИЯ И НАУКИ

АППАРАТНАЯ АРХИТЕКТУРА HPC-СИСТЕМЫ

Service Nodes

Adm

in

Services

Log-ins

Users

Inbound

connections

Multi-Panel

Display Device

scalable viz

Pixel Network

compute cluster

Scalable

file systems

Object storage

servers

Meta data

servers

OST

MDS

Scalable HA Storage Farm

High speed interconnect

КОМПОНЕНТЫ И ТЕХНОЛОГИИ ГСК Открытых Технологий

Дизайн и инженерия архитектуры

Обеспечение эффективного

межузлового взаимодействия

Application network

Обеспечение плотности размещения

Обеспечение вычислительной мощности

Оптимизация подсистемы ввода-вывода

Система управления и мониторинга

Бесперебойное электропитание

Обеспечение эффективного хранения

данных

Обеспечение тех поддержки и «горячей

линии»

Документирование системы

ГСК НА ОСНОВЕ МОДУЛЬНЫХ ВЫЧИСЛИТЕЛЕЙ ОТ КОМПАНИИ ОТКРЫТЫЕ ТЕХНОЛОГИИ

ИСПОЛЬЗОВАНИЕ GPU МОДУЛЕЙ В СЕРВЕРНЫХ ПЛАТФОРМАХ

o Размещение модулей GPU в PCI-e слотах корпуса универсального сервера

o Размещение модулей GPU в отдельной серверной платформе

ПРИМЕР 4-Х УЗЛОВОГО ГИБРИДНОГО КЛАСТЕРА

ЭФФЕКТИВНАЯ СИСТЕМА УПРАВЛЕНИЯ

HPC-системой

o Меню

o Дерево ресурсов

o Параметры управления

o Визуализация работы кластера

o Монитор событий

o Поддержка Kepler и CUDA 5

o Полный контроль работы кластера

o Управление всеми параметрами и

компонентами кластера

o Специальная поддержка Nvidia

Tesla GPU

o Быстрая настройка и

дружественный интерфейс

o Риск ошибки сведен к минимуму

o Удаленный доступ через портал

o Система контроля доступа

o Снижение ТСО

РАЗМЕЩЕНИЕ ГСК в ЦОД

Рядные кондиционеры

Кластер

o Не требует специальной

инженерной подготовки

помещения

o Экономичен по

энергопотреблению

o Эргономичен

o Занимает немного места даже

при высокой

производительности

o Не требует постоянного

обслуживания

o Легко модернизируется

ОПЫТ ОТКРЫТЫХ ТЕХНОЛОГИЙ ПО

ВНЕДРЕНИЮ ТРАДИЦИОННЫХ И

ГИБРИДНЫХ HPC-СИСТЕМ

2005 Создание СК в Межведомственном Суперкомпьютерном Центре РАН

2006 Модернизация СК в Межведомственном Суперкомпьютерном Центре

РАН

2007 Создание СК в ЦНИИХМ

2008 Модернизация СК в Межведомственном Суперкомпьютерном Центре

РАН

2008 Создание СК в Институте Математики и Механики УрО РАН (Пермь)

2009 Создание СК в Тюменском Государственном Университете (Тюмень)

2010 Модернизация СК в Межведомственном Суперкомпьютерном Центре

РАН (входит в TOP50 мира)

2011 Создание собственного Центра компетенции в области

высокопроизводительных вычислений

2012 Успешное внедрение первых 10 гибридных суперкомпьютеров

2014 Гибридный суперкомпьютер для ФГАОВПО «Уральский федеральный

университет имени первого Президента России Б.Н.Ельцина»

ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ ДЛЯ

ОБРАЗОВАНИЯ И НАУКИ

Создание облака

ЗАДАЧИ

Современный этап консолидации и виртуализации ресурсов –

построение облака

Основные задачи:

• Операции и масштабирование в стиле

самообслуживания

• Оплата по мере потребления

• Простая, пригодная к немедленной

эксплуатации оркестрация ресурсов

• Доставка любой рабочей нагрузки

приложений

• Простая интеграция локальных и

удаленных ресурсов в случае

необходимости

• Открытая, гибкая архитектура

Идти к облаку

Осталось определить как и к

какому

Рынок облачных услуг

в России

Обратная связь с рынка 2015 – 2016 гг:

SMB и компании с малой долей ИТ: Публичное облако IaaS, PaaS, немного SaaS;

Основная цель переход от капитальных затрат на

операционные.

Крупные компании: Частное облако для внутренних заказчиков IaaS, PaaS;

Публичное облако как второе плечо DR-решения.

Основная цель переход на модель самообслуживания с

внутренними заказчиками. Сокращение расходов на DR-

решение (в том числе полный переход на OPEX)

Открытые Технологии

Наблюдения

CAPEX

За аналогичную сумму аренда по IaaS модели в одном из облачных ЦОД на срок более 6 летДанная конфигурация

1. CPU – 40 x 600 = 24000 руб

2. RAM – 100 Гб x 350 = 35 000 руб

3. СХД – 28 Тб x 20 x 1000 = 560 000 руб

Месячный платеж будет составлять 619 000 руб.

При этом:

1) С заказчика снимаются расходы на поддержку инфраструктуры;

2) Капитальные расходы переносятся в операционные

3) Гибкая, лёгкая в управлении инфраструктура ресурсы которой могут быть изменены в кратчайшие сроки

4) Сняты риски на развитие и моральное устаревание оборудования;

5) Высокая надежность хранения и доступность данных.

OPEX

Интересный вариант

реализации

Переход к облачной виртуализации по

OPEX-схеме в вашем ЦОД и вашем

оборудовании:

• Поставщик решения арендует оборудование и площадку у

заказчика

• Разворачивает на нем облачный сервис

• Реализует необходимые услуги от IaaS до SaaS

• По сервисной модели оказывает услуги заказчику.

ИТ инфраструктура

Архитектура построения

частного облака

Виртуализация

Серверы ХранилищаСети

Оркестрация

Автоматизация управления ресурсами

Портал самообслуживания

Каталог сервисов

Платформа управления облаком

Управление

Открытые Технологии –

Интеграция инноваций

Область деятельности компании ОТ –

разработка решений в интересах наших

заказчиков

Наш бизнес – создание, модернизация и

поддержка сложных информационных и

коммуникационных систем для решения

задач наших заказчиков

Область компетенции ОТ

Представляем интересы заказчика

Профессиональная интеграция

Построение решений на базе

существующего опыта и компетенций с

использованием ресурсов доступных как

сервис

Построение сервисно ориентированных

инфраструктур для крупных заказчиков и

сервис провайдеров

Цикл работы по

компетенциям

Техническая

поддержка

Обследование

Аутсорсинг

ИТ-инфраструктуры,

приложений,

инженерной

инфраструктуры

Поставка

Пуско-наладка

Внедрение

Проектирование

Пилотное внедрение

ИТ-консалтинг

Концептуальное

проектирование

Примечание: Методология проектных работ и процессы оказания технической поддержки позволяют удовлетворить

высоким требованиям Заказчиков.

Работы проводятся в соответствии со стандартом ГОСТ ISO 9001 - 2011 (ИСО 9001:2008)

Опыт компании Открытые Технологии

Нет все понятно….

Но что конкретно?

Опыт построения ЦОД

• Заказчик: Государственное предприятие занимающееся проектированием

и изготовлением изделий микроэлектроники.

• Основные информационные системы: множество различных САПР,

Система электронного документооборота, Система управления проектами

• Причины начала проекта:

• Потеря контроля над версионностью документов, чертежей и

разработок

• Увеличение сроков и стоимости проектирования из-за разрозненности

информационных ресурсов

• Потеря данных из-за отказов или аварийных отключений ИТ-

оборудования.

Технологическая

реализация

• Централизация всех информационных систем в трех ЦОД-ах

• Эффективное использование ИТ ресурсов за счет консолидации и

виртуализации

• Унификация технических решений для всех ЦОД

• Использование единых подходов к обеспечению безопасности

• Внедрение единой системы управления

• Резервирование всех критичных компонентов и данных

• Резервирование критичного оборудования в ЦОД

• Построение многоуровневой системы хранения данных

• Кластеризация серверов

• Репликация данных внутри ЦОД и между ЦОД

• Резервное копирование данных

• Виртуализация рабочих мест конструкторов

• Обеспечение быстрого доступа к информационным системам

• Повышение производительности работы конструкторов

Частное облако: зачем и

как его внедрять

• Что дает частное облако (Private Cloud):

• Сокращение времени выделения имеющихся ИТ ресурсов под новую

бизнес задачу (например выделение виртуального сервера).

• Детальный учет потребления ИТ ресурсов (биллинг) для планирования

мощностей и внутреннего хозрасчета.

• Потенциальное сокращение затрат на ИТ персонал за счет введения

самообслуживания пользователей и максимальной автоматизации

типовых ИТ операций.

• Как внедрять частное облако:

• Обеспечить предварительные условия: максимальная консолидация,

унификация и виртуализация ИТ ресурсов.

• Выбрать единую программную платформу для управления облаком

(оркестратор и пр.)

• Двигаться поступательно: IaaS -> PaaS -> SaaS.

Создание частного облака

структура решения

Пользователи

Виртуализация

CONNECT

BRIDGE

CONNECT

BRIDGE

Балансировка нагрузки

Другие облака

СТРОИТЬ ПОДКЛЮЧАТЬСОЕДИНЯТЬ

Серверы ХранилищаСети

CloudPlatform

Business Manager

CloudBridgeVPN-шлюз

XenServer KVM OVMHyper-VvSphere

Основные блоки частного облака

ДОСТАВКА СЕРВИСОВ

Services Manager

Балансировка нагрузки

Обслуживание нескольких центров обработки данных, в том

числе разнесенных географически;

Обеспечение работы мультиплатформенных центров

обработки данных (различные системы виртуализации -

Hyper-V, (планируется VmWare, KVM, Xen), оборудование

разных вендоров – HP, IBM, DELL, Supermicro, сетевое

оборудование Cisco, Juniper, HP и др. и др.).

Разработка решения для

облачного сервиса

Разработка решения для

облачного сервиса

Наименование подсистемы Назначение Основные характеристики

Система учета ресурсовХранение информации об абонентах,

тарифных планах, услугах, балансах лицевых счетов абонентов, производство расчетов.

Система расчетов для сети емкостью до 250 тыс. абонентов.

Личный кабинетПредоставление абоненту механизмов

самообслуживания

Одновременная работа до 50 абонентов. Одновременное обслуживание до 10 запросов на 1

сервер личного кабинета.

Система управления ресурсами (Serviсe Аctivation System)

Управление оборудованием оказания услуг Поддержка до 1 000 единиц агентов управления

Предобработчик (Mediation SlideBar)

Сбор и агрегация данных о конфигурации услуги SlideBar

Поддержка до 50 серверов виртуализации

Система настройки услуг (Customer Selfcare System)

Управление услугами по командам абонентаВыполнение до 5 000 заявок на

подключение/изменение конфигурации услуг ежесуточно

Система управления заявками (Order Management)

Выполнения заявок согласно сценариям, выполненным в виде программ BPMN.

Выполнение до 10 000 заявок на подключение/изменение конфигурации услуг

ежесуточно

InventoryХранение данных об оборудовании

Заказчика. Хранение данных о ресурсах.Поддержка до 5 000 единиц оборудования

Список услуг

Заказная разработка системы

управления облачным

сервисом

Этапы построения

ИТ-инфраструктуры

Проведение обследования

Отчетные документы:

Отчет о проведенном обследовании2

Техническое задание

Отчетные документы:

2Cогласованное с Заказчиком ТЗ

Эскизный проект

Отчетные документы:

2Cогласованный с Заказчиком ЭП

Технический проект

2

Отчетные документы:

Cогласованный с Заказчиком ТП

Пуско-наладочные работы

Отчетные документы:

2Разработанный план ПНР

Эксплуатационнаядокументация

2Согласованная с Заказчиком ЭД

Отчетные документы:

План аварийного восстановления

Согласованный с Заказчиком ПАВ2

Отчетные документы:

Сервисная поддержка

Заключенный договор на сервисную поддержку

2

Отчетные документы:Отчетные документы:

2Cогласованная с Заказчиком ПМИ

2Акт о вводе в опытн./промышл. эксплуатацию

Программа и методика испытаний

ИТ-инфраструктура ГПРФ

Полный цикл проектирования

СПАСИБО ЗА ВАШЕ ВРЕМЯ

ОТКРЫВАЕМОТКРЫВАЕМ

ОТКРЫВАЕМИНТЕГРАЦИЯ ИННОВАЦИЙ

Россия, 115280, Москва,

ул.Ленинская Cлобода, д.19 стр.6.

Тел.: (495) 787-08-88, 787-70-27

Факс: (495) 787-70-28, 787-70-29

E-mail: info@ot.ru

www.ot.ru