docker & badoo: никогда не останавливайся на достигнутом

Docker & Badoo: никогда не останавливайся на

достигнутом

Антон ТурецкийСистемный инженер, Badoo

@tyrchenok

Citius, altius, fortius!

• 300 000 000 пользователей• ~ 3000 серверов• 200 из 250 Docker хостов• 1046 запущенных

контейнеров

Docker: Why..?

Single Environment

Docker: Why..?

Single EnvironmentMonolithic

Docker: Why..?

Single EnvironmentMonolithicRollback guarantee

Docker: Why..?

Single EnvironmentMonolithicRollback guaranteeResource utilisation

Docker main thing

Docker storage driver

AuFSOut of kernelShare memory



DevicemapperIn mainline kernelKnows everyone




BTRFSIn mainline kernel





ZFSKernel moduleStability





ZFSKernel moduleStability

OverlayFSKernel >= 3.18Fast

Device Mapper(theory)

• CoW on block level


• CoW on block level• Each container/image gets its own block device


• CoW on block level• Each container/image gets its own block device• Snapshot at any given time

Device Mapper(in practice)

• Mountpoint is only mounted when the container is running



• The data is stored in two files: data & metadata



• The data is stored in two files: data & metadata• Docker puts data and metadata on a loop device backed by a

sparse file



• The data is stored in two files: data & metadata• Docker puts data and metadata on a loop device backed

by a sparse file

Example about performance

Device Mapper(на деле)


• Развалилось довольно быстро


• Развалилось довольно быстро• Идём дальше!

BTRFS(theory)

• CoW at the filesystem level

BTRFS(theory)

• CoW at the filesystem level• Create subvolume like mkdir :)

BTRFS(theory)

• CoW at the filesystem level• Create subvolume like mkdir :)• Docker root must be BTRFS filesystem

BTRFS(theory)

• CoW at the filesystem level• Create subvolume like mkdir :)• Docker root must be BTRFS filesystem• Snapshot at any given time

BTRFS(in practice)

• Mountpoint should be present even if the container is not running

BTRFS(in practice)

• Mountpoint should be present even if the container is not running

• Performance ~ native/2 (data goes to the journal first)

BTRFS(на деле)

Неподготовленному пользователю крайне не рекомендуется трогать

btrfs tools

“Наши руки не для скуки!”


• Единственное нормально работающее (~ 1.5 года назад)


• Единственное нормально работающее

• Мы живём с этим уже 2+ года!

OverlayFS(in practice)

• Performance ~ native


• Performance ~ native• Use the same EXT partition


• Performance ~ native• Use the same EXT partition• Native tools for manage

OverlayFS(keep in mind)

• high inode usage

• module called “overlay”

Грабли: docker pull

Грабли: docker pull(результат)

• Падение docker демона


• Падение docker демона

• “Радость”Operations Team


Лучший патч, что я видел!

Misc

EXT4 hardlink limit

65 534

Error response from daemon: could not find image: no such id: b33b714e8dd29b3d9d5ffde6568fc2e90b86ab9fe5aaea33fb057487df

Что мы еще сделали?

Monitoring container, который шлёт статистику в Graphite


docker_build

для сборки образов в (полу-)автоматическом режиме


Docker для сборки RPM (мы знаем про OBS, да)


Docker для сборки RPM (мы знаем про OBS, да)

- запуск “свежего” образа- установка зависимостей- сборка по spec файлу- получили пакет


**baDocker – оркестрация (в вечной разработке)

baDockerЧто у нас есть/было? Что хотели?

baDockerЧто у нас есть/было?

• Сервисы и их типы• Версии• Серверы

Что хотели?

baDockerЧто у нас есть/было?

• Сервисы и их типы• Версии• Серверы

Что хотели?

Стоп/СтартОбновлениеВсякое разное и WebUI

• Client Less

• Client Less• Get/Set data

viadocker API

• Client Less• Get/Set data

viadocker API

• Монстр!

baDocker #2

• Что изменилось?• Почему так?

baDocker #2

• Docker socket: упрощаем взаимодействие

baDocker #2


• Puppet Facts: они уже есть

baDocker #2


• Puppet Facts: они уже есть

• Как это теперь работает?

Зачем всё это было?

• Видим цель – идём к ней!


• Видим цель – идём к ней!• Чужой опыт – это полезно!


• Видим цель – идём к ней!• Чужой опыт – это полезно!• Можешь лучше – сделай!

Вопросы?Антон Турецкий

[email protected]@tyrchenok@BadooDev

http://habrahabr.ru/company/badoo/https://tech.badoo.com/

предыдущие доклады про Docker: https://goo.gl/KcIhwG

http://habrahabr.ru/company/badoo/

https://tech.badoo.com/

https://goo.gl/KcIhwG

docker & badoo: никогда не останавливайся на достигнутом

Software