OCP Serverを用いたOpenStack Containerの検証

OCP Serverを用いた OpenStack Containerの検証 2015年01月28日曽我部崇 (Takashi Sogabe) Internet Initiative Japan, Inc MAAS + nova-docker ...

ハイブリッドクラウドの課題 • 容易に購入できる? • 容易に運用できる? • 性能は出る? • コストメリットはある?

OpenStack + Docker • Dockerによるコンテナ仮想化を、OpenStackの APIを用いて利用 – Docker + Heat – Docker driver

検証内容(1) • OCP環境で BareMetal Deployment環境の構築方法を確立し、情報を共有する – MAAS • Bare Metalサーバを直接使う

検証内容(2) • OCP環境で OpenStack + Docker の構築手順を確立し、情報を共有する – Docker Driver (nova-docker) • Icehouse にてコードが削除された

検証内容(3) • OpenStack + Docker構成を性能及び省電力の観点で比較・評価を行なう – 比較対象 • OpenStack with KVM • BareMetal (MAAS) – 測定方法 • BMCの消費電力情報を計測...

Hardware構成(1) • Server – Wiwynn Winterfell (Windmill) – CPU: Xeon E5-2660 2.20GHz x2 • 16-core, 32-thread – Memory: 32GB –...

Hardware構成(2) nova-controller nova-compute • nova-compute – OpenStack + KVM KVM OS App

Hardware構成(3) nova-controller nova-compute • nova-docker – OpenStack + docker driver docker App

Hardware構成(4) Ubuntu • Bare Metal – MAASによるdeploy App

Software構成 • Management Server – MAAS • OS – Ubuntu14.04LTS • OpenStack – 2015年1月の master – devstack – Network構成 • Nova-ne...

測定方法(CPU) • sysbench – cpu-max-prime=100000 – Num-threads={1,2,4,8,16,32}

測定方法(Disk I/O) • fio – direct write, direct read – bs=16k – size={10GB x1, 5GB x2, 2.5GB x4, 1.25GB x8, 0.625GB x16, 0.312...

測定方法(iperf) • iperf – length 128k – parallel {1, 2, 4, 8, 16, 32} – time 30sec

測定結果 (CPU, 計算時間) 0 50 100 150 200 250 300 350 0 4 8 12 16 20 24 28 32 bare-metal nova-docker nova-kvm TotalTime(sec) Numbe...

測定結果 (CPU, 消費電力) 0 50 100 150 200 250 300 350 0 4 8 12 16 20 24 28 32 bare-metal nova-docker nova-kvm PowerUsage(Watt) Num...

測定結果 (Disk I/O, randwrite) 0 50 100 150 200 250 300 350 0 4 8 12 16 20 24 28 32 bare-metal docker-dev-mapper nova-kvm Numb...

測定結果 (Disk I/O, randread) 0 50 100 150 200 250 300 350 400 450 500 0 4 8 12 16 20 24 28 32 bare-metal docker-dev-mapper no...

測定結果 (net, outbound) 7 7.5 8 8.5 9 9.5 10 0 4 8 12 16 20 24 28 32 bare-metal nova-docker nova-kvm Number of Threads Throug...

考察(CPU) • nova-docker スレッド数が1, 2の際に性能が低い – スレッド数が4以上になると性能低下は見られない • 消費電力はCPUの負荷に応じて大きく変わる

考察(Disk I/O) • docker (device mapper)のI/O性能は、bare metal と比べて少し低い程度 – docker(aufs)はおそらくさらに性能が低くなる • aufs を使うと direct i/o の測...

考察(net) • nova-dockerの場合、プロセス数が1,2,4の際に性能低下が見られる – プロセス数が少ないときにCPU性能が十分に出ていないのが原因かもしれない – プロセス数が8以上になると、10Gbpsを使い切れる

考察(全体) • 計算処理だけが必要な場合は、KVMでもオーバーヘッドはそれほど大きくない • Disk I/Oを多用するアプリであれば、dockerを使うことでスループットを大幅に改善できそう • Networkについては、スループットが...

nova-dockerの仕組みは? • nova-docker – OpenStack (IaaS)のAPIでアプリをdeploy – KVMに比べてインスタンスの起動時間が早い – Docker(hub)のイメージがそのまま動く – 分散処理...

クラウド時代のアプリケーション • 今まで – 1つの大きなサーバに手動でアプリを詰め込む • クラウド時代 – 沢山の小さなサーバに自動でアプリを詰め込む Server Hypervisor App1 App2 App3 Server Kub...

Heat + Docker • Heat – 複数のアプリを一括してdeployできるツール • novaで生成されたインスタンスに対して Docker API を操作する – Scheduler は無いので、deploy先は手動で割り当てる...

OpenStack API + Docker API DockerOpenStack Nova Docker or Ironic Nova Docker Docker in Docker の環境で様々なOrchestratorを動かす

様々なOrchestratorとの連携 Docker Magnum Mesos Heat Solum CloudFoundary KubernetesOpenShift PaaS Patform Orchestrator for Distrib...

Magnum • OpenStackのContainer向けSchedulerサービス – Docker, Kubernetesに対応 – APIは新たに設計 • Bay – Work がscheduleされたNodeの集合。AWS ECSのc...

Documents / Tools • https://github.com/iij/ocpj-poc-openstack – MAASを用いてOCPサーバをインストールする方法 – nova-docker インストール方法 – Benchm...