Dev@cloudの実装

©2010 CloudBees, Inc. All Rights Reserved


DEV@cloud の実装Jenkins-as-a-Service はどうやって動いているか

川口耕介


2©2010 CloudBees, Inc. All Rights Reserved

DEV@Cloud とは• Jenkins のホスティング– 1000+ のマスタ– のべ 1,500,000 分以上のビルド

• ソースコード・バイナリリポジトリなど– Git, SVN, Maven

• 現在は EC2 上で動作



Jenkins マスター• マスターは別々の JVM で– 別の OS ユーザーで

• なぜ？– 隔離– モニタリング・診断などが簡単

• 一台の計算機に多数のマスタを集積– 使われていないインスタンスは乾燥保存



Jenkins マスターのコード• Core = OSS Jenkins– LTS– 独自パッチはほぼ解消した

• 独自プラグイン群– ユーザーに使われると困るもの

• Groovy Console• マスター上でビルドが起こらないように

– ユーザーが設定する必要のないもの• メールサーバの設定• ルート URL の設定



Jenkins マスターのデータ• $JENKINS_HOME は EBS に– １テナント１ボリューム– スナップショットによるバックアップ

• サイズの拡大が可能– 再マウントの為の短いダウンタイムが必要

• スナップショット＋クローンを活用したい！– プラグイン実験用の一時的クローンとかどうで

しょう？



Jenkins の外 :Chef

• Tomcat• 初期設定• ビルドツール• …

package “httpd”cookbook_file “/etc/httpd.conf” do

source “myconfig”endservice “httpd” do action :startend



Chef のアーキテクチャ

chef-server

slavesweb-tier

masters



Chef の使い方の工夫• Chef にゼロからスレーブをセットアッ

プさせていると間に合わない

• 予めセットアップしたやつを AMI 化– 残りデルタだけを起動時に Chef にやっても

らう



Jenkins と Chef/Puppet

Series1

Chef/Puppet

手動管理

手間

台数



スレーブの割り当ての仕組み• Providore– ブローカー・サービス– Jenkins の外部– Jclouds を使って EC2 API と対話– スレーブの割り当て・プール・破棄



プールからの割り当て

プール

providore

スレーブくれ！

再利用



EC2 からの割り当て

ec2 api割り当て

教訓 :• EC2 API が落ちてもよいようにせよ

providore




初期化と占有

slave

1. LXC を開始2. マスターを割り当て

providore


スレーブ



スレーブの接続

2. SSH で接続

providore

1. 接続情報通知

スレーブ



スレーブの接続

2. LXC の破棄・掃除providore

1. 解放

スレーブ


デモ



Linux コンテナ• OS レベルの仮想化– 中からは完全な独立 Linux システムのように見える– 実は単一カーネルの上で動いている– Solaris の笑い声が聞こえる…

• スレーブのリサイクルが高速– リセット＆リブートは LXC の方が圧倒的に早い

• EC2 からの独立性– テナントの隔離や再利用のロジックがクラウド API に

依存しない方が望ましい



EC2 Hypervisor

ロシア人形モデル

EC2 Node

LXC Guest



Linux コンテナ : ワークスペース• LXC ホストには複数テナントの WS が接

続– LXC ゲストは１つしか見えないようになっ

ている– Consistent hash によってできるだけ同じ

ホストにビルドを割り当てる

• 仮想化版の HDD カートリッジ



Nagios によるモニタリング• jenkins-ci.org も• 拡張可能• テキストベースの設定ファイル– マスターが追加されるたびに自動生成

• PagerDuty との統合• サービス間の依存関係の概念– コア・サービスが落ちた時の大量の通知を防

ぐ



モニタすべきもの• ユーザーが見るもの : index ページ• JVM ヒープ、特に permgen• 負荷• ディスクスペース• スレーブの稼動状況

curl http://jenkins/computer/api/json



未解決問題• マスタが増えるにつれスケーラビリティ

が…• ポーリングからプッシュへ

大丈夫ですか？返事してください！



Groovy スクリプトコンソール• 探索的トラブルシューティング• データ収集

• Scriptler 2.0– コミュニティのリポジトリから管理スクリ

プトをダウンロードして実行する仕組み– https://github.com/jenkinsci/jenkins-

scripts/



「一度きり→手作業」 vs 「繰り返し→自動化」

• 他のツールとの連携は我々には「一度きり」ではない– いわゆるスケールメリットというやつ

• エコシステム・パートナー–あらかじめ統合を自動化しておく– ユーザーは連携を有効化するだけ



まとめ• 野良 Jenkins 、増えていませんか？• 少しずつシステマティックな管理を導入

する– スケールメリット– 一度にやろうとすると無限に先延ばしになっ

てしまう• この事例が参考になりますように



今週末発売• 入門的内容– Java & Ruby

• チーム間作業の改善–昇進、指紋

• 検証済みマージ– Subversion & Git

• 分散ビルド• Selenium



Questions?

Thank You!

http://www.cloudbees.com



2006年• 分散ビルドのサポート



Elasticity



Jenkins のクラウド化

机の下計算機

分散ビルド

自動伸縮クラスタ多数のマスタ

Elastic マスタ

Dev@cloudの実装

Technology

Transcript of Dev@cloudの実装