組込みリアルタイムOS向けテストツールの マルチ …jasst.jp/archives/jasst11e/pdf/E4-2.pdf組込みリアルタイムOS向けテストツールの マルチプロセッサ拡張
実証! コベリティのソースコード静的解析ツールと...
Transcript of 実証! コベリティのソースコード静的解析ツールと...
![Page 1: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/1.jpg)
Copyright © Coverity, Inc. 2006. AllRights Reserved. This publication, in
whole or in part, may not bereproduced, stored in a computerized,
or other retrieval system or transmittedin any form, or by any means
whatsoever without the prior writtenpermission of Coverity, Inc.
実証!コベリティのソースコード静的解析ツールと
構造分析ツールがもたらすソフトウェア開発効率の最適化
ソフトウェアテストシンポジウム 2009
コベリティ 日本支社
リージョナル セールスマネージャ-
丸山 智樹
![Page 2: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/2.jpg)
2
CoverityCoverityのミッションのミッション
ソース コードに含まれている重大なバグやセキュリティ上の脆弱性を検出すること
![Page 3: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/3.jpg)
題目
• Coverityについて
• 開発・テストプロセスにおける静的解析の利点とPreventとArchitecture Analyzerがもたらす効果
• 静的解析ツールCoverity Preventについて
• 構造分析ツールCoverity Architecture Analyzerに
ついて
• 投資収益率は?
3
![Page 4: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/4.jpg)
当社の沿革当社の沿革
4
2003 2004 2005 2006
顧客
7
43
500
1
社員
4
19
35
140
2
1999-2003 2007
Coverity で標準化
1.0 リリースC 解析
2.0 リリースC++ 解析
2.3 リリースセキュリティ並列処理
3.3 リリースJava 解析
企業管理
Coverity で標準化
DHS脆弱性
イニシアチブ契約を受注
Coverity で標準化
Coverity で標準化
Linux で 2000 以上の欠陥を検出
スタンフォードチェッカー
98
お客様
WallStreetJournal
技術革新賞を受賞
![Page 5: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/5.jpg)
製品ラインアップ
• Coverity Prevent
– プログラムを実行することなく、データフローを静的に解析し、問題点を指摘
• Coverity Architecture Analyzer
– 複雑なソフトウェアを視覚化して、アーキテクチャの整合性を維持
• Coverity Thread Analyzer
– Javaにおいてのマルチスレッド環境下での並列性の問題点を検出する動的
解析ツール
– Prevent for Javaのバンドル製品
• Coverity Software Readiness Manager
– テスト工程全体を管理するためのバグトラッキングツール
5
![Page 6: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/6.jpg)
今日のソフトウェア開発における今日のソフトウェア開発における重点課題:重点課題: バグの発見と修正バグの発見と修正
10.1M
LOC
1970 1990 2000 2010
10
100
GM の車における指数的に
肥大化するコード
出典:Tony Scott CIO, GM
2005 2008
アプリケーション
レベルの
攻撃の
数
複雑化するコード複雑化するコード 日々増大化するコードのサイズと複雑さ
高まるリスク高まるリスクたった 1 つのエラーや脆弱性が顧客に大きな損
害を与える
ソフトウェアのバグソフトウェアのバグ
でリソースが浪費さでリソースが浪費されるれる
バグにより開発が遅れ、新しい機能の開発に支障が生じる
Testing,
Repairs
61%
Time on
canceled
projects
15%
Product time
on projects
24%
出典:Caper Jones出典:Gartner
開発者がテストとバグの修正に費やす
膨大な時間
アプリケーション レベルで増加する
セキュリティ攻撃
80%増加
6
![Page 7: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/7.jpg)
システム
受入れテスト
マーケット要求仕様
要求仕様書
分析
設計
SW 実装
システム
テスト
モジュール
統合テスト
ユニットテスト
Software Engineering
System Engineering
Test Engineering
Software Engineering
今日のソフトウェア開発における今日のソフトウェア開発における重点課題:重点課題: バグの発見と修正バグの発見と修正
7
![Page 8: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/8.jpg)
今日のソフトウェア開発における今日のソフトウェア開発における重点課題:重点課題: バグの発見と修正バグの発見と修正
8
![Page 9: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/9.jpg)
今日のソフトウェア開発における今日のソフトウェア開発における重点課題:重点課題: バグの発見と修正バグの発見と修正
9
![Page 10: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/10.jpg)
Coverityがテスト工程・手戻り工数削減に貢献!!
• Coverity Preventによる静的データフロー解析• 開発初期段階でのバグ検出
• モジュール(関数)間にまたがった解析
• フルパスカバレージ
• テストケース不要
• 単体テストの最適化
• Preventによる静的解析+動的解析
• プログラマーのコーディングし忘れの防止
• 統計解析
• 導入のしやすさ
• Coverity Architecture Analyzerによる構造の可視化• ソフトウェア構造が要求された仕様に合っているかどうかの検証
• レガシーソースコードのRe-factoring
10
![Page 11: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/11.jpg)
解析ツールのスタイル
動的解析
静的解析
• そのしくみ
• その強み
• その問題点
11
![Page 12: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/12.jpg)
動的解析ツール
• 動的解析
• アプローチ
• 実行可能プログラムを実行時に観察
• その実行プログラムで観察された違反を報告する
• 利点
• 動的なメモリ破壊やリソース リークといった欠陥の検出に
優れている
• 低フォールス ポジティブ(誤検知)率
• 結果 : 動的解析ツールは実際の実行可能プログラムを
観察
12
![Page 13: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/13.jpg)
動的解析ツール
• 問題点
• バグの発見が工程の後半
• システムテストが中心
• 解析時間が長い
• カバレージに限界
• 平均的に20~30%
• バグ入りテスト
• 問題の原因を不明瞭にする可能性
• 未検出率
• テストシナリオで実行される箇所以外は検出出来ない
13
![Page 14: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/14.jpg)
静的解析ツール: Coverity Prevent
• 強み
• 欠陥を開発過程の早い段階で検出
• ソース コード自体に基づいた解析
• 解析はコード全体を通して可能なパスすべてを検査
• コードを実行する必要がない
• テスト ケースを書く必要がない
• スケーラブルなので、大規模で複雑なコードの解析が可能
• プロシージャ間の解析で、漏れのない結果
• 完全なパスカバレッジが可能
14
![Page 15: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/15.jpg)
• 問題点• 不完全な情報 : 静的ツールは実装されていない関数と実行時のデータ値に
ついての仮定を導入する必要がある• 対処法:関数モデルのサポートと作成が可能
void my_free(void* x) {__coverity_free_ _(x);
}
void free(void* x) {/* Do nothing. */
}
• フォールス ポジティブ : プログラムの動作やデータ値についての誤った仮定がフォールス ポジティブにつながる
• 対処法• 関数モデルのサポートとカスタムモデルの作成可• ブーリアンSATソルバー
• フォールスパスプルーニング
静的解析ツール: Coverity Prevent
15
![Page 16: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/16.jpg)
Coverity Prevent
マッピング 特定 解決
16
![Page 17: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/17.jpg)
Prevent導入方法:従来のプロセスに手を加える必要なし!
ソース
ファイル
オブジェクトファイル
中間ディレクトリ
欠陥データベー
ス
実行可能
イメージ
Cov-Build
通常のビルド
リンク
DefectManager
cov-build
通常のビルド
cov-commit-defects
cov-analyze
Webサーバー
17
![Page 18: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/18.jpg)
Preventによるフロー解析と静的構文解析ツールとの違い
State5
State2 State3 State4
State6 State7 State8
State9 State10
State11
State1
• 一般的な構文静的解析ツールが可能なのは?
State2 State3 State4
State5 State6 State7 State8
State9 State10
State11
State1
• Preventによるフロー解析が可能にすることは?
•フルパスを実行し網羅的にソースコードを解析•各State間や関数間の依存関係を解析をサポート•デバッグするかのようにソースコードをシミュレーション
•潜在的なバグをツールが検出•低誤検知率
•各関数内の構文チェックが主流•深度が浅い•各Stateや関数間の関連はNG•警告メッセージが多数が真に潜在するバグ検出は?
•高誤検知率
18
![Page 19: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/19.jpg)
例: Preventによる静的フロー解析
void four_paths(int cond1, int cond2) {
char * x = 0;
if (cond1) {
x = malloc(cond1);
}
*x = 'a';
if (cond2) {
free(x);
}
}
開始開始
char * x = 0;char * x = 0;
if (cond1)if (cond1)
x = malloc(cond1);x = malloc(cond1);
*x =*x = ‘‘aa’’;;
if (cond2)if (cond2)
free(x);free(x);
終了終了four_paths(1,1); // 問題なし
four_paths(1.0); // リソース リークfour_paths(0,1); // Null ポインタの参照解除four_paths(0.0); // Null ポインタの参照解除
19
![Page 20: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/20.jpg)
Coverity Preventのメリット
• ビルド環境&ソースコードの改変不要操作性操作性
詳細な解析詳細な解析
• プロシージャ間解析
• あらゆるパスを解析
• 統計解析
• インクリメンタル解析
正確な解析正確な解析 • <15% 誤検知率
容量容量 •何百万行ものコードに対応可能
20
![Page 21: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/21.jpg)
インクリメンタル解析とバグ統合
• Prevent の初回の実行後は、C/C++ ソース コードへの変更にはイン
クリメンタル解析のみ必要
• Iteration毎にフル解析を行わないためテスト工程の効率化
• Prevent では独自のテクノロジを使用してバグを記憶するため、ソースコードが変更されてもバグが 2度報告されることはありません。
21
![Page 22: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/22.jpg)
Defect Manager
Coverity PreventCoverity Prevent とと CoverityCoverity ExtendExtend
解析プラットフォーム
ビルド
C/C++ソースコード C/C++
ExtendPrevent Checkers
プロシージャ間データフロー解析統計的解析
フォールス パス プルーニング全パスインクリメンタル解析
並列処理セキュリティ品質 カスタムチェック
開発者向けダッシュボード管理レポート公開されている標準インターフェイス
コードのビルド• 自動設定• ビルド システムの変更は不要
コードの解析• ソース コード内の重大な実行時 バグとセキュリティ脆弱性の検出
• 高いスケーラビリティ• コード特有のイディオムと API の解釈方法を設定
コードの修正• 根本原因解析• バグのライフサイクル管理• レポート• スクリプト言語 CLI
バイトコード
Javaソースコード
Java
仮想ビルド
パーサ
22
![Page 23: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/23.jpg)
23
Prevent チェッカー ライブラリ
品質
• システムとプロセスのクラッシュ•メモリ/リソース リーク
•データ、メモリ、ファイルの破損•パフォーマンスの劣化•予期しない動作
セキュリティ
• サービス拒否
•権限昇格•悪質なコード
並列処理
• デッドロック
•ロックの競合•予期しないパフォーマンス•パフォーマンスの劣化
ポインタ エラー• 未初期化データの使用- 未初期化メモリ- 未初期化変数
割り当て演算子の不一致無効なポインタの間接参照- Null ポインタの間接参照- 不適切なアドレス空間-解放されたポインタへのアクセス
-ぶら下がりスタック参照•空きリソースの使用- 二重解放 (メモリ、ファイルポインタ、システム リソース)- 解放後に使用 (メモリ、ファイルポインタ、システム リソース)
範囲エラー• 範囲外配列アクセス•バッファ アンダーフロー
•スタック破壊- スタック オーバーフロー- スタック バッファ オーバーラン- スタック文字列オーバーラン
•負の整数への無効なキャスト•不適切な割り当てサイズ•Null 以外で終了した文字列
ロジック エラー• 欠陥のある分岐ロジック無効な STL イテレータの使用
•使用不可能な演算一貫性のないエラー処理
•セキュリティ ロジック エラー- チェック時刻、使用時刻- セキュリティで保護されて
いないファイル作成- 不適切な chroot- 不適切な特権継承
リソースの問題• リソース リーク- メモリ リーク- ファイル ポインタ リーク- システム リソース リーク
API の使用エラー• サイズの大きなパラメータの
受け渡し•セキュリティで保護されていない一時ファイル作成•不適切なメソッド オーバーライド
並列処理の問題• 二重ロック
•ロック解除の欠如•不正確なロック獲得•ロック時のスリープ
セキュリティに関する警告セキュリティを脅かす可能性の
あるコーディング慣行
チェッカー ライブラリ
外部データ処理• 整数- ループ結合- 配列アクセス- 割り当てサイズ
•文字列- バッファ オーバーフロー- SQL インジェクション- 書式文字列エラー- クロス サイト スクリプティング
![Page 24: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/24.jpg)
Coverity Architecture Analyzer
•ソフトウェア依存関係を分析–コール グラフを含むコード依存関係を視覚化
–変更およびリファクタリングの及ぼす影響を
把握
–意図しない依存関係を除去
–仕様化・文書化されていないレガシーコードの
構造把握
–要件定義と開発コードとの相関比較
24
![Page 25: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/25.jpg)
システム
受入れテスト
マーケット要求仕様
要求仕様書
分析
設計
SW 実装
システム
テスト
モジュール
統合テスト
ユニットテスト
Software Engineering
System Engineering
Test Engineering
Software Engineering
開発プロセスにおける開発プロセスにおけるPreventPreventととArchitecture AnalyzerArchitecture Analyzerのポジションのポジション
Coverity PreventCoverity Architecture Analyzer
25
![Page 26: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/26.jpg)
配備スタイル
• 日次ビルド(ナイトビルド)スタイル
• Coverity 管理者による毎晩の解析実行
• 開発者による、Prevent Defect Manager を使用した
欠陥の検査
• エンタープライズスタイル
• 上記のスタイルの機能に、開発者によるローカルマシンでの解析実行
26
![Page 27: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/27.jpg)
日次ビルド(ナイトビルド)スタイル
CM
Subversion
CVS
ClearCase
VSS
etc.2.ビルド、解析、Defect Mgr コミット
(日次または数時間毎-自動)
CruiseControl, Maven などとの
ビルド環境併用も可
Defect Mgr.
開発者
5. Defect Mgr を利用し
進捗をチェック
PM、品質管理者
1.ビルドソースの取得(自動)
3. Defect Mgr を利用しバグをフィックス
4.修正ソースのチェックイン
Prevent 管理者
ライブラリアン
構成管理者
27
![Page 28: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/28.jpg)
エンタープライズスタイル
CM
4.ビルド、解析、Defect Mgr コミット
(日次または数時間毎-自動)
Defect Mgr. 開発者
6. Defect Mgr を利用し
進捗をチェック
PM、品質管理者
3.ビルドソースの取得(自動)
2.コードのチェックイン
1. コーディング時にPrevent
Desktop を利用し、ローカル
でバグをフィックス
5. Defect Mgr を利用し
結合レベルのバグをフィックス
28
![Page 29: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/29.jpg)
製品デモンストレーション
Coverity Prevent
Coverity Architecture Analyzer
コベリティ 日本支社アプリケーションズ エンジニアリング マネージャー
高石 勇
![Page 30: 実証! コベリティのソースコード静的解析ツールと …jasst.jp/archives/jasst09e/pdf/C6.pdf2 CoverityCoverityののミッション ソースコードに含まれている重大な](https://reader034.fdocuments.net/reader034/viewer/2022043009/5f9e03a9ba5c5356f35adeb4/html5/thumbnails/30.jpg)
ご静聴ありがとうございました
コベリティ 日本支社〒163-0532
東京都新宿区西新宿1-26-2新宿野村ビル32階TEL:03-5322-2978
E-Mail: [email protected]: http://www.coverity.com/index_jp.html
30