第44回「ソフトウェア品質の品質評価2」
前回に引き続いて品質評価についてお話します。
プログラム製造工程の評価は、単体テストにおける不具合の測定となります。測定方法としてはプログラム規模、不具合件数の報告と共に、簡単な分類をすると効果的です。
不具合測定における分類と注意点
- 単純なコーディングミス
- 設計書の解釈不足による不具合
- 設計書のミスによる不具合
この分類で要注意は解釈不足です。熟練のプログラマーであっても共通仕様を無視し、勝手な解釈で処理をすることが多々あります。設計作業でもプログラム製造作業でも不具合集計する際には担当者別に集計することが必要です。評価作業において、すべての資料を均等に確認すると時間は膨大となります。技術的に指摘事項が多い担当者を抽出して確認することで、効率的な評価を行うことが可能となります。
テスト工程と出荷基準のポイント
テスト作業の評価は、テスト計画書から行います。開発規模に見合ったスケジュールや要員計画を確認し、充分な工数が確保できているか。一般的には、開発工程の３割がテスト工数に割り当てられます。金融や生命のリスクがあるシステムの場合は５～８割がテスト工数と考えられています。余談ですが、JAXA（宇宙航空研究開発機構）からテストや妥当性確認（評価）に関する「IV&Vガイドブック：虎の巻」【注1】が読みやすく参考になります。
私たちの対象とするシステムは、ここまで要求されませんがテスト作業の結果は評価の最重要項目となります。実行する「テストの密度」があります。
開発規模（機能数・項目数）に対してテストケース（パターン）は適当か、システムの目的に対してテストの網羅性は充分か、テスト環境は適切か、非機能要求（あたりまえ要求）試験は考慮されているか、不具合管理はどのように行われているか、というような確認を行います。
テスト作業で検出された不具合件数を測定、数値化します。プログラム規模に対して不具合の検出率を計算し、１回目のテスト、２回目のテストと進むにつれて検出率が減少するのが一般的です。
最後は、プロジェクトとしての出荷基準の設定を行い、その条件を満たし、誰が判定したかを確認します。テスト作業において、このようなプロセスがしっかり確率されているプロジェクトであれば、問題が少ないと思われます。
マニュアルにおける評価基準とは
最後に、マニュアル（利用者文書）も評価の対象となります。利用者にとっても、運用管理者にとっても重要な情報となります。
提供されている機能とマニュアルの内容が一致しているか、エラーや障害時に表示するメッセージが適切か、その場合の対処方法が適切に案内されているか、問い合わせ先など重要な情報が提供されているか、というような確認を行います。
最近はマニュアルが無い場合があります。その場合でも、必要な情報が提供されることが必須ですので、提供されていない製品は評価外であると思います。
製品評価は、妥当性確認であると思います。客観的に評価できない分野ですが数値化と基準を設定することで明確になる範囲も広がります。品質保証部において、その作業範囲が議論されますが、今回のコラムをご参考に社内基準を作成することをおすすめします。
【表１】パッケージソフトウェアの影響度と例
監査 レベル | 影響レベル（※１） | 想定される | |
財産や社会等の負の影響（※１） | 利用者等への負の影響（※１） | 影響の程度（※２） | |
４ | 産業への広範囲な影響 | 当該利用者ならびに当該利用者以外への重大な影響 | 原子力発電所・地震予知 |
３ | 当該産業に限定された影響 | 当該利用者への重大な影響に加え、当該利用者以外への軽微な影響 | 医療系制御システム |
２ | 当該企業に限定された影響 | 当該利用者に限定された重大な影響 | サーバ系・業務系ソフトウェアで、その結果が直接的に他事業への重大な影響を及ぼさないソフトウェア |
１ | 当該製品・サービス事業に限定された影響 | 当該利用者に限定された軽微な影響 | オフィス系・開発支援・言語 |
０ | 影響はない/ほとんど影響はない | 影響はない/ほとんど影響はない | データ集・ゲーム・家庭趣味 |
PSQは監査レベル２の一部及び１と０を対象とする。 | |||
（※１）列：「製品・システムにおけるソフトウェアの信頼性・安全性等に関する品質説明力強化のための制度構築ガイドライン（通称：ソフトウェア品質説明のための制度ガイドライン）第1版」 独立行政法人情報処理推進機構（IPA) 図3‐4から転載
（※２）列：「製品・システムにおけるソフトウェアの信頼性・安全性等に関する品質説明力強化のための制度構築ガイドライン（通称：ソフトウェア品質説明のための制度ガイドライン）第1版」 独立行政法人情報処理推進機構（IPA) 図3‐4を基に作成
URL：https://www.ipa.go.jp/archive/digital/iot-en-ci/mieruka/ps6vr7000000y3u7-att/000029495.pdf
IPA 独立行政法人 情報処理推進機構
URL:https://www.ipa.go.jp/
【注１】宇宙航空研究開発機構（JAXA）「IV＆V：虎の巻」
宇宙航空研究開発機関リポジトリ
URL：https://jaxa.repo.nii.ac.jp/records/4174
