【探索的テスト】導入の検討①(どのタイミングで実施するか?)

探索的テストをどのタイミングで、どのフェーズで導入するか?
は最初の悩みどころかと思います。

大きなパターンは2つだと考えています。

①スクリプトテストの前に実施
②スクリプトテストの後に補完として実施

①に関しては、以下の意味合いがあると考えています
・品質の(ある程度の)判断 ⇒スモークテスト的な
・弱点箇所の(ある程度の)判断

②はスクリプトテストでは拾いきれない不具合を
探索的テストで補うパターンです。
スクリプトテストの結果を用いて「弱点をたたく」テストとして
行われることが多いと思います。

以前に弊社メンバが発表した探索的テストに関する資料がこちらですが、
この例だと?の事例となっています。
http://jasst.jp/symposium/jasst15hokkaido/pdf/S3-1-2.pdf

探索的テストのスピード感を生かしてまずは全体に対してアタリを付けて、
その後のスクリプトテストの指針としています。
ただ、この例は「成功事例」となっていますが必ずしもうまくいくとも限りません。

「探索的テストをいきなり始められるだけの、テスト対象に関する知識がある」
ことは前提ですし、
「網羅的ではない」探索的テストの結果をもって判定された「弱点」が本当に
妥当か?
も考えないといけないと思います。

②については、結果としては網羅性とインシデントの発見効率については
高いと考えます。
ただ、スクリプトテストは従来通りに実施することになるので、全体としての
トータルコストの圧縮にはつながらないかとも思います。
(インシデント発見コストは下がるとは思いますが)

どちらかというと、スクリプトテストの後に、補完として弱点強化で使うほうが使いやすいし、そちらの事例の方が多いかなー、、、とも個人的には思っている所です。
(もちろん①②併用もOKでしょうけど)

当然ながら、「同時に行う」のもありですし。

さらに言うとアジャイルなプロセスに追随するパターンも
導入しやすいですね。