テスト自動化事例
ブライシス株式会社様

高原様：

BIZTELはサービス開始当初からクラウド型での提供を行なっています。
電話というサービス特性上、安定した通話品質が求められるため、特定のお客様の負荷上昇など品質を悪化させる事象が他のお客様のサービスに影響しないよう、お客様ごとに仮想サーバーを立ててその仮想サーバー上でアプリケーションが稼働する構成を取っています。

お客様個別のカスタマイズが他のお客様に影響することがないため、BIZTEL Ver.2系では標準機能では満たせないお客様個別の要望に対してはカスタマイズを行い、対応しておりました。

しかし、結果としてバージョンアップ時にカスタマイズした機能の動作確認と品質保証が必要となりますし、お客様に早期に新機能を利用いただくことができないなど課題が生じていました。

そのため、2020年から提供を開始したBIZTEL Ver.3系では、お客様個別の要件が生じた際にはカスタマイズではなく標準機能に取り込む方針でサービスを展開することといたしました。

森田様：

ユーザー単位でのカスタマイズが集約されるBIZTEL Ver.3系では特定のお客様では全く使われない設定値を加味した手動テストを実施するとパターンが膨大になってしまうと考え、テスト自動化を進めることを決めました。

最初はとあるアプリケーションベンダーと組んでテスト自動化を進めたのですが、テスト自動化が開発者視点であり、テストカバレッジを考えたり、テストの目的を明確にしたりすることができず、共同開発先からソースコードの納品を受けるだけで、ブライシス社内部でのテスト資産の有効活用ができませんでした。

その失敗からどのテストレベルのどのテストタイプを自動化すると効果があって有効活用ができるかについて、一緒に考えてくれる企業と再度テスト自動化に取り組みたいと考えましたが、2019年時点では一緒に取り組んでくれるベンダーがなかなか現れませんでした。

ベンダーが見つからなかった理由としては、どのベンダーもテスト自動化の実績が少なく、開発者視点で自動テストのスクリプト開発に専念しようとするばかりで、当社とともに伴走型で協力してくれる体制を取ってくれるベンダーがいなかったためです。

そこで2020年1月にコールセンターの仕組みを熟知し、E2Eテストの目的である利用者視点をしっかりと考慮しながらテスト自動化の実現を提案された日本ナレッジさんなら伴走型で協力してもらえると判断し、共同でテスト自動化の取り組みを開始しました。

森田様：

BIZTELはコールセンター向けのソリューションのため、当然ながら電話主体です。日本ナレッジさんの当初の提案ではOSSのモバイル向けテスト自動化フレームワーク「Appium」を使ってスマートフォンで電話をかければいいのではというアイディアもありましたが、スマートフォンの電話機能ではなく、実際のオペレーターが利用するBIZTEL付属のソフトフォンでの通話を実現したいという意志があり、その理由をしっかりと説明させていただきました。

説明の中で御社加藤さん^(※1)に共感していただき、自動テストでのソフトフォンでの通話は必須であることを認識してもらったことで、両社で歩調を合わせながら自動化の仕組みの検討を進めることができました。

(加藤)：

自動化は単に手段であり、目的が不明瞭なテストは品質保証の観点で意味が無く、自動化しても効果がないと思います。

BIZTELの場合、テスト実施者を集めて手動テストで品質確認していくことは環境面とソフトウェアの性質上難しいと感じており、テスト自動化が効率的な手段になったと思います。

これまで20年以上テスト自動化に携わってきましたが、自動化のコンセプト、目的、ゴールをしっかりと考えた上で、明確に自動化に取り組もうとしている企業は珍しいと感じておりました。

森田様：

本当に自動化という手段を目的と考えて提案を行っているベンダーが多く、ビジネスの手段として自動化を一緒に考えてくれて、既存のテスト資産の有効化を一緒に考えてくれるベンダーは日本ナレッジさん以外ほぼいないと思いました。

森田様：

通話をコントロールするだけでも難しいですが、コールセンター向けのソリューションの場合、どのようにオペレーターに通話をつなぐかのアルゴリズムがあります。アルゴリズムとしてはラウンドロビン、優先順位付けなどがあり、オペレーターの状態(待機,通話中,離席など)を加味して通話をつなぐ機能があります。
この機能はコールセンター向けのソリューションとしては確実に動いてくれないと困る機能ですが、テストを自動化させるには本当に困難な機能です。

お客様の通話のコントロール、BIZTELの管理設定、オペレーターのリアルタイムの状態確認、そしてテストした結果の判定を自動で行うことになるためです。
ヘルパーアプリがソフトフォンと連携して通話をコントロールし、BIZTELの管理設定とシートビューと呼ばれるオペレーターの状態確認機能はテスト自動化ツールのRanorexで行い、最後に判定とレポート生成をヘルパーアプリで実現してくれました。
これはブライシスが手動で行っているBIZTELのE2Eテストをコンセプトのままに自動化しており、E2Eテストの目的である利用時品質をしっかりと満たしてくれています。

御社のヘルパーアプリの位置づけを理解するには当社側も苦労しました。
たとえば、RanorexでBIZTELのテスト結果の判定を行うことは難しいことは他に提案を受けていたベンダーから聞いていたので理解できていましたが、テスト自動化時の重要な処理であるテストシナリオのコントロール、テスト実施、テスト結果の判定をヘルパーアプリで行うというアイディアがBIZTELのテスト要件に合うかどうかを理解するには半年ぐらいかかりました。
しかし、今ではヘルパーアプリがあるので自動化ができていると確信しています。

(加藤)：

ISOのソフトウェア品質の委員である私から考えると、利用時品質を意識して製品品質が確保されているかをE2Eテストで考慮しないと、結合テストと同じスコープになってしまいます。
ブライシス様がE2Eテストの自動化という目的を達成するには、ソフトウェア品質の国際規格であるISO 25000シリーズ(SQuaREシリーズ)で検討されている品質エンジニアリング、つまり品質の積み上げを論理的に考え、E2Eテストの開始/終了条件の明確化に取り組んでいく必要があります。その観点から見ても、品質確保の確認として今回のE2Eテストの自動化は効果的になっていると思います。
ヘルパーアプリの要件を考えることは非常に難しかったですが、独自ツールでのテスト自動化を私が取り組んだ経験があったことに加え、ブライシス様のE2Eテストのスコープが明確だったのでどうにか実現できたと考えています。

森田様：

すべてのテストを100%自動化したいと考えている企業がありますが、それは理想であり現実的ではないと考えています。
人間が考えているような性能面、音質面を定量的に判定することはできますが、それを肉声で行わないと意味が無いパターンもあります。
一本調子な音声データを使ってテストをしていても、実際の現場はいろんな声の人がいますので、それではテストとしても意味が無いというパターンになることがあります。
クラウドで製品リリースをしているということはセキュリティ対策やベースとなるOSやミドルウェアの更新によるシステム環境の変化があり、これらの変化を自動テストで品質への影響をすぐに確認できるところが大きいと感じています。
日本ナレッジさんが取り組んでいるE2Eテストの自動化がある意味クオリティゲートとして機能していると考えており、ここが一番の価値に感じ、非常に高く評価をしております。

今後もBIZTELの品質保証の一貫として、一緒に品質の見える化をリアルタイムで実現できればと思っています。

高原様：

品質保証部が担当しているサーバー・クライアントアプリケーション以外にも、サービスの基盤を構成するシステムがあり、担当の部署が品質面の取り組みを行っております。

また、BIZTEL以外にも取り組んでいるサービスがございますので、サービスやシステムの特性に合わせた品質確保の方法に関しても随時見直ししていきたいと考えています。

新しい取り組みを進める上で、幅広い知識や経験をお持ちの日本ナレッジさんにこれからも相談させていただきたいと考えております。

BIZTELのテスト自動化のシステム構成：