CASE 1 導入の経緯操作性の高さを評価して実業務ベースのテストシナリオの作成を依頼
私ども第二公共事業部は、公会計や輸出入に関わるシステムの開発・運用など、官公庁をお客様とした案件に携わっています。今回は、官公庁の申請および承認を行うワークフローシステムの保守や更改開発に伴うテストを自動化するために「SKYATT」の導入を決めました。
保守コストの削減のために他社製品を使ったテスト自動化を検討していたとき、「SKYATT」を紹介されました。デモを見て、日本語のGUIベースでテストシナリオを作成できるなど、非常に使いやすそうなツールだと感じました図1。特に、私たちが手掛ける受託開発の案件では、どのようなテストを実施したのかについて報告が求められますので、テストケースの書き出しやテスト結果の一覧が自動生成できるのはありがたい機能です。また、別のツールを使わなくても画像比較による合否判断が可能なことも、作業効率の向上に役立つと感じました。
その後、導入に向けて具体的な検討をするため、いくつかの検証を行いました。テスト自動化の対象となるシステムは、株式会社エヌ・ティ・ティ・データ・イントラマートの「intra-mart」で構築しているので、製品特有の画面操作やシステムで使用している各種画面部品などが問題なく操作できるかを確認。業務フローに従って、重要業務、頻度が高い業務という順に自動化範囲を広げ、検証しました。こうしたテスト環境での検証で問題がないことを確かめた後、実業務ベースでの詳細な検証を行うために、Sky株式会社にテストシナリオの作成を依頼しました。
お互いに顔を合わせながら、運用が軌道に乗るまでサポートが受けられるのはありがたいです。
CASE 2 導入の検証想定どおりにテスト実行できないときもさまざまな支援を受けて解消
プロジェクトメンバーにも、すぐ「SKYATT」を活用してもらいたいと思いましたが、自動化のノウハウや取り組むための時間が十分にない状況のなかで、短期間に導入を進める必要がありました。それならば、Sky株式会社の技術者に常駐してもらいシナリオを作り上げる方が、効率面でも品質面でもメリットが大きいと考えました。こうした柔軟なサポートが受けられるのも、国内メーカーの商品を採用する利点だと思います。
一般的にこうしたツールを導入した場合、サポート窓口に問い合わせても操作方法や設定以外の回答が得られることはあまりありません。しかし、実際にツールを使ってみると規定どおりに設定したつもりでも、うまくいかないケースというのは必ず発生するもので、思うように動かない理由すらわからないということも往々にしてあります。とはいえ、現場に常駐してシナリオを作成してもらうには、弊社業務への理解が必要になります。その点、Sky株式会社は積極的に関わってくれ、業務をしっかりと理解した上でシナリオ作成を進めてくれました。
もちろん、「SKYATT」でも想定外のケースでテストがうまく実施できないこともありました。しかし、発生したエラーを掘り下げて原因を究明したり、私どもの「こういうテストがしたい」という要望に対して別途ツールを用意したり、その都度手助けをしてくれました。やはり、お互いに顔を合わせて運用が軌道に乗るまでのサポートが受けられるのは、とてもありがたかったです。
CASE 3 期待する効果 使う人を選ばないので活用の幅が広くテストの約40%を自動化できる見込み
「SKYATT」の良さは、使う人を選ばないという点だと思います。最大の特長は、日本語のGUIベースで操作でき、プログラミング言語の知識がない人でも扱えることですが、同時にスキルを持つ技術者にとっても、自由度が高い設計になっていると思います。
どんな製品でも、ツール内の機能だけであらゆるテストケースに対応することはできません。別のツールと連動したり、コマンドプロンプトからバッチファイルを実行したりすることで実現することも多いです。「SKYATT」は、こうした外部との連携がしやすいのも特長だと感じています図2。そのため、基本的な部分はGUIベースでシナリオを作成し、特殊なケースについては外部との連携によって実施するという使い分けができるので、活用の幅はかなり広がると思います。
今回、テスト自動化を導入するワークフローシステムの運用保守は、通常4名体制で行っていますが、機能追加などの大幅な更改開発の場合では、最大で70人月程度の工数をかけています。「SKYATT」の導入によって、テスト全体の約40%が自動化できる見込みが立っており、当初の想定以上の結果に満足しています。こうして、2か月ほどかけた実業務ベースの検証結果を踏まえ、社内承認を受けて「SKYATT」の導入を正式決定しました。
CASE 4 今後の展望 十分な手応えを感じており、すでに別プロジェクトでも検証を開始
今後は「SKYATT」を使ったことがない弊社の運用保守メンバーが、テストシナリオをメンテナンスしていく必要があります。そのため、「SKYATT」の活用に関する知見やノウハウをメンバーに引き継ぐため、Sky株式会社には導入資料やシナリオ作成・実行の手順書の作成に加えて、メンバーへの勉強会も行ってもらいました。その結果、現在ではメンバーだけでも対応できるようになってきました。
一般的にテスト自動化では、同じシナリオを3回以上実行して、ようやく自動化の効果が出るといわれています。今は運用を始めたばかりですので、工数削減など効果についてはこれから具体化していく段階ですが、ここまでの過程に十分な手応えを感じており、すでに弊社の別プロジェクトにおいても「SKYATT」導入に向けた検証が始まっています。こうしたことからも、ツール導入だけではなく、運用開始に向けたさまざまなフォローも含めて、総合的な支援を依頼してよかったと感じています。
導入事例一覧へ戻る