CASE STUDY導入事例

CASE 1　導入の経緯お客さまの総合窓口となるシステムを安定稼働させるための死活監視に活用

当社は以前から『お客さま体験価値』（CX）を重視してきました。特に、私どもDXシステム2部 開発5グループでは、お客さま対応の総合窓口となる「My au」アプリなどを開発・運用していることから、常に『お客さま体験価値』を強く意識しています。
2021年4月、オンライン問い合わせの時間短縮のためにAIチャット対応を強化しました。そのAIチャットの稼働状況を確認（死活監視）するために「SKYATT」を活用。併せて、電話によるお客さま対応の総合窓口「157」においても、死活監視に「SKYATT」を使うことに。「157」ではお客さまの用件によってチャットのご利用を案内しており、お客さまの携帯電話にSMSを送信してチャットのURLをお知らせしているのですが、そのSMSが適切に届いているかを確認する仕組みとして活用しています。
チャットでのお客さまの発話（質問などの入力）に対して、AIが何らかのレスポンスをしているかどうかについては、以前から把握できていました。しかし、それが適切な回答なのかを判断するには、実際に質問を投げかけ、その回答の内容まで確認する必要があります。例えば、どんな質問に対しても、同じ回答を繰り返してしまうといった不具合が発生した場合、従来はすぐに発見して対処できる仕組みがなかったのです。
「157」からのSMS送信についても同様に、システムがSMSを送信した形跡があったとしても、途中の何らかの不具合によってお客さまの端末にSMSが届かなかったり、遅延が発生したりすれば、『お客さま体験価値』を大きく損なうことになります。

Ｓｋｙ株式会社のエンジニアの協力があればこそ、当初の想定以上の自動テストが実現できました。

CASE 2　導入の効果自動E2EテストでAIチャットが適切な回答をしているかを確認

これらの課題に対して、お客さまと同じ環境を用いたE2Eテストを行うため、実機を「SKYATT」で操作し、適切なレスポンスが得られるかを確認しています。写真
AIチャットの死活監視の場合、あらかじめ複数の質問文を用意し、「SKYATT」でチャット上に文字入力。それに対するAIの回答の文字列をチェックして判定しています。もし、想定と異なる回答だった場合はNG判定となり、「SKYATT」が端末のスクリーンショットを撮り、メールで管理者に通知。そのメールの内容がグループメンバー全員に展開されるようになっています。
「157」におけるSMS送信テストも基本的なフローは同じで、「SKYATT」で実機を操作し「157」に架電。その後、音声ガイダンスに従ってSMSが送信されるメニューまでプッシュ操作を繰り返した後、SMSの受信を待ちます。そして、最後の操作から受信までの時間が規定よりも長かった場合にNG判定としています。これらのテストをそれぞれ10分置きに繰り返すことで、不具合の発生をいち早く検知できるようにしています。
実は、自動テストのすべてが「SKYATT」だけで完結しているわけではありません。Ｓｋｙ株式会社のエンジニアが当社の要望を丁寧にヒアリングし、外部ツールなどを用意してくれたからこそ実現しました。そもそも、PCではなくスマートフォンの実機操作に対応するテスト自動化ツール自体が少なく、特にiOSに対応しているツールが見つからなかったことから「SKYATT」を選んだのですが、それ以上にエンジニアの協力によって、想定以上の自動テストが実現できたことにとても感謝しています。

CASE 3　導入の効果 アジャイル開発のアプリに対して画像比較を行い前回との差異を抽出

その後、「My au」アプリのUIテストでも一部に「SKYATT」を活用するようになりました。「My au」アプリはアジャイル開発のため、細かな仕様変更が繰り返されUIも変更されます。そのたび、当社のテストエンジニアが影響範囲を見極め、手作業でUIテストを実施しています。現在はそれに加えて「SKYATT」で端末のスクリーンショットを自動取得し、前回テスト時に取得した画像と比較しています。画像比較により前回と今回の差異が洗い出せる図ので、変更されるべき箇所が正しく変更されているか、変更すべきではない箇所に影響が出ていないかを正確にチェックすることができます。
もちろん『お客さま体験価値』を向上するため、UIテスト全体として手作業や目視でのテストは欠かせませんので、テストを行う全端末のうち半数を目視でテストし、のこりの半数を画像比較で判定するといったように、バランスを見ながらテストを進めています。そのため、テスト工数が大きく削減できたということはありません。しかし、この数か月の間だけでも、目視では見落としてしまっていた軽微な間違いを発見できたことからも、テスト精度はかなり向上していると感じています。

前回のテスト画像と比較して差異のみを洗い出し

CASE 4　今後の展望 常駐のエンジニアが定例会議にも参加してくれ適宜協力できる体制

今後も「SKYATT」を活用する場面が増えていくだろうと思います。当社ではAIチャットと同様に、LINEによる問い合わせも受けつけているのですが、そちらの死活監視用のテストシナリオについては、当社に常駐しているＳｋｙ株式会社のエンジニアの力を借りながら自作しました。
常駐のエンジニアには、テスト自動化に関する定例会議にも同席してもらい、当社が取り組みたいことや目指す姿を共有してもらっています。そのなかで、どうすれば自動化が実現するのか、課題はどこにあるのかなどを、私どもと同じ目線で考えてくれます。当社だけでは、実現性が判断できず手探りにならざるを得なかったことも、具体的な検討まで進めることができているのは、こうした手厚いフォローがあるからだと実感しています。
一般的にエンドユーザーテストはコストが高いものですが、性能測定など自動化によって効率化が図れるものも多くあると思いますので、引き続き活用の幅を広げていきたいと思っています。