こんにちは。
株式会社SHIFTのCATエヴァンジェリスト・石井優でございます。
(情報)統合型ソフトウェアテスト管理ツール「CAT」について 現在SHIFTが提供するCATとは、テストの実行管理に主眼を置いた正式名称「CAT TCM（Test Cycle Management）」という製品を指します。ケースと実行結果・エビデンスの管理、及びプロジェクトの進捗管理や品質分析を担うツールです。詳しいご紹介はぜひ製品HP をご確認ください。
Google社から提供されているプロダクト「Notebook LM」。
何らかのドキュメントを読み込ませるとそのドキュメントに対して理解し、ドキュメントに対する質問を答えてくれます。
取り込めるドキュメントは次のとおり。
例えばなんらかの約款を読ませて、約款に関する質問をすると答えてくれます。例えばCATのサービス約款に対してこう質問します。
・SHIFT社はCATの情報に対する保全について、どのように努めるか？
そうするとこうでました。
それぞれの条項を読み込んで正しく答えてくれています。
こういった込み入ったドキュメントに対して聞きたいことを返答してくれることはとても便利なのです。
そこでふと思いました。CATのマニュアルを読ませればCATの操作を気軽に相談できる相方になってくれるのではないか。
やってみました。
※生成AIの利用については所属企業の利用ポリシーに従ってください。
本記事では公開しているPDFをアップロードしています。
CATのドキュメントを読み込ませる
まずはNotebook LMにCATのマニュアルをアップロードします。今回はPDF版を登録しました。
なお、Notebook LMがすごいのは、テキストではない画像だけで構成されたPDFでも内容を読み取って理解してくれる点。恐ろしや。
いくつかサンプルの質問をしてみる
普段使えそうなような質問をいくつか問いかけてみました。
-
ソフトウェアテストにおける再鑑のプロセスは運用可能か。
-
NGケースを進捗に入れたくない、何か方法あるか？
-
プロジェクトの障害フォーマットを変更、する手順を教えて欲しい
-
障害率がしきい値を超えた場合、アラートを出す機能はあるか
-
CATは単体テストには使えるか？
Notebook LMはマニュアルから回答を導き出せるのか？
それぞれの質問に対する回答を記載します。
各質問と回答
ソフトウェアテストにおける再鑑のプロセスは運用可能か。
この質問は、再鑑テストと呼ばれるダブルチェックの運用ができるか？という点です。少し込み入った運用でありますが、金融業界などミッションクリティカルなシステム開発では重要なもの。できるか？と聞いてみます。
ソフトウェアテストにおける再鑑（監査）のプロセスは、CAT（CAT403）の「監査(再鑑)モード」機能を利用することで運用可能です。
この機能は、テストケースをダブルチェックすることで正確性の向上や、打鍵（実行）と検証を分けて効率化を図ることを目的としてサポートされています。
CATにおける監査（再鑑）モードの運用要素と設定については、以下の通り詳細が示されています。
監査テスト機能の有効化
監査テスト機能は、サービス単位で設定を有効にする必要があります。
* 設定画面：「サービス管理＞(任意のサービス)＞テストの基本設定＞監査テスト設定」にて、「監査モードを有効にする」にチェックを入れます。
テスト仕様書における監査列の設定
監査機能を有効にした後、テスト仕様書の列設定で「実⾏結果(監査)」タイプを設定します。
* この列には、関連付けられた実行結果に対する監査結果ステータス（OK、NGなど）を入力できます。
* 監査列を設定することで、通常テストの進捗とは分けて監査の進捗を確認できるようになります。
* 監査対象列の設定:監査結果が、通常のテスト結果が入力されていないにもかかわらず入力されてしまうことを防ぐため、「対象実⾏結果列」を設定します。
* Excelファイルを取り込む際、ヘッダーの末尾に`* `や`* [監査対象列名]`といった特定の文字列を付加することで、あらかじめ監査タイプとして設定し、取り込むことができます。
3進捗および実行状況の確認
テスト管理画面やテスト実行画面では、表示モードを切り替えて、通常テストと監査テストそれぞれの情報を確認できます。
* 表示モードの切り替え:「通常モード」「監査モード」「全て」の3つに切り替えることが可能です。
* 進捗確認:全体進捗および詳細進捗画面でも、テストの進捗対象を「通常テスト」「監査テスト」「全て」のいずれかに切り替え、グラフやテーブルに表示される値を設定できます。
4監査用の予定管理
詳細進捗画面のテスト予定入力機能では、テスト仕様書単位に監査用の予定値を個別に（「監査テスト予定⼊⼒」を選択して）入力できます。
この監査（再鑑）モードを利用することで、テストの実行と検証を分離した明確なプロセス設計と、その進捗を追跡・管理する仕組みが提供されているため、運用は可能であると判断できます。すごい。そのとおり。有効化の方法からその効果まで答えてくれています。
NGケースを進捗に入れたくない、何か方法あるか？
CATではテストのNGケースを進捗に含めない運用もできます。NGが修正済みになるまで進捗としないという考え方に基づく運用です。再鑑とともに奥深くの設定になるため、探しにくい設定でありますが必要とすることは多いユースケースです。
ご提示いただいたソースに基づくと、CAT(CAT403)において「NGケース（実行結果ステータスがNGのテストケース）」をテストの進捗計算に含めるかどうかは、「テストの基本設定」にあるオプションによって制御できることがわかります。
NGケースを進捗（消化数）に含めたくない場合は、以下の設定を確認・変更してください。
テストの基本設定には、「テストステータス設定」という項目があり、ここで「NG」ステータスを消化済として扱うかどうかを設定できます。
設定画面の場所
サービス管理＞(任意のサービス)＞テストの基本設定＞テストステータス設定
確認・変更すべき項目
* 「NGを実⾏済のステータスとして利⽤する」
このオプションの機能は以下の通りです。
|設定|説明|
|:---|:---|
|チェックを外す(OFF)|NGとなったケース数を、各画面のケース消化数として扱いません。これにより、NGケースは進捗（消化済み）にカウントされなくなります。|
|チェックを入れる(ON)|NGとなったケース数を、各画面のケース消化数（消化済み）として扱います。|
この設定を変更することで、NGのテストケースを「未消化」または「残ケース」側に保持したまま進捗管理を行うことができます。
この設定は、主に以下の機能における「消化済み（消化数）」や「進捗率」の計算に影響します。
* 「進捗サマリー」ダッシュボードアイテム（消化済み）
* 全体進捗画面のケースベースの「消化数」および「進捗率」
* 集計・分析機能（テスト集計など）の「ケース消化数」フィルター
なお、進捗管理においては、ケース消化数に「保留」や「対象外」を含めるかどうかも設定できます。特に、「対象外を無効なテストケースとして扱う」を有効にすると、対象外ケースはテスト仕様書の総ケース数や消化数から除外されます。正しく答えられていますね。場所や設定とその挙動についても正確に言及されています。
プロジェクトの障害フォーマットを変更、する手順を教えて欲しい
プロジェクトの障害フォーマットというのはCATでは課題管理機能のフォーマットを指します。CATの中では障害フォーマットという表記はしていないのですが、一般の運用ではよくある表現であるため、わざとこの言葉と使いました。
この手順は少し込みっておりCATでもつまずきやすいポイントなので質問しました。
ご質問ありがとうございます。
CAT（テスト管理ツール）において、プロジェクトの課題（障害）フォーマットを変更する手順は、主にプロジェクト管理メニュー内の「課題の設定」から行います。この設定は、システム全体で定義された課題種別やカスタムフィールドを、個別のプロジェクトに適用・カスタマイズするプロセスです[93]。
具体的な手順と、フォーマットを構成する要素の設定方法を以下に説明します。
もし、プロジェクトに新しいフィールド（項目）や課題種別を追加したい場合は、まずシステムレベルで定義されている必要があります。システム管理者は以下の操作を行います。
カスタムフィールドの定義:
* 課題管理>カスタムフィールドの管理にて、新しいカスタムフィールド（例：単一選択リスト、テキストボックスなど）を作成します。
課題種別へのフィールドの紐付け:
* 課題管理>課題種別の管理にて、作成したカスタムフィールドやシステムフィールド（優先度、重要度など）を、利用したい課題種別（例：不具合、要望）に紐付けます。この際、起票時に必須とする項目（必須項⽬）も設定できます。
プロジェクトに適用する課題フォーマットの設定は、サービス課題管理の設定手順と同様の流れで行われます[84]。
1ヘッダーのツールボタンのドロップダウンからプロジェクト管理を選択します。
2プロジェクト一覧画面で、設定を変更したいプロジェクトを選択します。
3プロジェクト情報設定メニューから課題の設定を選択します。
この手順では、どの課題種別を利用し、その種別に対してどのフィールド（項目）を表示するかを設定します。
「種別と表⽰フィールドの設定」を選択します。
プロジェクトで利用する課題種別（不具合、要望、問い合わせなど）を選択します。
3編集したい種別のリンクをクリックし、フィールド選択ボタンを押します。
4ここで、課題の登録・編集画面で表示/非表示にしたいフィールド（カスタムフィールドを含む）を選択・設定します。
5種別の初期値や表示順序を設定し、保存ボタンを押します[]。
課題種別ごとに利用するステータス（例：新規、着手中、完了）を設定します。
「ステータスの設定」を選択します。
設定を行う種別を選択し、「利⽤ステータス」ボタンを押します。
3システム設定で登録されたステータスのうち、その種別で利用したいステータスを選択します（必ずつ以上の「新規」と「完了」タイプのステータスが必要です）。
4保存ボタンを押して設定内容を確定します。
* * 補足:* 課題のステータス遷移を細かく制御したい場合は、システム管理画面の「ワークフローの管理」でワークフローを定義し、それをプロジェクトの種別に割り当てる必要があります[98354]。
課題の概要フィールドに表示する定型文（テンプレート）を設定できます。
「その他の設定」を選択します。
書式の設定で、種別ごとに概要フィールドの定型文を入力し、保存ボタンを押します。これは課題登録時の概要フィールドの初期値として利用されます。素晴らしい。そのとおりです。システム管理レベルの設定をしてから、プロジェクトごとの設定をするという順番で説明されています。各設定の画面・手順も正確に言及されています。
障害率がしきい値を超えた場合、アラートを出す機能はあるか
障害率に対するアラート機能というのは現状ありません。そこをどう解釈してくれるか？という点でこの質問をしてみました。
ご質問ありがとうございます。
ご提供いただいたCAT403のマニュアル情報に基づくと、「障害率がしきい値を超えた場合に自動的にアラート（通知）を出す」という機能について、直接的にそのように設定できる記述は見当たりません。
しかし、障害率（障害発生数/消化ケース数）はCATの主要な進捗指標として計測・表示されており、その数値を定期的に監視し、報告する機能は提供されています。
障害率（障害発生率）は、プロジェクトのテスト進捗管理において、以下の場所で確認できます。
* ダッシュボード（進捗サマリー）
プロジェクトのダッシュボードに表示される「進捗サマリー」アイテムにて、現在の工程の障害発生率が表示されます。障害発生率は、`課題数/(消化済みのケース数－対象外のケース数)`として定義されています。
* 全体進捗画面
全体進捗のテーブルビューにある「障害発生率の各項目」で確認できます。
閾値超過によるリアルタイムなアラート機能は確認できませんが、プロジェクトの障害状況を含む情報を定期的に関係者に通知する設定は利用できます。
* レポートメール（定時送信）
プロジェクト基本情報の設定にあるレポート送信情報にて、定時での自動送信を設定できます。このレポートメールのコンテンツには、障害に関する情報（`%IssueRatio%`：課題発生率、`%IssueCount%`：課題サマリー、`%TodayIssues%`：本日発生課題など）を含めるようカスタマイズが可能です。
* ビジネスチャット連携
ビジネスチャット連携（Slack/Microsoft Teams）を設定することで、プロジェクトレポートを指定した時刻に送信できます。レポート内容はメールフォーマットに従います。
したがって、障害率の監視については、手動または定時のレポート機能を利用して、チームが障害率をチェックし、問題が発生した際に人間が判断して対応する運用が前提となります。アラート機能がなさそうだという答えと、回避策を教えてくれていますね。サポートとして優秀です。
CATは単体テストには使えるか？
マニュアルにはどこのフェーズで使えるか？という点については直接言及されていません。この質問はCATの説明をした際によく聞かれる質問であるためマニュアルの内容から私がよく説明することと合っているかを試しました。
私は次の通り答えています。
-
基本的には結合テスト以降のフェーズをターゲットとしている。テストケース自体をスプレッドシート形式で管理しそのレビューや進捗管理をすることが多いからである。
-
ただし、金融業界など単体テストにおいてもスプレッドシート形式で細かくケースを管理し、ケースのレビューや進捗管理を行う場合であればCATの機能が利用できるため有効である。
ご提示いただいたCAT403のマニュアル情報からは、CATが単体テスト（ユニットテスト）専用として設計されている、あるいはその用途に特化した機能を持つ、という直接的な記述は見当たりません。
CATは、ソフトウェア・システム開発におけるテスト工程の管理とチーム作業を効率化するためのツールとして提供されています。
マニュアルで具体的なテスト工程の例として言及されているのは、主に統合的なテストや後工程のテストです。
* 例えば、再テストモード機能の説明において、この機能が利用される工程として結合・システム・シナリオ・受⼊テスト⼯程が挙げられています。
* プロジェクトのスコープ管理においても、開発工程や結合テスト工程、シナリオテスト工程などが工程の例として示されています。
CATは、テスト仕様書や実行結果、障害チケットなどを一元管理する機能を提供しています。この仕組み自体は、テストの粒度に関わらず適用が可能です。
* テストケースの管理:CATは、ExcelやCSVファイルから表形式で表現されたテストケースを読み込み、テスト仕様書として登録できます。
* 実行と進捗の記録:テスト実行画面では、テストケースごとに実行結果ステータス（OKNG修正済など）を入力し、リアルタイムで進捗管理を行うことができます。
したがって、単体テストの結果をマニュアルテストの形式でキャプチャし、その結果や進捗を管理したい場合には、CATのテストケース管理機能を利用して運用することは可能と考えられますが、マニュアルに明記されているテストの焦点は、主に高位なテストフェーズ（結合以降）の管理にあります。なるほど。使えるフェーズについては機能の説明に対して間接的に説明されているんですね。私も知らなかった着眼点です。そのうえで、適用可能性においてケースの取り込みなどはテストの粒度にかかわらず利用可能ですと記載されています。私の説明とほぼ合っているとの判断です。
結果
いや、素晴らしい…。上記の質問については、すべて正確な答えにたどりついていけるようです。とても有能です。今まで機能を隅々まで知るには、マニュアルを全て読み込むといった方法が必要でした。
ですが、マニュアル、すべてで読み込むということは、得意な人もいれば得意な人もいると思います。ちなみに、私は不得意な方！
Notebook LMであれば、例えばCATってそもそも何をするツールなの？と言った人には聞きづらいことも確認できます。CATを使っている時に、ふとこんなことはできないのか？と思った時、すぐに聞く先として頼りになりそうです。
ぜひ皆さんも使ってみてください。
ではでは！
執筆者プロフィール：石井 優
倉庫事業企業のシステム部門にて、基幹システムの開発・保守・導入及び大規模基幹システム移行への参画を経験し、2015年SHIFTへ入社。CATエヴァンジェリストとして、ツールだけでなくプロジェクト管理プロセスに関する紹介や提案など幅広く活動中。CATやTDのことに興味があればいつでもご連絡ください！
✉ この記事の執筆者へ感想を届けてみませんか？🖊
「役に立ちそう！」「参考になった！」「思考が整理できた」など
記事を読んだ感想をぜひ、アンケートにてお寄せください。
次回の執筆テーマの参考にさせていただきます！
ご質問も大歓迎です◎★読者アンケートはこちら
★本記事のコメント欄でも受け付けております
✅SHIFTへのお問合せはお気軽に
https://service.shiftinc.jp/contact/
SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/
SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/
SHIFTの導入事例
https://service.shiftinc.jp/case/
お役立ち資料はこちら
https://service.shiftinc.jp/resources/
SHIFTの採用情報はこちら
https://recruit.shiftinc.jp/career/
Source link
コメント