画面要素検出の動作と設定項目を説明します。
画面要素検出の動作
画面要素検出は、指定された条件に合うボタンやテキスト入力欄などが画面内に現れるかどうかを検出します。検出成功した時と検出失敗した時の動作を指定することができます。
初期状態では、検出成功時に検出された画面要素の中心部分をタップする動作が設定されています。
画面要素検出の設定項目
検出対象
検出対象の設定はステップ追加時かステップ編集画面で✏️のアイコンをタップすることで開く検出対象設定ツールで行います。
検出対象設定ツールを起動すると、現在画面に表示されている画面要素が赤枠で囲われて表示されるので、検出したい対象をタップして選択します。
ツール上のコントローラで「要素選択」と「画面操作」のモード切替を行うことができます。要素選択はタップした画面要素を検出対象に設定するモードで、画面操作は画面要素の赤枠を表示した状態のまま前面のアプリを操作したりアプリを切り替えたりすることができるモードです。
また、「探索設定」をタップすることで、現在の検出対象の設定内容と検出条件を変更することができます。
検出対象の設定項目は以下のとおりです。
| 項目 | 説明 |
|---|---|
| アプリ名 | 対象の画面要素が含まれるアプリの識別子（パッケージ名）です。 |
| 要素の種類 | 検出対象とする画面要素の種類です。 |
| 内部ID | 画面要素に割り当てられた内部ID（viewId）です。開発者がアプリ内で定義している場合に使用できます。 |
| テキスト | 画面要素に表示されているテキストです。 |
| 内包テキスト | 指定した要素の中に表示されているテキストです。 |
| 説明ラベル | 画面要素に設定されている説明ラベル（contentDescription）です。視覚的なテキストとは異なる場合があります。 |
| 要素の位置 | 画面内での表示位置と大きさを表す矩形領域（バウンディングボックス）です。 |
| 要素の構造 | 画面上の構造における順序を表す番号です。対象の画面要素が階層内で何番目に位置するかを表します。 |
検出条件
- タップ可能な要素に限定する
この設定が有効になっている場合はボタンなどのタップ可能な画面要素しか検出対象になりません。また、検出対象設定ツールでもタップ可能な画面要素しか赤枠で表示されなくなります。検出後の動作がタップである場合に有効にして下さい。
- テキスト入力可能な要素に限定する
この設定が有効になっている場合はテキスト入力欄などのテキスト入力可能な画面要素しか検出対象になりません。また、検出対象設定ツールでもテキスト入力可能な画面要素しか赤枠で表示されなくなります。検出後の動作がテキスト入力である場合に有効にしてください。
- 検出対象の設定項目ごとの使用モード
上記のテキストや要素の位置などの設定項目ごとに、検出時にどのように使用するかを選択できます。
検出の流れとしては、使用モードで「必須」となっている条件を満たす画面要素が検出候補に残り、その中で「優先」となっている項目の条件を最も満たしている候補が選ばれます。使用モードは以下から選択します。
- 必須: 一致していなければ候補になりません
- 優先: 一致していれば候補の中で優先されます
- 使用しない: この項目は比較に使用しません
- テキストの一致方法
テキスト、内包テキスト、説明ラベルの設定項目に関してはテキストの一致方法を選択することができます。以下から選択します。
- 完全一致: 指定されたテキストと完全に一致する要素にマッチします
- 含む: 指定されたテキストが含まれていればマッチします
- 前方一致: 指定されたテキストで始まっていればマッチします
- 後方一致: 指定されたテキストで終わっていればマッチします
画面要素検出がうまく動かない場合
画面要素検出が期待したとおりに動作しない場合には、FAQの画面要素検出に関連する項目も参照ください。
