この Lesson では、画像検出を使って指定した画像をタップするシナリオを作成します。
ミニゲームを自動でクリアするシナリオを通じて、画像検出の基本操作を学びます。
以下のことを学ぶことができます。
✅️ 画像検出ステップの使用方法
1. シナリオの作成
今回の Lesson で使うシナリオを作成します。画面中央あたりにある「最初のシナリオを作成」をタップします。既にシナリオが１つ以上ある場合は、右下の + ボタンをタップしてシナリオを作成します。
シナリオに名前をつけて OK をタップします。シナリオの名前は、「Lesson 5」などわかりやすい名前にしておくと良いでしょう。
シナリオが作成されると、画面下部にシナリオコントローラという操作パネルが表示される状態になります。
2. 練習用アプリを開く
準備でダウンロードした TapEzy 練習用アプリを開きます。
アプリを開くと、各レッスン向け画面へのボタンを含んだホーム画面が表示されます。ホーム画面で「Lesson 5 画像検出」ボタンをタップします。
宝石と石の画像がランダムに並んだ画面が表示されます。
この画面は、宝石をタップすると宝石が消えていき、全て宝石が消えるとクリアになるミニゲームになっています。試しに指で宝石をタップしてみてください。
3. TapEzy で画像検出ステップを追加する
それではTapEzy で練習用アプリのミニゲームをクリアしてみましょう。
シナリオコントローラの + ボタンをタップして、「画像検出」のステップを追加します。
「画像検出」を選択すると、検出画像を指定するダイアログが表示されます。ここでは、画面内にある宝石画像をそのまま検出に使いたいので、「画面を撮影」を選択します。
画面の撮影を開始する際には下記画像のような、ユーザーに許可を求めるダイアログが表示されます。
ご理解の上、「今すぐ開始」などをタップして先に進んでください。
画面をキャプチャしたいタイミングで下部の「撮影」をタップします。この画面には動きはないのですぐに撮影をタップしても問題ありません。この画面のまま、アプリを操作することも可能です。たとえば、別の画面に移動してから撮影をタップすることで、任意の状態をキャプチャできます。
撮影が完了すると、検出したい画像の範囲を選択する画面が表示されます。
「💎をタップしよう！」のところに表示されている宝石をドラッグで範囲指定します。この範囲で指定された画像を TapEzy で検出することになります。範囲選択ができたら、下部の OK をタップして確定します。
ステップの追加が完了すると、ステップのリスト画面が開きますので、先ほど追加したステップが表示されていることを確認してください。
検出画像の中心に赤い丸が確認できます。画像検出などの検出系のステップは、ステップ追加時点で検出した要素をタップする設定になっているため、このような表示になっています。
ステップリストは右下の「閉じる」ボタンをタップして閉じます。
4. 検出範囲を設定する
このまま画像検出を動かすこともできますが、検出範囲を設定しないと不要な場所（たとえば「💎をタップしよう！」の💎部分）もタップしてしまう可能性があります。
意図しない操作を防ぐために、画像検出を行う範囲を適切に設定しましょう。
シナリオコントローラのリストボタンをタップして、ステップリストを表示します。
先ほど作成した画像検出ステップをタップしてステップ編集画面を開きます。
検出範囲の設定を確認します。今は「全画面」となっているので、右にある✏️ボタンをタップして検出範囲を必要な部分に限定します。
検出範囲を設定する画面になったら、ドラッグで範囲を指定します。範囲を宝石と石が並んでいる範囲に指定できたら、下部の「OK」をタップして確定します。
検出範囲が指定できたら、下部の「OK」をタップしてステップ編集を確定します。
5. シナリオを再生する
作成したシナリオを再生して動作の確認を行いましょう。
シナリオの再生はシナリオコントローラの ▶ ボタンを使います。
シナリオの再生が開始されると、再度画面内容を読み取るための確認ダイアログが Android システムから表示されます。「今すぐ開始」をタップして再生を開始します。
宝石画像をタップしてミニゲームを自動でクリアしていく様子が確認できます。
再生の停止は ■ ボタンで行います。
まとめ
この Lesson では、以下の内容を学びました：
- 宝石画像を検出し、自動でタップするシナリオの作成
- 画像検出ステップの追加方法と設定方法
- 検出範囲を指定して誤動作を防ぐ方法
シナリオを再生することで、指定した範囲の中で特定の画像だけを正確にタップできることを確認できました。
より詳しい説明はそれぞれ下記にありますので、ここからさらに設定を変更する場合は参考にしてください。
