Power Automate Desktop の処理において「特定の場所をクリックする」といったアクションは多いと思います。
これには「UI要素」を使用して対象を指定する方法が基本となりますが、指定する画面によってはアクションがエラーになってしまうといった事象が確認されています。
今回は、このようなケースの回避方法を4つご紹介いたします。どれも実際に対処した方法となりますので、用途に応じて使い分けていただければと思います。
方法① UI要素を使用する
基本のUI要素を使用する方法です。
アクション「ウインドウの UI 要素をクリック」などを使用し、対象のUI 要素を[Ctrl]キーを押しながらクリックし、指定します。
入力ボックスに直接UI要素を指定しても適切に処理されない場合は、入力ボックスの項目名を「UI 要素」として指定し、オフセットによりクリック位置をずらす方法があります。
以下の例では「製品名」をUI 要素に指定し、オフセットによりクリック位置を下にずらしています。
※「Webページのリンクをクリック」などのアクションで正常に動作しない場合は、「物理クリックの送信」を有効にすると解消する場合があります。
方法② 画像へマウスを移動する
クリックする箇所のボタン・リンクの画像を指定してクリックする方法です。この方法でもオフセットによりクリック位置をずらすことができます。
画像が認識する/しない場合が混在する場合は、「許容値」の数値を大きくすることで画像判定をあいまいにすることができます。誤り判定が起きないかに注意して設定してください。
参考
Title：アクションでの画像の使用
URL：https://docs.microsoft.com/ja-jp/power-automate/desktop-flows/images#use-images-in-actions
方法③ OCR(文字認識)を使用する
クリック先のボタンなどに文字が含まれる場合は、文字認識による指定も可能です。こちらは画像の文字も認識することができます。
また、この方法でもオフセットによりクリック位置をずらすことが可能です。
参考
Title：OCR
URL：https://docs.microsoft.com/ja-jp/power-automate/desktop-flows/actions-reference/ocr
方法④ キーボードオペレーションを使用する
キーボードのみの操作で処理できる画面であれば、キーの送信機能で対象箇所を指定することが可能です。
通常のWindowsの操作では、[tab]キーを押すことで項目間の移動ができます。Power Automate Desktop でも特殊キーを含めたキー送信が可能ですので、画面を開いた後、決められた回数の [tab]キーを押すことで目的の項目を選択させます。
参考
Title：キーの送信
URL：https://docs.microsoft.com/ja-jp/power-automate/desktop-flows/actions-reference/mouseandkeyboard#send-keys
今回ご紹介した操作は実施する処理によってはうまくいかない場合があります。
そのような場合は、異なるアクションを用いて処理ができるかお試しいただければと思います。
