Power Automate for Desktopで画像解析をしてみよう！

「画像を記述します」アクションは「Microsoftコグニティブ」グループの中の「Computer Vision」グループの中にあります。

1. サーバの場所：東日本
2. サブスクリプションキー：AzureでComputer Visionアプリケーションを作成した時に発行されたキーを張り付けます。
3. 画像を提供します：「ファイルから」か「GCSから」を選択します。パソコンに保存された画像を使う場合は「ファイルから」、インターネット上に公開された画像を使用する場合は「GCSから」を選択します。
4. 画像のURL：GCSを選択した場合は画像のURL、ファイルを選択した場合はファイルパスを入力します。クォーテーションは不要です。
5. 候補の最大数：説明文書をいくつ取得するかを数字で指定します。例えば5とすると信頼性の高いものから5個説明文章を取得できます。（候補が指定した数字よりも少ない場合は必ず数字の数だけ結果が取得されるとは限りません。）

このアクションで、JSONResponseというカスタムオブジェクト型変数に結果が返ってきます。

「 画像を記述します 」アクションの結果の出力先として生成されるJSONResponseの中身を確認するためにJSONResponseをテキストファイルとして出力します。テキストファイルとして出力するには「テキストをファイルに書き込みます」アクションを使用します。

▲「ファイル」グループの中の「テキストをファイルに書き込みます」アクションを追加します。

フローを実行してみましょう。問題なく実行されるとPADのフローデザイナー右側に表示されているフロー変数の中のStatusCode変数の中に正常を意味するコード200が返却されます。

▲アクションが正常に実行されたかどうかを確認できるStatusCode変数。200が正常。

StatusCode変数の中に、エラーコードを意味する400や401が返却された場合は、下記を確認してもう一度実行してみましょう。

• PADに指定したサブスクリプションキーが間違っている。
• PADに指定した画像のファイルパスあるいはURLが間違っている。
• PADで指定したサーバの場所と、Azureで作成したアプリケーションのリージョンが一致していない。基本的にどちらも東日本で大丈夫です。
• Azureアプリケーションの作成できていない。

じょじお

正常性が確認できたら次のステップに進みます。

正常にアクションが実行されていれば、テキストファイルが出力されているはずです。「テキストをファイルに書き込みます」アクションで指定したファイルパスに存在するテキストファイルを開いてみましょう。

テキストファイルを開くと下記のようなJSONが確認できました。次の項でファイル中身を詳しく見てみます。

{
  "description": {
    "tags": [
      "outdoor",
      "mountain",
      "rock",
      "nature",
      "building",
      "rocky",
      "stone",
      "front",
      "motorcycle",
      "walking",
      "side",
      "desert",
      "street",
      "road",
      "driving",
      "man",
      "old",
      "dirt",
      "traveling",
      "brick",
      "riding",
      "stop",
      "parked",
      "hill",
      "track",
      "sign",
      "standing",
      "bus"
    ],
    "captions": [
      {
        "Properties": {
          "text": "a stone building with Arches National Park in the background",
          "confidence": 0.948075120322047
        }
      },
      {
        "Properties": {
          "text": "a stone building with Arches National Park in the desert",
          "confidence": 0.947075120322047
        }
      },
      {
        "Properties": {
          "text": "a close up of a stone building with Arches National Park in the background",
          "confidence": 0.927155835294065
        }
      },
      {
        "Properties": {
          "text": "Arches National Park with a mountain in the desert",
          "confidence": 0.926155835294065
        }
      },
      {
        "Properties": {
          "text": "a close up of a stone building with Arches National Park in the desert",
          "confidence": 0.925155835294065
        }
      }
    ]
  },
  "requestId": "35d458ac-f0d3-4305-b29a-8e1f47425796",
  "metadata": {
    "height": 396.0,
    "width": 560.0,
    "format": "Jpeg"
  }
}

「画像をタグ付けします」アクションは「Microsoftコグニティブ」グループの中の「Computer Vision」グループの中にあります。

1. サーバの場所：東日本
2. サブスクリプションキー：AzureでComputer Visionアプリケーションを作成した時に発行されたキーを張り付けます。
3. 画像を提供します：「ファイルから」か「GCSから」を選択します。パソコンに保存された画像を使う場合は「ファイルから」、インターネット上に公開された画像を使用する場合は「GCSから」を選択します。
4. 画像のURL：GCSを選択した場合は画像のURL、ファイルを選択した場合はファイルパスを入力します。クォーテーションは不要です。

このアクションで、JSONResponseというカスタムオブジェクト型変数に結果が返ってきます。

「 画像を記述します 」アクションの結果の出力先として生成されるJSONResponseの中身を確認するためにJSONResponseをテキストファイルとして出力します。テキストファイルとして出力するには「テキストをファイルに書き込みます」アクションを使用します。

▲「ファイル」グループの中の「テキストをファイルに書き込みます」アクションを追加します。

フローを実行してみましょう。問題なく実行されるとPADのフローデザイナー右側に表示されているフロー変数の中のStatusCode変数の中に正常を意味するコード200が返却されます。

▲アクションが正常に実行されたかどうかを確認できるStatusCode変数。200が正常。

StatusCode変数の中に、エラーコードを意味する400や401が返却された場合は、下記を確認してもう一度実行してみましょう。

• PADに指定したサブスクリプションキーが間違っている。
• PADに指定した画像のファイルパスあるいはURLが間違っている。
• PADで指定したサーバの場所と、Azureで作成したアプリケーションのリージョンが一致していない。基本的にどちらも東日本で大丈夫です。
• Azureアプリケーションの作成できていない。

じょじお

正常性が確認できたら次のステップに進みます。

正常にアクションが実行されていれば、テキストファイルが出力されているはずです。「テキストをファイルに書き込みます」アクションで指定したファイルパスに存在するテキストファイルを開いてみましょう。

テキストファイルを開くと下記のようなJSONが確認できました。次の項でファイル中身を詳しく見てみます。

{
  "tags": [
    {
      "Properties": {
        "name": "outdoor",
        "confidence": 0.99900096654892
      }
    },
    {
      "Properties": {
        "name": "desert",
        "confidence": 0.975922703742981
      }
    },
    {
      "Properties": {
        "name": "land vehicle",
        "confidence": 0.971066951751709
      }
    },
    {
      "Properties": {
        "name": "vehicle",
        "confidence": 0.968591332435608
      }
    },
    {
      "Properties": {
        "name": "mountain",
        "confidence": 0.946652889251709
      }
    },
    {
      "Properties": {
        "name": "car",
        "confidence": 0.916579842567444
      }
    },
    {
      "Properties": {
        "name": "canyon",
        "confidence": 0.883803606033325
      }
    },
    {
      "Properties": {
        "name": "rock",
        "confidence": 0.880791425704956
      }
    },
    {
      "Properties": {
        "name": "nature",
        "confidence": 0.833149790763855
      }
    },
    {
      "Properties": {
        "name": "sky",
        "confidence": 0.827626824378967
      }
    },
    {
      "Properties": {
        "name": "wheel",
        "confidence": 0.654154479503632
      }
    },
    {
      "Properties": {
        "name": "yellow",
        "confidence": 0.63519823551178
      }
    },
    {
      "Properties": {
        "name": "arch",
        "confidence": 0.587687432765961
      }
    },
    {
      "Properties": {
        "name": "stone",
        "confidence": 0.471102476119995
      }
    }
  ],
  "requestId": "c597b6a8-99f5-4184-b7f2-8be88c256e51",
  "metadata": {
    "height": 396.0,
    "width": 560.0,
    "format": "Jpeg"
  }
}