【初心者向け】Microsoft コグニティブサービスをPADで利用してみた。

下記のMicrosoft Azure Cognitive Servicesの公式ページを開き、図の「無料で始める」をクリックします。

Microsoft Azure Cognitive Services
https://azure.microsoft.com/ja-jp/free/cognitive-services/

▲住所・氏名など個人情報を入力します。

▲利用規約やその他の同意事項を確認して、「同意する」にチェックを入れます。

入力が完了したら一番下の「次へ」をクリックします。

▲無料試用の場合もクレジットカードの入力が必要です。入力が完了したら一番の下の「サインイン」をクリックします。ここまでの作業で利用登録は完了です。

図の中の説明文「重量課金制の価格に移行しない限り、請求されることはありません」と表示があるように、Azureの各サービスの設定の中でフリープランを選択すれば無料枠の範囲だけで利用できるので請求の心配はありません。

▲Azureの利用登録が完了すると、ようこそ画面が表示されます。画面の中にある「Azure Portalを続行する」ボタンをクリックします。

Azure Portal（https://portal.azure.com/）が開きます。

▲Azure Portal（https://portal.azure.com/）のAzureサービス一覧グループの中にある「Cognitive Services」をクリックします。「Cognitive Services」が表示されていない場合は、画面上部の検索窓から「Cognitive Services」で検索して探してください。

1. サブスクリプション：請求グループを選択します。今回はデフォルトのAzure subscription 1を選択します。
2. リソースグループを新規作成します。今回は「テスト」としました。
3. リージョン：サーバが置かれた場所を選択します。お住まいの地域から近い場所で良いかと思います。日本の場合、東日本と西日本のいずれかがありますが、Power Automate Desktopでは現在東日本だけに対応していますので「東日本」を選択します。
4. Name：アプリケーションの名前を付けます。他の人が既に使用している名前は設定することができません。
5. Pricing tier：今回はテストなのでFree F0を選択します。

1. 英文の注意事項を読んで同意事項にチェックを入れます。
2. 「確認と作成」をクリックします。

サブスクリプションキーが２つ表示されますのでどちらか1つだけをコピーします。のちほどPower Automate Desktopのフロー作成の時に必要になりますのでメモ帳などに保存しておきます。無くしたり見られたりしないように注意してください。

以上でAzure portalでの操作は終わりです。続いてPower Automate for Desktopのフローを作成していきます。

Power Automate for Desktopで画像からテキストを抽出するにはOCRアクションを使います。

OCRとは：光学式文字認識（OCR）は、画像から文字列を抽出する技術です。

1. サーバの場所：東日本
2. サブスクリプションキー：前のステップでコピーしたキーを張り付けます。
3. 画像を提供します：「GCSから」か「ファイルから」を選択します。GCSはインターネット上の画像のことです。ファイルはパソコンに保存済みの画像です。ここでは「GCSから」を選択します。
4. 画像のURL：画像のURLを入力します。③で「ファイルから」を選択した場合は、ファイルパスを入力します。今回は下記の当サイトの画像（https://www.teijitaisya.com/wp-content/uploads/2021/11/Frame-176.png）を使います。
5. 言語：日本語の場合は「ja」を選択します。
6. 向きを検出します：画像の向きを検出するかどうかを設定します。true:する、false:しない

じょじお

今回使う画像です↑。「動画で学ぼう」という文言が取得できれば成功です！

今回はOCRの結果を直接テキストファイルに出力してみたいと思います。

1. 「テキストファイルに書き込みます」アクションを追加します。
2. 「アプリケーションの実行」アクションを追加します。

▲「テキストファイルに書き込みます」アクションのパラメータを入力します。

• ファイルパス：結果を書き込むファイルです。.txt形式のファイルを事前に作成しておきましょう。ここではC:\Users\user\Documents\resultText.txtと入力しました。
• 書き込むテキスト：%JSONResponse%とします。これはOCRアクションが生成する変数です。

▲「アプリケーションの実行」アクションのパラメータを入力します。

• アプリケーションパス：上で書き込みを行ったテキストファイルのパスを指定します。ここではC:\Users\user\Documents\resultText.txtと入力しました。

フローを実行すると、メモ帳が開いてJSON形式のテキストが書き込まれていることが分かるかと思います。これが画像分析結果です。（下図）

▲”text”というキーに抽出された文字が取得出来ていることが分かるか思います。

きちんと文章にするにはループで”text”キーの値を取り出して文字列連結させる必要がありそうですね。それはまた別の機会にトライしてみたいと思います。

{
  "language": "ja",
  "textAngle": 0.0,
  "orientation": "NotDetected",
  "regions": [
    {
      "Properties": {
        "boundingBox": "34,19,571,379",
        "lines": [
          {
            "Properties": {
              "boundingBox": "528,19,48,48",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "528,19,48,48",
                    "text": "0"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "103,51,96,37",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "103,51,96,37",
                    "text": "python"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "151,144,454,78",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "151,144,64,78",
                    "text": "動"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "232,146,65,76",
                    "text": "画"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "325,146,50,76",
                    "text": "て"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "394,144,64,78",
                    "text": "学"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "477,144,66,78",
                    "text": "ぼ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "567,151,38,71",
                    "text": "う"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "34,375,93,23",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "34,379,16,18",
                    "text": "て"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "63,378,14,20",
                    "text": "じ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "87,378,15,19",
                    "text": "ら"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "112,375,15,22",
                    "text": "ほ"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "66,276,39,39",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "66,276,39,39",
                    "text": "0"
                  }
                }
              ]
            }
          }
        ]
      }
    }
  ]
}