Power Automate DesktopでOCRを行う方法！

この記事ではPower Automate Desktop（以下：PAD）で画像から文字を抜き出す方法について解説します。

この記事で解説すること

Power Automate for Desktopで使えるOCRの種類の解説
Power Automate for DesktopでAzure Cognitive Services（コグニティブサービス）のComputer Visionを使ったOCRのやり方

Power Automate Desktopで画像から文字列を抽出するには？

画像から文字列を抽出する技術をOCRといいます。

Power Automate for Desktopでも簡単にOCRを使うことができます。

Power Automate for DesktopにはOCR関連のアクションが３つあります。

Power Automate DesktopのOCR系のアクション

OCRグループの中の「OCRを使ってテキストを抽出」アクション
Microsoft コグニティブグループ – Computer Visionグループの中の「OCR」アクション
Googleコグニティブ – ビジョングループの中の「テキスト検出」アクション

PDFファイルからテキストを抽出するには「PDFからテキストを抽出」アクションがあります。

Power Automate DesktopのOCRアクションの比較

	OCRグループ「OCRを使ってテキストを抽出」アクション	Microsoftコグニティブ Computer Visionグループ「OCR」アクション	Googleコグニティブビジョングループ「テキスト検出」アクション
利用する方法	Power Automate Desktopをインストールすれば最初から利用できる。	Microsoft Azureのアカウント登録をしてサブスクリプションキーの取得が必要。	Google Cloud Platform（GCP）のアカウント登録とAPIキーの取得が必要。
使用されるOCR技術	Tesseract-OCR	Microsoft Azure Computer Vision	Google Cloud Vision API
料金	無料	従量課金制期間限定で無料試用可能。	従量課金制無料枠（Alwas-free）あり。
日本語対応状況	日本語パックのインストールが必要。少しわかりにくいかも。	日本語標準対応	日本語標準対応
精度	？	？	？

精度については、後日比較してみたいと思います。

気になる無料枠ですが、Microsoft Azureは12か月の無料試用期間中は回数制限付きで無料で利用できます。期間を過ぎたあとは無料で使える枠は無さそうです。GCPは12か月の無料試用期間を過ぎてもAlways-freeという枠がありますので、その枠内であれば継続して無料使用ができそうです。

Microsoft Azure Cognitive Services（Computer Vision）
https://azure.microsoft.com/ja-jp/pricing/details/cognitive-services/computer-vision/
Google Cloud Visionの料金
https://cloud.google.com/vision/pricing?hl=ja#prices

料金については必ず最新の公式の情報を確認するようにお願いします。

Computer VisionのOCRを使ってみたいと思います。

この記事ではComputer Visionを使ったOCRを試してみたいと思います。Computer Visionを使うにはMicrosoft Azureの登録とサブスクリプションキーの取得が必要です。手順については下記の記事で解説していますのであわせてご覧ください。

Azureの登録方法

【初心者向け】Microsoft コグニティブサービスをPADで利用してみた。【複雑な処理はAIに任せよう。】このブログでは、Power Automate for DesktopやPythonを使った業務効率化を紹介していますが、画像分析やテキスト分析などの複雑な処理…

PADフロー完成図

下の画像から文字列を読み取り、テキストファイルに出力します。

Power Automate for Desktopフロー作成手順

STEP

「OCR」アクションを追加します。

サーバの場所：東日本
サブスクリプションキー：AzureでComputer Visionアプリを作成したときに発行されたキーを張り付けます。
画像を提供します：「GCSから」か「ファイルから」を選択します。GCSはインターネット上の画像のことです。ファイルはパソコンに保存済みの画像です。ここでは「GCSから」を選択します。
画像のURL：画像のURLを入力します。③で「ファイルから」を選択した場合は、ファイルパスを入力します。
ファイルパスの例：C:\Users\user\OneDrive\Pictures\Screenshots\Screenpresso\miyazawakenji.jpg
言語：日本語の場合は「ja」を選択します。自動検出の場合は「unk」を入力します。
向きを検出します：画像の向きを検出するかどうかを設定します。true:する、false:しない

「OCR」アクションの結果は、JSONResponse変数に格納されます。

JSONResponseを見るとわかるように、regions/lines/words/textのように構造化データがかえってきます。

regionが文章の塊、linesが行、wordsが1行の文章の塊、textが1文字に対応していてそれぞれリスト形式で取得されます。For eachで1文字ずつ取得していきます。

JSONResponse変数の取得結果はこちら。

{
  "language": "ja",
  "textAngle": 0.0,
  "orientation": "NotDetected",
  "regions": [
    {
      "Properties": {
        "boundingBox": "45,22,179,261",
        "lines": [
          {
            "Properties": {
              "boundingBox": "60,22,164,24",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "60,22,8,23",
                    "text": "〔"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "70,23,23,21",
                    "text": "雨"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "94,26,23,17",
                    "text": "ニ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "118,24,22,20",
                    "text": "モ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "142,24,23,20",
                    "text": "マ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "166,23,23,22",
                    "text": "ケ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "190,22,24,23",
                    "text": "ズ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "215,22,9,24",
                    "text": ")"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "46,75,72,17",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "46,75,17,17",
                    "text": "宮"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "64,76,17,16",
                    "text": "澤"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,76,17,16",
                    "text": "賢"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "100,76,18,16",
                    "text": "治"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "45,172,73,19",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "45,172,12,19",
                    "text": "洋"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "58,177,11,9",
                    "text": "ニ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "70,176,11,10",
                    "text": "モ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,176,11,10",
                    "text": "マ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "94,175,11,11",
                    "text": "ケ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "105,174,13,12",
                    "text": "ズ"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "45,194,73,12",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "45,194,12,12",
                    "text": "風"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "58,197,11,8",
                    "text": "="
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "70,196,11,10",
                    "text": "モ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,196,11,10",
                    "text": "マ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "94,195,12,11",
                    "text": "ケ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "106,194,12,11",
                    "text": "ズ"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "58,213,131,11",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "58,215,11,9",
                    "text": "ニ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "70,215,11,9",
                    "text": "モ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,213,11,11",
                    "text": "夐"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "95,214,9,10",
                    "text": "ノ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "106,213,11,11",
                    "text": "第"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "118,213,11,11",
                    "text": "サ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "130,215,11,9",
                    "text": "ニ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "142,214,11,10",
                    "text": "モ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "154,214,12,10",
                    "text": "マ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "166,213,11,11",
                    "text": "ケ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "178,214,11,10",
                    "text": "メ"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "46,232,108,12",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "46,232,11,12",
                    "text": "丈"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "58,233,11,11",
                    "text": "天"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "70,233,11,11",
                    "text": "ナ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,233,11,11",
                    "text": "カ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "95,233,10,11",
                    "text": "ラ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "106,232,12,12",
                    "text": "ダ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "119,233,10,11",
                    "text": "ラ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "130,234,11,10",
                    "text": "モ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "142,233,12,11",
                    "text": "チ"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "45,251,48,12",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "45,251,12,12",
                    "text": "慾"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "58,252,4,10",
                    "text": "ノ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "65,252,16,11",
                    "text": "け"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,252,11,11",
                    "text": "ク"
                  }
                }
              ]
            }
          },
          {
            "Properties": {
              "boundingBox": "46,270,72,13",
              "words": [
                {
                  "Properties": {
                    "boundingBox": "46,270,11,12",
                    "text": "決"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "58,272,11,10",
                    "text": "シ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "70,271,11,11",
                    "text": "テ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "82,271,12,12",
                    "text": "蠣"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "95,271,10,11",
                    "text": "ラ"
                  }
                },
                {
                  "Properties": {
                    "boundingBox": "106,270,12,12",
                    "text": "ズ"
                  }
                }
              ]
            }
          }
        ]
      }
    }
  ]
}

STEP

For eachループを追加します。

▲「ループ」グループの中にある「For each」アクションを追加します。

反復処理を行う値：%JSONResponse[‘regions’]%
生成された変数：%region%

「生成された変数」はデフォルトでは%CurrentItem%という名前ですが、このあとFor eachを複数追加していくとわかりづらくなるため、わかりやすい名前に変更しています。

STEP

2つ目のFor eachループを追加します。

反復処理を行う値：%region[‘lines’]%
生成された変数：%line%

STEP

3つ目のFor eachループを追加します。

反復処理を行う値：%line[‘words’]%
生成された変数：%word%

STEP

「変数の設定」アクションを追加します。

▲「変数の設定」アクションを追加します。変数に1文字ずつ変数に追記していきます。

設定：%result%
宛先：%result%%word[‘text’]%

STEP

「テキストに行を追加」アクションを追加します。

元のテキスト：%result%
追加するテキスト：（空白）

行のループのうしろに改行コードを挿入するために、テキストを行に追加アクションを追加します。「追加するテキスト」を空白に設定することで改行することができます。

テキストに行を追加アクションについての解説は下記の記事で解説しています。

テキストの改行方法

Power Automate for Desktopでテキストを扱う方法この記事ではPower Automate for Desktop（以下：PAD）で、テキストを扱うときに基本のアクションについて解説します。この記事で理解すること PADでテキストファイル…

STEP

「テキストをファイルに書き込みます」アクションを追加します。

▲フローの最後に結果をテキストファイルに出力します。

ファイルパス：%result%
書き込むテキスト：%result%
ファイルが存在する場合：既存の内容を上書きする
エンコード：UTF-8

テキストファイルの書き込むアクションの使い方

STEP

フロー実行結果

完璧ではないですがそこそこのレベルで取得できました。

Power Automate Desktopソースコード

下記はソースコードです。PADのフローデザイナーにコピペすると私が作成したフローを再現できます。

MicrosoftCognitive.OCRMicrosoft.OCRFromFile ServerLocation: Cognitive.MicrosoftServerLocation.JapanEast SubscriptionKey: $'''a239a8a1b404448ead7786d814dad835''' ImageFile: $'''C:\\Users\\user\\OneDrive\\Pictures\\Screenshots\\Screenpresso\\miyazawakenji.jpg''' Language: $'''unk''' DetectOrientation: $'''false''' Timeout: 30 Response=> JSONResponse StatusCode=> StatusCode
LOOP FOREACH region IN JSONResponse['regions']
    LOOP FOREACH line IN region['lines']
        LOOP FOREACH word IN line['words']
            SET result TO $'''%result%%word['text']%'''
        END
        Text.AppendLine Text: result LineToAppend: $'''''' Result=> Result
    END
END
File.WriteText File: $'''C:\\Users\\user\\Documents\\OCRResult.txt''' TextToWrite: result AppendNewLine: True IfFileExists: File.IfFileExists.Overwrite Encoding: File.FileEncoding.DefaultEncoding