概要 #
工作機械やPLC設備に設置したカメラで撮影した画像を確認したり、画像処理やAIを適用することで工具摩耗や切屑、異常検知を行うためのアプリです。
事前準備 #
本機能を使用するためには機内カメラおよび機内撮影機能のLoggerが設置されている必要があります。
詳細は以下のリンクを参照してください。
機内撮影機能のLogger設置手順
メニュー #
機能一覧からの中から、実施したい項目を選択します。リンクを押すと各機能の使用方法詳細を閲覧できます。
①機内写真
撮影された最新の写真を確認できます。
②画像の異常検知AI
正常な画像を学習データとして異常検知AIを作成できます。
作成したAIをLoggerに適用することで異常な画像が撮影されたときに検知したり、
マクロ変数への書き込みを行うことができます。
③工具摩耗監視
工具刃先を接写した画像を画像処理（2値化）することで、摩耗部を抽出する設定を作成できます。
この設定により、工具摩耗の推移を画像を用いて監視したり、
寿命に達したと画像から判断された場合に、マクロ変数への書き込みを行うことができます。
④切屑検知（エッジ検出）
機内の画像を画像処理（エッジ検出）することで、切屑を検知する設定を作成できます。
この設定により、切屑が堆積している範囲を監視したり、
規定値以上に切屑が堆積したと画像から判断された場合に、マクロ変数への書き込みを行うことができます。
機内写真 #
設備選択の画面が現れるので、選択してOKをクリック。
画像表示画面が現れます。ここでは直近で撮影された画像を表示しています。
①Loggerで工具番号連携を有効に設定している場合には、工具選択のプルダウンが現れます。
各工具の最新の画像を見ることができます。
②更新ボタンを押すと最新の画像に更新されます。
画像の異常検知AI #
メイン画面 #
【メインメニュー】
①新規条件：新規に画像の異常検知AIを作成します。
②編集：選択したAIの学習条件を修正します。
③コピー：選択したAIの学習条件を複製し、新しいAIとして学習します。
④削除：AIを削除します。削除後は一覧からも除外され、以後その内容でのAI判定は行われません。
再度判定するには、AIを再作成してください。
⑤有効/無効切替：AIの有効状態を切り替えます。無効にした後でも再度有効化が可能です。
⑥学習結果表示：新しいタブでAIの精度確認や閾値の設定を実施します。
⑦学習キャンセル：選択したAIが学習中の場合、学習をキャンセルできます。
⑧選択：対象設備を選んで設定一覧を表示します。
⑨設定一覧：検索した設備の工具摩耗監視の設定一覧を表示します。
AIの作成 #
新規作成時の手順を示します。既に作成されたAIの学習条件の編集時も同様です。
①対象とする設備を選択します。
②対象とするカメラ名を選択します。
③対象とする撮影の撮影タイミングはどれか選択します。
Nextをクリック。
学習用のデータを絞り込みます。
④検索期間を設定して「更新」ボタンをクリック。
⑤学習対象とするデータをチェックします。
Shiftを押しながらクリックすると複数データを選択できます。
その状態で右クリックすると選択箇所を一括でON/OFFできます。
⑥各履歴の画像が見たい場合にはダブルクリックすると別ウィンドウで表示されます。
Nextをクリック。
⑦AI判定を実施したい範囲を画像内で選択します。黄色の枠の四隅をドラッグして範囲を調整してください。
Nextをクリック。
⑧各画像を「正常」「異常」「除外」の3パターンに分類します。
最初は全て正常になっています。
少なくとも1枚は「異常」を選択してください。
⑨画像をダブルクリックすると、別ウィンドウで拡大表示されます。
Nextをクリック。
⑩作成するAIに名前を付けてください。
⑪特徴量の抽出率を設定してください。（基本的には変更不要）
この値を大きくするほど精度は向上しますが、AIモデルが重くなり判定に時間がかかります。
⑫画像サイズを設定します。撮影時の画像サイズに対して1/1、1/2、1/4、1/8から選択できます。
画像サイズは縮小しない方が精度は向上しますが、AIモデルが重くなり判定に時間がかかります。
⑬正常データを学習用と推論（精度確認）用に分ける比率を設定します。（基本的に変更不要）
「学習・推論 開始」の学習が始まり、メイン画面に戻ります。
⑭学習中は状態が「学習中」と表示されます。「学習済み」になれば学習完了です。完了まで時間を要します。
⑮学習を途中でキャンセルしたい場合には「学習キャンセル」をクリックします。
AIの精度確認と閾値設定 #
学習が完了したら、学習結果（精度）を確認し、閾値設定を行います。
①学習結果を確認したいAI設定の状態が「学習済み」になっていることを確認し、クリックして選択します。
②「学習結果表示」ボタンをクリックします。
学習結果画面は大きく3つの領域に分かれています。
③閾値や有効/無効、閾値超過時にマクロ変数へ書き込む値を設定します。
④AIが正常と異常を分類する精度を確認し、調整できます。
⑤推論（テスト）した各画像の判定結果を確認できます。
AIは画像のピクセル単位で異常度を算出します。
その異常度に閾値を設定することで、画像中のどの領域が異常か判定します。
④各画像の列をダブルクリックすると、その画像が別のウィンドウで拡大表示されます。
⑤ウィンドウ上部のスライダで、ピクセル単位の異常度閾値を調整できます。
⑥異常度が閾値以上である領域は画像中で赤く表示されます。
閾値を変化させると、表示される領域も合わせて変化します。
画像の下には異常と判定されたピクセルの数も表示されます。
⑦ピクセル単位の異常度閾値が決まったら「OK」をクリック。
⑧ピクセル単位の異常度閾値の設定欄にも反映されます。
⑨推論（テスト）に用いた画像の異常ピクセル数のヒストグラムが表示されます。
緑は事前にユーザが正常と分類したもの、赤は異常と分類したものです。
横軸が異常と判定されたピクセルの数、縦軸が推論（テスト）に用いた画像に占める割合です。
黄色のバーをドラッグして動かし、うまく正常（緑）と異常（赤）が分類できるように
異常ピクセル数の閾値を調整します。
この閾値より異常ピクセル数が多い画像は異常であると判定します。
⑩調整した異常ピクセル数の閾値は設定欄にも反映されます。
⑪AI判定を対象設備のLoggerで有効にするかどうか選択します。
⑫AI判定を有効にした場合、画像が撮影されたときに正常か異常とAIが判定を行います。
工作機械が対象の場合には、異常と判定されたときにマクロ変数に値を書き込むことができます。
ここでは書き込む値を設定します。
なお、書き込みの有効/無効と書き込み先のマクロ変数番号の設定は、
対象工作機械・PLC設備のLogger設定で行います。
⑬設定が完了したら「保存」ボタンを押すと、設定が対象のLoggerに反映されます。
工具摩耗監視 #
メイン画面 #
【メインメニュー】
①新規条件：新規に工具摩耗監視の設定を作成します。
②編集：選択した設定内容を修正します。
③コピー：選択した設定を複製し、新規設定として編集します。
④削除：設定を削除します。削除後は一覧からも除外され、以後その内容での工具摩耗監視は行われません。
再度設定するには、設定を再作成してください。
⑤有効/無効切替：設定の有効状態を切り替えます。無効にした後でも再度有効化が可能です。
⑥選択：対象設備を選んで設定一覧を表示します。
⑦設定一覧：検索した設備の工具摩耗監視の設定一覧を表示します。
使用手順 #
新規作成時の手順を示します。既に作成された設定の編集時も同様です。
①対象とする設備を選択します。
②対象とする工具番号を選択します。
③対象とするカメラ名を選択します。
④対象とする撮影の撮影タイミングはどれか選択します。
Nextをクリック。
⑤検索期間を設定して「更新」ボタンをクリック。
⑥工具が寿命に到達した時の撮影履歴をクリックして選択。
⑦各履歴の画像が見たい場合にはダブルクリックすると別ウィンドウで表示されます。
Nextをクリック。
⑧クリックしながら工具画像の刃先の摩耗部分を範囲選択します。クリックしながら1点ずつ範囲を囲む枠を作っていき、多角形の形状で設定します。
⑨設定した範囲をクリアしたい場合は、「選択範囲クリア」ボタンをクリック。
Nextをクリック。
⑩範囲選択した画像が左に、その領域から刃先の摩耗部を抽出（二値化）した結果が右に表示されます。最初は自動で抽出が行われますので、抽出範囲を大きく取りたい場合はスライダを右に、抽出範囲を狭めたい場合は左に移動させて調整してください。自動計算ボタンを押すと、初期の自動抽出した状態に戻ります。
⑪摩耗部ピクセル数の値を確認し、ピクセル数の閾値を設定してください。抽出した摩耗部の面積（ピクセル数）がこの値より大きい場合には工具が寿命に達したと判定します。
Nextをクリック。
⑫作成した設定に名前を付けてください。
⑬作成した設定を有効にするか無効にするか選択してください。
⑭画像を撮影して工具摩耗監視を実施した時に、摩耗部のピクセル数が⑪で設定した閾値を超えている場合、工具が寿命に達したと判定します。その際、工作機械が対象の場合にはマクロ変数に値を書き込むことができます。ここでは書き込む値を設定します。なお、書き込みの有効/無効と書き込み先のマクロ変数番号の設定は対象工作機械のLogger設定で行います。
「設定終了」ボタンをクリックすると設定完了です。
切屑検知（エッジ検出） #
メイン画面 #
【メインメニュー】
①新規条件：新規に切屑検知の設定を作成します。
②編集：選択した設定内容を修正します。
③コピー：選択した設定を複製し、新規設定として編集します。
④削除：設定を削除します。削除後は一覧からも除外され、以後その内容での切屑検知は行われません。
再度設定するには、設定を再作成してください。
⑤有効/無効切替：設定の有効状態を切り替えます。無効にした後でも再度有効化が可能です。
⑦選択：対象設備を選んで設定一覧を表示します。
⑧設定一覧：検索した設備の切屑検知の設定一覧を表示します。
使用手順 #
①対象とする設備を選択します。
②対象とするカメラ名を選択します。
③対象とする撮影の撮影タイミングはどれか選択します。
Nextをクリック。
④検索期間を設定して「更新」ボタンをクリック。
⑤基準となる切屑が少ない時の画像の撮影履歴をクリックして選択。
⑥各履歴の画像が見たい場合にはダブルクリックすると別ウィンドウで表示されます。
Nextをクリック。
⑦検索期間を設定して「更新」ボタンをクリック。
⑧切屑を正しく検知できているかテストするための画像の撮影履歴をクリックして選択。
⑨各履歴の画像が見たい場合にはダブルクリックすると別ウィンドウで表示されます。
Nextをクリック。
⑩切屑検知を実施したい範囲を画像内で選択します。黄色の枠の四隅をドラッグして範囲を調整してください。
Nextをクリック。
画像処理のパラメータを調整します。大きく表示された画像が緑の線でメッシュに分割されています。赤色のメッシュは切屑があると検知したメッシュです。各メッシュの数字は切屑の量を表します。この検出結果はパラメータを変更すると変化するため、検出結果を見ながら調整してください。
⑪エッジ検出の閾値を設定します。スライダは2つあります。両方とも大きくするほど（右に寄せるほど）切屑が検出されにくくなります。
⑫メッシュの分割数を設定します。画像の1辺を何分割するか設定します。
⑬切屑検知の閾値を設定します。メッシュに書かれた値がこの閾値を超えると、そのメッシュは切屑ありと判定します。
⑭検知メッシュの閾値を設定します。テスト画像の全メッシュに占める検知メッシュ数の割合がこの閾値[%]を超えると、この画像は切屑が多いと判定します。テスト画像の全メッシュに占める検知メッシュ数の割合は画像の下に表示されていますので調整時に参考にしてください。
⑮表示の内容を下記の5種類から選択できます。
・切屑検知結果（デフォルト）
・基準画像
・テスト画像
・基準画像のエッジ検出結果
・テスト画像のエッジ検出結果
Nextをクリック。
⑯作成した設定に名前を付けてください。
⑰作成した設定を有効にするか無効にするか選択してください。
⑱画像を撮影して切屑検知を実施した時に、切屑を検知したメッシュ数の割合が⑭で設定した閾値を超えている場合、切屑が過多であると判定します。その際、工作機械が対象の場合にはマクロ変数に値を書き込むことができます。ここでは書き込む値を設定します。なお、書き込みの有効/無効と書き込み先のマクロ変数番号の設定は対象工作機械・PLC設備のLogger設定で行います。
「設定終了」ボタンをクリックすると設定完了です。
