ログから原因を探す ― 観測データで言えること、言えないこと

ログ分析で気をつけたことの記事のアイキャッチ画像 DX

前回の記事では、振れ矯正プレスのログを、ブラウザで3D表示・分析するツールを紹介しました。今回はその続きで、ログを分析するときに気をつけたことをまとめます。

ログは、装置が実際に動いた記録です。たくさん集めれば、いろいろな傾向が見えてきます。ただし、集計の仕方を間違えると、ないはずの傾向が見えたり、ある傾向を見落としたりします。AIに分析を作ってもらうと、どんな集計もすぐ出てくるぶん、なおさら注意が必要です。

※ 仕事で使っているツールのため、実際のデータ・設定値・分析で得られた傾向は載せていません。考え方だけを紹介します。

1. 振れは「大きさ」ではなく「矢印」で考える

ログには、測る位置ごとに振れの大きさと向き(角度)が記録されています。大きさだけを見ると、「押したのに振れが減らなかった」と見えることがあります。でも、向きも合わせて見ると、実は振れの向きが大きく変わっていた、ということがあります。

そこで分析では、振れを大きさと向きを持った矢印(ベクトル)として扱っています。押す前と後の矢印の差を見れば、「押したことで、振れがどの向きに、どれだけ動いたか」がわかります。理想は、振れの矢印を真っ直ぐ反対向きに押し戻すことです。そこからどれだけずれているかも、指標にしました。

データの意味を考えずに数字だけ渡すと、AIは大きさの平均を取るような集計をしがちです。「このデータは何を表しているか」を先に伝えることが、良い分析の出発点になります。

2. 比べるときは、条件をそろえる

たとえば「位置ごとの振れの向きがばらばらな部品ほど、押す回数が多いのでは?」という仮説を確かめたいとします。単純に「向きがばらばらなグループ」と「そろっているグループ」の平均を比べたくなりますが、それでは差を見誤ることがあります。

もし、向きがばらばらな部品が最初の振れが小さいグループに偏っていたらどうでしょう。最初の振れが小さければ、押す回数も少なくて済みます。そのまま比べると、向きの影響と最初の振れの大きさの影響が混ざってしまいます。実際、集計を作る中で、この偏りを考えに入れる必要があるとわかりました。

そこで、部品を最初の振れの大きさで5つのグループに分け、同じグループの中で比べた差を集計しました。「条件をそろえて比べる」のは、ログ分析でいちばん大事な考え方の1つです。

3. 集計に入れてはいけないものを外す

  • 一度も押さずにNGになった部品:装置が「これは直せない」と最初に判断したもの。NGの部品の平均の押した回数に混ぜると、平均が下がって見える。そこで、一覧から外せるスイッチをつけた
  • 測定値ではない値:ログの中には、測定値の欄に「値なし」を表す決まった数字が入る行がある。そのまま平均に入れると、結果が大きくずれる
  • 極端な出来事:押した直後に振れが急に大きくなったケースは、押す向きの平均を大きく引っぱる。向きの分析ではこれを除き、別に件数として数えた

何を外したかは、理由とともに説明書に書いています。外した理由が書いていないと、あとで見た人が「数字が合わない」と困るからです。

4. 「残ったもの」だけを見ていないか

「同じ位置を2回、3回と押していくと、1回あたりの効きはどう変わるか」を集計すると、回数が増えるほど効きが悪く見えます。でも、これを「何度も押すと効きが落ちる」と読むのは早計です。

何度も押されるのは、そもそも直りにくい部品です。素直な部品は1〜2回で直って、集計から抜けていきます。つまり、回数が増えるほど「直りにくい部品だけが残った集計」になっているのです。

同じ理由で、「押す量を増やすと効きが上がるか」も、ログからは見分けられません。装置は直りにくい部品ほど強く押すので、押す量と直りにくさが混ざってしまうからです。こうした「ログからは言えないこと」は、説明書に制約として書いています。

5. 小さな数字のずれが、集計を狂わせる

押したときの振れの動く向きを、−180°〜180°のヒストグラム(棒グラフ)で表示していたときのことです。ちょうど「真っ直ぐ反対向き」にあたる180°付近の件数が、少なく出ていました。

原因は、コンピューターの計算の細かい誤差でした。180°になるはずの値が 179.99999999999994 のように計算され、範囲の調整をすると、グラフの一番端の区間からわずかにはみ出していました。グラフのライブラリは、範囲外の値を黙って捨てます。結果として、いちばん理想的に押せたケースを数え落としていたのです。

値を丸めてから範囲を調整するように直しました。エラーは一切出ていなかったので、「この件数、少なすぎない?」と結果を疑ったから気づけた問題です(黙って失敗するの典型です)。

6. 自動の判定は「推定」と明記する

NGになった部品の原因を、ログの内容から自動で分類する機能があります。便利ですが、これは装置の停止理由を直接読んだものではなく、決めた順番でルールに当てはめた推定です。説明書にも、そう明記しています。

実際、指標の1つ「押さずに合格した割合」が、押さずにNGになった部品まで合格として数えていた不具合もありました。自動の集計は、ときどき1件ずつ元のデータと照らし合わせて確かめます。

7. 見えた傾向は「仮説」として扱う

ツールの説明書の最初には、こう書いています。

ログは観測データであり、因果関係までは確定できない。
分析で得た仮説は、装置での確認や条件を振った試験で検証する。

分析で傾向が見えても、それが原因だとは限りません。ツールでは、差を比べるグラフに95%の信頼区間(ばらつきを考えた幅)をつけ、件数が少ない区分は表示しないようにしています。そのうえで、見えた傾向は「仮説」として一覧にまとめ、装置での確認や試験で確かめる候補として整理しています。

AIと分析を作るときに伝えること

- データの意味(何を測った値か、単位、向きのある量か)を先に伝える
- 比べるときは、結果に影響しそうな条件をそろえて比べてください
- 集計から外したものと、その理由を説明書に書いてください
- 「ログからは言えないこと」があれば、制約として説明書に書いてください
- 件数が少ない集計は表示しないか、信頼区間をつけてください
- 自動の判定は「推定」と明記してください

まとめ

  • 向きのある量は、大きさだけでなく矢印(ベクトル)で考える
  • 比べるときは条件をそろえる。集計に入れてはいけないものは、理由とともに外す
  • 「残ったものだけ」の集計や、混ざってしまう要因に気をつける。言えないことは制約として書く
  • エラーが出なくても、結果を疑う。自動の判定は推定と明記する
  • 見えた傾向は仮説。装置での確認や試験で確かめる

ログの分析は、答えを出すものというより、次に何を確かめるべきかを絞り込むものです。その道具をAIと作れるようになったのは、現場の改善にとって大きな変化だと思います。

コメント

タイトルとURLをコピーしました