INFORMATION & AI MATERIAL

正解率だけでは分からない(見のがしとまちがい)

正解率だけでは分からない(見のがしとまちがい)(高校情報Ⅱ「AIのしくみ」の図)

横にして見てください。2本の指で拡大できます。

正解率だけでは分からない(見のがしとまちがい)(高校情報Ⅱ「AIのしくみ」の図)

素材について

1000人中10人が病気という架空の例で、いつも「病気ではない」と答えるAIの正解率が99.0%でも全員を見のがすことと、判定を4つに分けて数える見方(見つけた・見のがし・まちがい・正しく除いた)、場面によって見のがしとまちがいのどちらを減らすかを示す図です。

高校情報Ⅱ「AIのしくみ」の授業や調べ学習で使える図です。スライドに入れたり、児童生徒の端末に配ったりして使えます。予習・復習の資料にもなります。入れ方は授業での使い方をご覧ください。

図の見方

  • 上の枠は、例(架空):1000人の検査で病気の人は10人、AIで「病気かもしれない人」を見つける、という設定です。
  • 左のAI-甲は、いつも「病気ではない」と答えます。正解率は990÷1000=99.0%と高いのに、見のがしは10人(全員)で、病気の人を1人も見つけられません。
  • 右のAI-乙は、4つのますで数えます。見つけた8人、見のがし2人、まちがって「病気かも」40人、正しく「病気ではない」950人で、正解率は95.8%です。
  • 下の枠は、どちらを減らすかは使う場面で決める、という内容です。病気の検査は見のがしを、迷惑メールの仕分けはまちがいを減らしたいと、理由とともに並べています。

授業での使い方

情報Ⅱの「情報とデータサイエンス」で、機械学習のモデルの評価(正解率と、見のがし・まちがい)を学ぶときに使います。

導入で図の問い「AIの判定の良し悪しは、正解率だけで決めてよいのだろう」を板書し、予想を出し合わせます。展開では、左のAI-甲で、99.0%でも見のがしが10人(全員)であることを読み取り、右の4つのますでAI-乙の数え方を確かめます。まとめでは、下の2つの場面で、どちらを減らしたいかを理由とともに話し合わせます。

発問の例

  • AI-甲は正解率が99.0%ですが、病気の10人のうち何人を見つけられるでしょう。
  • AI-乙の40人は、4つのますのどれで、どんな場合を数えていますか。
  • 病気の検査と迷惑メールの仕分けで減らしたいものが違うのは、なぜでしょう。図の理由をもとに説明しましょう。

つまずきやすい点

  • 図でいう「まちがい」は、本当は病気でないのに「病気かも」とした40人のますだけです。見のがし2人も正しくない判定なので、ふだんの言い方と混ざりやすい点を確かめます。
  • 人数や結果は架空の例で、実際の病気や検査の精度を表しません。身近に病気の人がいる生徒もいるので、本人や家族の経験は尋ねません。

ほかの学習とのつながり

「医療とAI(AIが画像を調べ、医師が判断する)」は、診断を決め責任を持つのは医師であることを示します。「顔認証のしくみ(本人かどうかを見分ける)」の、しきい値の決め方とも見比べられます。「最後は人が判断する(AIの出力は参考の一つ)」で、結果の使い方を考えられます。