INFORMATION & AI MATERIAL

強化学習(試して、ほうびで上手になる)

強化学習(試して、ほうびで上手になる)(中学校情報・AI「AIのしくみ」の図)

横にして見てください。2本の指で拡大できます。

強化学習(試して、ほうびで上手になる)(中学校情報・AI「AIのしくみ」の図)

素材について

迷路を進むロボット(架空)を例に、行動を選ぶ → 結果を見る → ほうび(得点)を受け取る → 選び方を直すのくり返しで、AIがよい行動を選べるようになることと、くり返すほど道すじがよくなる様子(模式)、教師あり学習・教師なし学習とのちがいを示した図です。

中学校情報・AI「AIのしくみ」の授業や調べ学習で使える図です。スライドに入れたり、児童生徒の端末に配ったりして使えます。予習・復習の資料にもなります。入れ方は授業での使い方をご覧ください。

図の見方

  • 左の輪は、迷路を進むロボット(架空)の学習です。1行動を選ぶ(上・下・左・右)、2結果を見る、3ほうびを受け取る(ゴール+10点、かべ−1点。例)、4選び方を直す(得点が多くなる行動を選びやすくする)の順に進み、また1に戻ります。
  • 右上の3つの迷路は、1回目(かべに4回・14歩)、100回目(1回・12歩)、1000回目(0回・10歩)です。くり返すほど道すじがよくなる模式です。
  • 右下の「学び方のくらべ」は、強化学習が、正解の代わりにほうびを手がかりに試して学ぶことを、教師あり学習・教師なし学習と並べて示します。
  • 下の「ポイント」は、その場の得点だけでなく長い目で見て得点が多くなる行動を学ぶこと、どの結果に何点をあげるかはつくる人が決めること、です。

授業での使い方

AIのしくみの学習で、機械学習の種類(教師あり・教師なし・強化学習)をくらべるときや、ゲームやロボットのAIを説明するときに使います。高校でも使えます。

導入で図の問い「正解を教わらなくても、AIが上手になるのはどうしてだろう」を示します。展開では、輪を1から4の順に読み、右上の3つの迷路で、回数が増えるとかべにぶつかる回数と歩数がどう変わるかを読み取らせます。まとめでは、何点をあげるかはつくる人が決めることを取り上げ、点を変えたらどうなりそうか、意見を出し合わせます。

発問の例

  • 1回目、100回目、1000回目で、かべにぶつかる回数と歩数は、それぞれどう変わっていますか。
  • 強化学習は、教師あり学習と比べて、正解の代わりに何を手がかりにしますか。
  • ゴール+10点、かべ−1点の点数を変えたら、ロボットの進み方はどうなりそうでしょう。

つまずきやすい点

  • ほうびを、AIがうれしく感じる、やる気が出ると読み取らせないようにします。図では、結果に応じて受け取る得点で、得点が多くなる行動が選ばれやすくなる仕組みです。
  • 点数・回数・歩数は例で、迷路の道すじは模式です。実際に何回で上手になるかを示す図ではありません。下の「使われている例」も紹介で、しくみは扱っていません。

ほかの学習とのつながり

中学の「教師なし学習(似たもの同士でグループに分ける)」、高校の「教師あり学習(正解つきの例から学ぶ)」と3点で組になり、機械学習の学び方をくらべられます。判断して機械を動かす点では、「計測と制御のしくみとAI(測る・判断する・動かす)」ともつながります。