INFORMATION & AI MATERIAL

トークン(AIは文章を小さな単位に分けて扱う)

トークン(AIは文章を小さな単位に分けて扱う)(高校情報Ⅰ「AIのしくみ」の図)

横にして見てください。2本の指で拡大できます。

トークン(AIは文章を小さな単位に分けて扱う)(高校情報Ⅰ「AIのしくみ」の図)

素材について

文章を生成するAIが、入力した文「今日は晴れています」をトークンという小さな単位に区切り、番号に変えて計算し、次のトークンを選んで文字にもどす流れ(区切り方と番号は架空)と、トークンについて知っておくことを示す図です。

高校情報Ⅰ「AIのしくみ」の授業や調べ学習で使える図です。スライドに入れたり、児童生徒の端末に配ったりして使えます。予習・復習の資料にもなります。入れ方は授業での使い方をご覧ください。

図の見方

  • 入力した文「今日は晴れています」を、1でトークン(小さな単位)に区切ります。図の例は、今日/は/晴れ/て/い/ますの6つです。
  • 2でそれぞれを番号(ID)に変えます。3120・25・8841・61・72・410は架空の番号です。
  • 3では、AIは番号の並びから次に来るトークンの番号の確からしさを計算して選び、くり返して答えの番号の並びをつくります。4で番号を文字にもどします。
  • 「トークンについて知っておくこと」は、区切り方がモデルによってちがう、長さや使った量(料金)をトークンの数で数えることが多い、文字の数を数えるのが苦手なことがある理由の一つになる、の3点です。
  • 下の「なぜ番号にするの?」は、コンピューターは数しか計算できないこと、よく出てくる組み合わせを1つのトークンにすると少ない数で多くの文を表せることを説明しています。

授業での使い方

情報Ⅰ・Ⅱで、大規模言語モデルが文章を扱う仕組み(トークン)を学ぶときに使います。

導入で、「今日は晴れています」をいくつに区切るかを予想させます。展開では、1から4までたどって予想を確かめ、「知っておくこと」の3点を読みます。まとめでは、トークンとは何かを、1文字が1トークンとは限らないことを含めて書かせます。

発問の例

  • 図の例で、「晴れ」はどの番号に変えられていますか。
  • ことばを番号に変えて扱うのはなぜでしょう。
  • 1文字が1トークンとは限らないことを、図の例から説明しましょう。

つまずきやすい点

  • 区切り方も番号も注記のとおり架空で、実在のAIのものではありません。トークンの数は、文字の数と同じではありません。
  • 文字の数を数えるのが苦手なことがある理由は、図では「理由の一つ」です。これだけで原因が説明できるとは教えません。

ほかの学習とのつながり

中学校の「文章をつくるAIのしくみ(次のことばの予測)」で学んだ次のことばを選ぶ流れが、ここでは次のトークンを選ぶ流れになります。「文字・音・画像を0と1で表す(デジタル化)」と合わせると、ことばを数にして扱う考え方がつながります。