トークン化

前回：文字ベースのセグメンテーション

第一市民：話を続ける前に聞いてください。

全員：どうぞ、言ってください。

ファースト・シチズン：皆さんは飢えるくらいなら死ぬと決めているのですか？

全員：決意した。決定。

第一市民：まず第一に、ガイアス・マルキウスが国民の一番の敵であることはご存じでしょう。

全員：わかっている、わかっている。

パイソン

# 本文中に登場する唯一の文字である。

chars = sorted(list(set(text)))

vocab_size = len(chars)

print('.join(chars))

print(vocab_size)

# !$&',-.3:;?ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz

# 65

```

パイソン

stoi = { ch:i for i,ch in enumerate(chars) }.

itos = { i:ch for i,ch in enumerate(chars) }.

#エンコーダ：文字列を受け取り、対応する整数のリストを出力する。

encode = lambda s: [stoi[c] for c in s].

#デコーダー：整数のリストを受け取り、文字列に戻す

decode = lambda l: ''.join([itos[i] for i in l])

print(encode("hii there"))

print(decode(encode("hii there")))

# [46, 47, 47, 1, 58, 46, 43, 56, 43]

#さん、こんにちは

```

パイソン

class BigramLanguageModel(nn.Module).

def __init__(self, vocab_size).

super().__init__()

self.token_embedding_table = nn.Embedding(vocab_size, n_embd)

def forward(self, idx, targets=None).

tok_emb = self.token_embedding_table(idx) # (B,T,C)

```

バイトペアエンコーディング（BPE）アルゴリズムを使用した「文字ブロック」のトークン化

語彙は50,257に拡張された。また、コンテキストのサイズを512から1024トークンに増やし、バッチサイズも512と大きくした。

• なぜLLMは単語のスペルを正しく書けないのか？
• なぜLLMは文字列反転のような単純な文字列処理ができないのか？
• なぜLLMは英語以外の言語（例えば日本語）を扱うと成績が悪くなるのか？
• なぜLLMは単純な算術演算が苦手なのか？
• GPT-2はなぜPythonでのプログラミングが難しいのですか？
• なぜLLMは""という文字列に遭遇すると突然動かなくなるのですか？
• 末尾にスペースがある」という奇妙な警告は何なのだろう？
• SolidGoldMagikarp "について尋ねると、なぜLLMはクラッシュするのですか？
• LLMとやりとりするのに、なぜJSONではなくYAMLを使う方がいいのですか？
• なぜLLMは真のエンド・ツー・エンドの言語モデルではないのか？
• 苦しみの根本原因はいったい何なのか？

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る