数据集合下载和预处理

def read_data_nmt():
    """载入“英语－法语”数据集"""
    data_dir = d2l.download_extract('fra-eng')
    with open(os.path.join(data_dir, 'fra.txt'), 'r', encoding='utf-8') as f:
    return f.read()
    
    raw_text = read_data_nmt()
    print(raw_text[:75])

预处理数据集：
这里是很简单的，把多空格替换为一个空格，使用小写字母替代大写字母，再单词和标点符号插入空格

def preprocess_nmt(text):
    """预处理“英语－法语”数据集"""
    def no_space(char, prev_char):
        return char in set(',.!?') and prev_char != ' '
    
    # 使用空格替换不间断空格
    # 使用小写字母替换大写字母
    text = text.replace('\u202f', ' ').replace('\xa0', ' ').lower()
    # 在单词和标点符号之间插入空格
    out = [' ' + char if i > 0 and no_space(char, text[i - 1]) else char
    for i, char in enumerate(text)]
    return ''.join(out)
    text = preprocess_nmt(raw_text)
    print(text[:80])

然后词元化，tokenize？

#@save
def tokenize_nmt(text, num_examples=None):
    """词元化“英语－法语”数据数据集"""
    source, target = [], []
    for i, line in enumerate(text.split('\n')):
    if num_examples and i > num_examples:
    break
    parts = line.split('\t')
    if len(parts) == 2:
    source.append(parts[0].split(' '))
    target.append(parts[1].split(' '))
    return source, target

    source, target = tokenize_nmt(text)
    source[:6], target[:6]

这个tokenizer函数就是最简单通过空格把单词分成一个一个token

词表：
数据集合里所有的唯一单词构成了词表。

加载数据集?
对于不够时间步的使用词表里的pad填充，多出的则使用截断。
当出现一批量的张量对子input, output
就是数据集合准备完成了。