prepare() 将 txt 数据处理为 (poet, title, text) 的三元组,保存为 csv 格式
建立 poetry 字典,实现作者、标题、正文的两层映射,check() 检查索引连续性
输入作者与关键词,查找此作者所有包含关键词的标题及正文
统计作者、标题、正文词汇、正文长度的频率,条形图可视化
add_flag() 添加控制符,word2vec() 按字训练词向量、构造 embed_mat
shift() 分别删去 bos、eos 得到 sent、label,align() 分别截取或填充为定长序列
通过 trm 构建语言生成模型,对解码器词特征 x 进行多头线性映射
得到 q、k、v,使用 mask 点积注意力得到语境向量 c、再线性映射进行降维
对概率前 5 的输出归一化后采样,逗号、句号为最大概率则直接返回
生成结束符或长度大于 max_len 时停止、小于 min_len 则采样直到非结束符