企业官网建设流程全解析

微信公众号做微网站吗,wordpress评论样式,南京制作网站要多少钱,苏州网站建设排名在诸如Alexa这类使用合成语音输出的服务中#xff0c;文本归一化通常是文本转语音转换过程的第一步。文本归一化接收原始文本输入#xff08;例如字符串“6-21-21”#xff09;#xff0c;并将其扩展为可供文本转语音模型用于生成最终语音的口语化形式#xff08;例如“tw…在诸如Alexa这类使用合成语音输出的服务中文本归一化通常是文本转语音转换过程的第一步。文本归一化接收原始文本输入例如字符串“6-21-21”并将其扩展为可供文本转语音模型用于生成最终语音的口语化形式例如“twenty first of June twenty twenty one”。历史上文本归一化算法依赖于硬编码规则这些规则无法跨语言泛化且难以维护一个典型的基于规则的单语言文本归一化系统可能包含数千条规则这些规则会随着时间演变其开发需要语言学专业知识。最近学术界和工业界的研究人员开始开发基于机器学习的文本归一化模型。但这些模型也有缺点。序列到序列模型偶尔会犯下不可接受的错误例如将“$5”转换为“five pounds”。符号分类模型需要由语言学专家创建的特定领域信息类别例如表情符号或电话号码这限制了其泛化能力。这两种类型的模型都需要大量的训练数据使得跨语言扩展变得困难。在本年度北美计算语言学协会会议上介绍了一种名为Proteno的新型文本归一化模型旨在应对这些挑战。研究在英语、西班牙语和泰米尔语三种语言上评估了Proteno。关于英语的文本归一化研究已有大量成果但西班牙语和泰米尔语此前没有公开的文本归一化数据集。因此创建了新的数据集并已公开发布供其他文本归一化研究人员使用。Proteno仅指定了少数低级别的归一化类别例如序数、基数或罗马数字这些类别能很好地跨语言泛化。然后Proteno从数据中学习大量额外的细粒度类别。例如在英语实验中使用了8个预定义类别而Proteno自动生成了另外2658个。相比之下符号分类模型通常只有大约20个类别。Proteno还使用了一种简单但有效的令牌化方案即将文本分割成更小的片段。先前的令牌化技术需要语言学知识或数据密集型训练而Proteno的令牌化技术只是在空格处以及Unicode类别如字母、数字或标点符号之间的转换处进行分割。因此它能够跨语言泛化使大部分归一化规则能够从数据中学习并减少了不可接受错误的发生率。这些技术结合在一起也使得Proteno所需的训练数据比之前的机器学习方法少得多。在实验中Proteno在英语上提供了与先前最先进技术相当的性能而所需的训练数据仅为后者的3%。由于之前没有在西班牙语和泰米尔语上训练的文本归一化模型因此实验没有基准数据可供比较。但在可比的训练数据量下在泰米尔语和西班牙语上训练的Proteno模型达到了与英语训练模型相当的准确率西班牙语99.1%泰米尔语96.7%英语97.4%。方法Proteno将文本归一化视为一个序列分类问题其中大多数类别是学习得到的。下图说明了Proteno的训练和运行时处理流程它们的顺序略有不同。训练流程包括以下步骤令牌化先前的方法依赖于语言学家设计的语言特定规则。例如字符串“6-21-21”将被视为单个日期类型的令牌。提出了一种细粒度的令牌化机制它是语言独立的适用于任何空格分隔的语言。待归一化的文本首先在其空格处分割然后在Unicode类别发生变化的地方进一步分割。因此字符串“6-21-21”变成了五个令牌依靠Proteno来学习如何正确处理它们。标注对令牌化后的未归一化文本进行逐个令牌的标注从而得到每个未归一化令牌与其真实归一化之间的一对一映射。这些数据将用于训练模型。类别生成然后将每个令牌映射到一个类别。一个类别可能只接受特定类型的令牌例如与美元对应的类别不接受英镑类型反之亦然。这防止了模型犯下不可接受的错误。每个类别还有一个相关联的归一化函数。有两类类别预定义类别定义了有限数量的类别大约8-10个包含基本的归一化规则。其中一小部分3-5个包含语言特定的规则例如如何区分数字的基数和序数用法。其他类别如自身、数字和罗马数字在许多语言中保持相似。自动生成类别模型还通过分析数据集中的未归一化到归一化令牌映射来自动生成类别。如果现有类别预编码或自动生成无法为训练数据中的某个令牌生成目标归一化则会自动生成一个新类别。例如如果数据集包含注释“12→December”并且没有现有类别可以生成此归一化则创建类别“12_to_December_AG”。该类仅接受“12”其归一化函数返回“December”。自动生成类别使Proteno能够自动从数据中学习大多数归一化规则。分类将文本归一化建模为一个序列标记问题其中输入是未归一化令牌的序列输出是能够生成归一化文本的类别序列。实验了四种不同类型的分类器条件随机场、双向长短期记忆模型、双向长短期记忆-条件随机场组合和Transformer。数据集由于Proteno的目标是适用于多种语言因此在英语、西班牙语和泰米尔语三种语言上对其进行了评估。英语的自动生成类别数量显著多于泰米尔语或西班牙语因为书面英语倾向于使用比另外两种语言更多的缩写。语言预定义类别总数语言特定预定义类别自动生成类别西班牙语105279泰米尔语8374英语842,658为了基准测试Proteno在英语上的性能只能在现有数据集中13个预定义类别中的11个上与早期模型进行比较令牌化方案的差异意味着另外两个类别没有逻辑映射。这些结果表明Proteno是在低数据标注需求下进行文本归一化的有力候选方案同时能抑制不可接受的错误这将使其成为生产级文本转语音模型的稳健且可扩展的解决方案。更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享