2月11日(周一)美股盘前，截至北京时间21:38，微软(MSFT.US)盘前涨1.14%，报190.85美元，创造股价历史新高。

　　今天，微软研究院重磅发布了有史以来最大的基于Transformer架构的语言生成模型Turing-NLG。此模型的参数高达170亿，是英伟达(NVDA.US)的Megatron(也就是现在第二大Transformer模型)的两倍，是OpenAI的GPT-2的十倍。

　　基于Transformer的架构，意味着该模型可以生成词来完成开放式文本任务。除了填充不完整语句外，它还可以对输入文档的问题和摘要生成答案。

　　而微软之所以能够开发出 Turing-NLG 这一重磅级的语言生成模型，实际上离不开其差不多同一时间开源的深度学习库——DeepSpeed。

　　微软表示，DeepSpeed能够让他们降低模型并行度(从16降低到4)，将每个节点的批处理大小增加4倍，并将训练时间减少到原来的1/3。不仅如此，DeepSpeed 使用更少的GPU就可以提高大型模型的训练效率。

上一篇：

下一篇：