点击上方关注，All in AI中国AI研究论文思量到行业的快速生长，试图跟上人工智能研究论文的程序可能给人的感受会是以为这样做是徒劳的训练。如果你仍然埋在那些还没来得及阅读的文件中，那么不得不说你很幸运了。为了资助您遇上时代的潮水，我们把2018年10篇重要的AI研究论文总结了一下，让您对今年的机械学习希望有一个大致的广泛概述。

另有更多的突破性论文值得一读，但我们认为这是一个很好的开始。我们推荐的论文如下：1.Universal Language Model Fine-tuning for Text Classification由Jeremy Howard和Sebastian Ruder撰写的通用语言模型文天职类微调（2018） https://arxiv.org/abs/1801.06146原始摘要归纳式迁移学习极大地影响了盘算机视觉，但NLP中的现有方法仍需要重新开始举行，并针对NLP任务举行特定的修改和训练。

我们提出了通用语言模型微调（ULMFiT），这是一种有效的迁移学习方法，可应用于NLP中的任何任务，并先容了微调语言模型的关键技术。我们的方法显着优于六个文天职类任务的最新技术，将大多数数据集的误差降低了18-24％。此外，仅使用100个标志示例，它可以重新开始匹配100x以上数据的训练性能。我们开源了预训练模型和代码。

小我私家总结Howard和Ruder建议使用预先训练的模型来解决种种NLP问题。使用这种方法，您无需重新开始训练模型，只需对原始模型举行微调。他们称为通用语言模型微调（ULMFiT）的方法优于最先进的效果，将误差降低了18-24％。

更重要的是，只要100个标志示例，ULMFiT 就能到达在 10K 个标注样本上训练的模型的效果。本文的焦点思想是什么？为相识决缺乏标志数据，并使NLP分类更容易且耗时更少，研究人员建议将迁移学习应用于NLP问题。因此，您可以使用另一个经由训练的模型来解决类似问题作为基础，然后微调原始模型以解决您的特定问题，而不是重新开始训练模型。可是，为了取得乐成，这种微调应思量到以下几个重要因素：差别的层应该在差别的规模内举行微调，因为它们捕捉差别类型的信息。

如果学习速率首先线性增加然后线性衰减，则将模型的参数调整为任务特定的特征将更有效。一次微调所有层可能会导致灾难性的遗忘;因此，从最后一层开始逐渐解冻模型会更好。什么是关键成就？显著优于最先进的技术：将误差降低18-24％。

所需的标志数据要少得多：只有100个标志的示例和50K未标志的数据，ULMFiT与重新开始学习100x以上数据的性能相匹配。AI社区的想法是什么？预先训练的ImageNet模型的可用性已经改变了盘算机视觉领域。

ULMFiT对于NLP问题可能具有相同的重要性。此方法可以应用于任何语言的任何NLP任务。这些陈诉来自世界各地，涉及多种语言的最新希望，包罗德语、波兰语、印地语、印度尼西亚语、中文和马来语。

未来的研究领域是什么？革新语言模型预训练和微调。将这种新方法应用于新的任务和模型（例如，序列标志、自然语言生成、蕴涵或问答）。潜在商业应用？ULMFiT可以更有效地解决种种NLP问题，包罗：识别垃圾邮件、机械人、攻击性评论;按特定功效对文章举行分组;对正面和负面评论举行分类;查找相关文件等这种方法也可以资助序列标志和自然语言生成。

2.OBFUSCATED GRADIENTS GIVE A FALSE SENSE OF SECURITY: CIRCUMVENTING DEFENSES TO ADVERSARIAL EXAMPLES混淆渐变给出了一种虚假的宁静感：通过Anish Athalye，Nicholas Carlini，David Wagner（2018）来规避反抗性例子的防御 https://arxiv.org/abs/1802.00420原始摘要我们识别出混淆渐变，一种渐变掩蔽，是一种在防御反抗样本时导致虚假的宁静感的现象。虽然导致混淆渐变的防御似乎会破坏基于迭代优化的攻击，但我们发现可以规避依赖此效果的防御措施。我们形貌了展示效果的防御的特征行为，而且对于我们发现的三种类型的混淆梯度中的每一种，我们都开发了对应的攻击技术来克服它。

在一个案例研究中，在ICLR 2018上检查未经认证的白盒宁静防御，我们发现混淆的梯度是常见的，9个防御中的7个依赖于混淆的梯度。在每篇论文所思量的原始威胁模型中，我们的新攻击乐成完全绕过了6个防御，部门避开1种防御。我们的总结研究人员发现，针对反抗性示例的防御通常使用混淆的渐变，这会发生虚假的宁静感，因为它们很容易被绕过。

该研究形貌了三种反抗混淆梯度的方式，并说明哪种技术可以规避防御。这些发现可以资助那些依靠混淆渐变来使用防御的组织来强化他们当前的防御体系。本文的焦点思想是什么？反抗混淆梯度有三种常见方式：破坏的梯度是不存在的或由防御引起的不正确的梯度（无论是通过不行微分的操作）还是无意的（通过数值不稳定）;随机梯度是由随机防御引起的;消失/爆炸梯度是由极深的神经网络评估引起的。

有许多线索讲明梯度有问题，包罗：一步攻击比迭代攻击体现更好;黑盒攻击比白盒攻击效果更好;无限制的攻击没有到达100％的乐成;随机抽样发现反抗性的例子;增加失真限制不会导致乐成增加。什么是关键成就？证明这些天使用的大多数防御技术都容易受到攻击，即：ICLR 2018接受的9种防御技术中有7种会导致混淆梯度;。

本文来源：ag真人官网平台-www.chengxingjm.com