7 papers | AI新方法解高数;Ross、何恺明等人渲染思路做图像分割

2020-02-09 投稿人 : www.neuun.cn 围观 : 981 次

音频热点攻击的总体架构图。在图中,使用了参数扬声器攻击(线性攻击)。在图中,使用两个参量扬声器进行攻击(交叉攻击、传输载波和边带波)。在黄色区域,人们可以听到声音。

攻击所需的硬件。

攻击距离(cm)与被唤醒或识别的成功率之间的比较。噪声SPL设置为60 dB。

推荐:如果有一天你聪明的说话者开始胡言乱语并发号施令,那可能是黑暗的,而且是如此黑暗以致于它没有声音。

Paper 2:extreme classion in log memory with count-minsketch : a Amazon search with 50m products

author:Tharun Medini,祁萱黄,王义秋,Vijai Mohan,Anshumali Shrivastava

Paper Link: log-memory-use-count-min-sketch-a-case-study-of-Amazon-search-with-50m-products . pdf

abstract:在过去十年中,许多困难的人工智能任务(尤其是在自然语言处理领域)被证明是非常困难的然而,由于最后一层内存耗尽,训练这种模型的成本太高。为了缓解这些问题,研究人员提出了马赫(通过散列法合并平均分类),这是一种通用的K分类算法,在这种算法中,内存可以在O(log K)上扩展,而无需强有力的类假设。马奇桥(MACH Qiao)是一个巧妙伪装的数分钟草图结构。它使用通用散列将大量类的分类简化为少量(恒定)类的高度并行和独立的分类任务。MACH自然为零通信模型的并行性提供了一种方法。研究人员对六个数据集进行了实验:包括一些多类数据集和多标签数据集。结果表明,SOTA基准测试在各自领域取得了持续改进。

MACH架构图。比较

MACH、Parabel和嵌入模型在匹配度量上的结果。比较

MACH、Parabel和嵌入模型在排序指标上的结果。

推荐:实验结果表明,本文提出的MACH在匹配和排序指标上不断优于抛物线和嵌入模型。

paper 3:mix tape : breaking the softmax瓶颈效率

作者:支林杨,唐龙,鲁斯兰萨拉库蒂诺夫,quotelle 2

paper link: . nips . cc/paper/9723-mix tape-breaking-softmax-瓶颈效率. pdf

abstract: softmax瓶颈限制了神经语言模型的表达能力。softmaxes混合是解决这一理论局限性的有效方法,但与Softmax相比,MoS在内存和时间上都有较高的成本。

来自CMU和谷歌大脑的杨支林、唐龙、罗斯兰萨拉库蒂诺夫和科科尔提出了一种新的混合磁带方法。输出层采用三项新技术logit空间矢量门控、sigmoid树分解和门控共享,以更有效地突破softmax瓶颈。

混合带层架构图。

在WMT英语、德语、英语和法语中的性能比较。Mixtape在这两项任务中分别使用了2亿和8亿个参数。

推荐:2017年,杨支林等人提出了一种简单有效的方法来解决软驱混合的瓶颈。然而,这种方法的成本很高,因此最近杨支林等人再次针对softmax的瓶颈问题,提出了一种兼顾表达能力和高效性的新方法Mixtape。

Paper 4:Advisors and Open Problems in Federated Learning

Author:Peter Kairouz,H. Brendan McMahan,Brendan Avent等

Paper Link:

摘要:Federated Learning(F1)是一种机器学习设置,其中许多客户端(如移动设备或整体组织)在一个由中央服务器(如服务提供商)协调的培训模型中协作,同时保持培训数据的分散性。联邦学习体现了集中式数据收集和最小化的原则,可以降低传统集中式机器学习和数据科学方法带来的许多系统隐私风险和成本。

近年来,联邦学习研究显示出爆炸性增长。在此推动下,来自澳大利亚国立大学和卡内基梅隆大学等20多个机构的50多名研究人员讨论了联邦学习的最新进展,并提出了大量尚未解决的问题和挑战。

FL培训模式的生命周期和联邦学习系统中的各种要素。

推荐:研究人员希望这篇论文能给那些深入参与联邦研究和相关领域的学习者带来帮助。

论文5:符号数学的深度学习

作者:纪尧姆兰普尔,弗朗索瓦查顿

论文链接:

摘要:机器学习的传统是反对基于规则的推理和统计学习。显然,神经网络站在统计学习的一边。神经网络在统计模式识别方面取得了显着的成果。目前,他们已经在计算机视觉、语音识别、自然语言处理等领域的大量问题上取得了目前的最佳性能。然而,神经网络在符号计算方面并没有取得很大的成就:目前,如何将符号推理和连续表示相结合已经成为机器学习面临的挑战之一。

脸谱网的纪尧姆兰普尔和弗朗索瓦查顿最近发表了一篇论文,将数学(特别是符号计算)作为自然语言处理模型。更准确地说,研究人员使用序列对序列模型(seq2seq)来解决符号数学的两个问题:函数积分和常微分方程(ode)。这两个问题对于受过数学训练或有计算机软件的人来说很难。他们首先提出了可用于seq2seq模型的数学表达式和问题表示,并讨论了问题空间的大小和结构。然后展示了如何为一阶和二阶微分方程的积分和监督训练生成数据集。最后,研究人员将seq2seq模型应用于数据集,发现其性能超过了当前最佳的计算机代数程序Matlab和Mathematica。

对应于不同数目的运算符和叶节点的树和表达式的数目。P1和p2分别对应于一元运算符和二元运算符的数量,而L对应于叶节点的数量。底部两条曲线对应于二叉树和一元二叉树的数量。前两条曲线代表表达式的数量。从图中可以看出,添加叶节点和二元运算符可以显着扩大问题空间的规模。

本研究中提出的模型与Mathematica、Maple和Matlab在包含500个方程的测试集中的性能比较。这里,Mathematica在处理每个等式时有30秒的超时延迟。对于给定的方程,本研究提出的模型可以在不到一秒钟内找到解。

推荐:数学也可以是自然语言,而机器翻译可以解决数学问题。这是脸书科学家提出的使用神经网络精确解决符号计算的方法。

论文6: PointTrend :图像分割为渲染

作者:亚历山大基里洛夫、吴雨欣、何明凯、罗斯吉尔希克

论文链接:

摘要:提到何明凯对读者来说并不陌生。近年来,为了提高分割效果,他在语义分割和实例分割领域做了大量的开拓性工作。例如,提出了一种全景分割方法进行实例分割,并提出了一种效果惊人的张量掩码进行语义分割。最近,亚历山大基里洛夫、吴雨欣、何明凯等人从计算机渲染的角度提出了一种称为点渲染(PointRend)的方法,以更好地提高图像分割过程中的平滑度和分割细节。

这种方法会对现有的网络架构产生巨大影响吗?研究人员表示,这种方法可以用作现有图像分割架构的一个模块。他们在掩码R- CNN、DeepLabV3和其他模型上进行了测试,性能明显提高,计算量很小。

使用点渲染来执行实例分割并与传统方法进行对比。传统方法(左)图像分辨率低,分割效果差。

掩码[19]标准掩码报头结果示例(左图像)与掩码点趋势结果示例(右图像)。该模型使用ResNet-50和FPN。

PointRend的抗锯齿效果。

推荐:脸谱网公平实验室再次创新图像分割算法

论文Stylegan图像质量的分析与提高

作者:Terokaras,Samuli Laine,Miika Aittala,Janne Hellsten等

论文链接:

摘要:通过生成方法(特别是生成对抗网络)获得的图像的分辨率和质量正在迅速提高。目前,高分辨率合成的最佳方法是StyleGAN。研究表明,STYLE GAN可以在各种数据集上可靠地工作。本研究的重点是修复StyleGAN的独特伪影,并进一步提高其结果的质量。StyleGAN的特点是其非常规的发电机架构。这种架构不仅将输入隐藏码z ∈ Z馈送到网络的起点,而且其映射网络f将首先将其转换成中间隐藏码w ∈ W,然后仿射变换通过自适应实例归一化(AdaIN)获得可以控制合成网络G的层的样式。此外,它还通过向合成网络提供额外的随机噪声映射来提高随机变化的性能。研究表明,这种设计可以使中间的隐藏空间W比输入隐藏空间z纠缠更少。本文的分析都集中在W上,因为从合成网络的角度来看,它是一个相关的隐藏空间。许多观察者已经注意到由StyleGAN生成的图像具有特征伪影。本文给出了这些工件的两个原因,并描述了如何通过修改架构和训练方法来消除这些工件。由

生成的汽车图像。

生成的面。

推荐:近日,英伟达发布了StyleGAN的2.0改进版,并对这一代对抗网络提出了几项新的改进,不仅可以解决生成的图像伪影,还可以获得细节更好的高质量图像。新的改进计划不会带来更高的计算成本。回到搜狐看更多