百度大脑AI技术成果白皮书

1 .

2 . I uI UI I I M2699 2699 N p 40.3 业 I . i 

3 . O a 丁 O X I I I I I I I I I I – O O bO– c 2019 2 O MWorld Intellectual Property OrganizationO WIPON 临 O 个 O p个 uO AlphabetI IIBM O b 临 O I t AI OUa 业 CTO O e b ） 2018-2019 – P f 5.0O u I I I O 个 AI O O O 1 

4 . I 5.0 AI 业 2010 O 2016 O 1.0 2017 O2.0 e O 60 AI 2018 O3.0 – O 110 AI 2019 O e 5.0O O AI I O e AI 1 O I I I AI O AI O b I O I I MARN/ MVRN O AI O e O k O O O AI O O 2018 b 2 

5 .uI 2.1 （ O I I a个 – O O SMLTAO O 2019 O O 15% 20% CTC M Connectionist Temporal ClassificationN O a “ Attention O Attention Oe CTC bX 专 ： O Attention O O X Attention O I CTC 2 SMLTA a O 丰 a 两 Meitron O X O I 丰 a I丰 3 

6 .MbasisN bO a b O e O b O a a O O 丰 主 Meitron O X I丰 丰 O O I 丰 O 东 20 “ O a O 3 Meitron a 两 个 O O Ubiquitous Reweighting NetworkMURNetNO r bX O OTop5 8a Webvision b 个 O CDSR O O 2019 5 O Low-level Vision 个 b NTIRE 个 O p [1]O 业 Camelyon16 FROC 主 0.8096O 4 

7 . IMIT 2018 p 个 O f p O 主 b f O b I O 主 IEEE Big Data 2018[2]OSDM 2019[3]OWSDM 2019[4] NAACL 2019[5] 主 O I O ” O a 主 O Hubless Nearest Neighbor MHNNN Search O 主 业 e OHNN O X HNN I I ” OHNN e O O ACL 2019[6] Logician 个 “ b –t O O – a Orator ； O at a “ – e O t O WSDM 2018[7] EMNLP 2018[8] 2.2 O O O o 主 e I O AI O I I ） O AI IO 业I 业I 业 东 O AI 东 O I I） O X b O O O 5 

8 .2.2.1 AI FF 》 AI AI O e I 个 MDSAN 2018 O 临 AI 》 XPU O 14nm U O 150 O 主 260TopsO b 主 I I主 U 》 toolchainsO O MPaddlePaddleN O I I I I。 O p a f FF 举 举 ） O ） 举 AI 东 ） I I AI cache ） O p 主 O 下 ： 主 东 举 下 个 下 O AEC 专I I 个 Deep Peak Deep CNN O 主 ： O O 360 。 O临 b 下 6 O 个 6 

9 .2.2.2 AI AI O a AI X-ManI主 Fast-FI AI KongMing X-Man O . 5 /6 O 3- O ） O X X . 5 /6 O b -68 7 I 1 .M1 88 A6 A . A6 A 8 A N . O . f 1 . Oo 与 1 . O 临 1 . . 5 /6 4 X-Man 4.0 Fast-F 主 O Open Channel SSD KV O FW O 。 ） O AI 业 b I/O 7 

10 . KongMing 业 O 主 O RDMA NVLink O O AI KongMing X-Man Fast-F O O AI b e O T O 500 TO T Oe I 2.2.3 5G 5G 个 O 5G 个 2018 O Over The Edge MOTENO IIntel 5G ） OTE 5G ）、 O T O O O e a OTE 5 O O IaaS MInfrastructure as a ServiceN O PaaSMPlatform as a ServiceNO IaaS PaaS O OTE Stack 5G AI O O OTE 业 O 5G O e AI I主 O OTE Stack 业 O ） I I I b Oe Device-Edge-Cloud 8 

11 . 5 OTE 2.2.4 e 2018 O O b O I I [9][10][11][12][13][14] O 东 O e b I O b O M N U O I I 9 

12 . O ） 下 O p O p O a ” a 。 O o o O (Quanlse)O b a O O 与 O O 8 O 23 O 2.3 O p O p p p 东 业b a b O a 世 O O d 世 O X p p O e a 东 p ） Oe O 世 X O a主 p p a 个 O ） Logistic Regression p O O a O O O 10 

13 .GBDT p O p p O p p Jarvis Oe I主 I I I O O Jarvis Jupyterlab O 东 O e O GPU b O I O 主I O GPU Spark 业 13 O e 1/10 p AutoMLO I I O O pI p Jarvis O O I I GPU O GPU GPU O I GPU O ） o– O Doris 2018 Apache O O Kafka SQL UI I I / O 3.1 O I O— 11 

14 . SMLTA O b O b O b ； ” O a O SMLTA O 个 O O “ 3% O 临 个 O O End to End Parallel waveRNNM waveRNNN O bad case 专 O O 与 f Tacotron waveRNN O f P临 O 两 e a pO ： O bad case O o waveRNN O a p waveRNN a OX东 b O bad caseO O waveRNN O O I I aa O a O RNN/LSTM/GRU 世 O a WaveNet MRaw Audio WaveformN ClariNet[15]O WaveNet O u FF 1 O 东 0.05 ClariNet 个 a 12 

15 . O a O Google DeepMind Parallel WaveNetOClariNet b teacher WaveNet a 主 O pO Mcolsed- formN O O Parallel WaveNet ” O 个 ParaNet[16] MFeedforward Neural NetworkNOX MAutoregressive Neural NetworkN MRNNNO 东 MFeed-Forward PassNO 46.7 “ bOParaNet e O I I ： O 主 3.2 O I I a O– O 严 t 个 O a O O O X O 2018 O Open Images b I Logo a b ” O 个 2019 Objects365 与 Full Track bO p O Two-Stage O Class Aware Sensitive O 东 O 主 13 

16 . O 东 90%O 95% U 个 t ActivityNet O IGANITTS O 临a f O I 万 GAN O 业 CelebA – 个 O STGAN 与严 CVPR 2019[17] 6 f O M Pyramid Scene Parsing NetworkODeepLab v3+ N O a O 主 O 丁 O O I O b O mIOU loss O aX O CVPR 2019 LIPMLook Into PersonN bO – 65.18% mIoUO O 7.2 a O 个 U 14 

17 . 个 O NVIDIA CVPR 2019 AI CITY O RE-ID O I I I 丁 O） 丁 O I 上I I AI2B 7 O –I I 业 O– O 与 MMultiple Object Tracking ChallengeOMOTN MOT16 O I I O AI O 8 15 

18 . O PyramidBox PyramidBox++ 与 ， 业 Widerface Hard 业 [18] 丁 O AutoDL – ICME 2019 丁 CVPR 2019 临 bO e 三– ACER O ： o e FaceID a OCR 个 O – RCTW-17 I –I OCR a o O CVPR 2019 ICDAR 2019 O ICDAR 2019 MLT bO – 个 O ICDAR 2019 PLSVTMLarge-scale Street View Text with Partial LabelingO NIArTMArbitrary-Shaped TextO NO 主 I 100 三 O a e O O I I I I I O O Leopard I I O DAWN MData Analytics for What’s NextNb – CIFAR10 O CIFAR10 与 bO O 东 O I I 主 SLA O a e O 1000 a M I I I 16 

19 . N I I – ISKU I O 4 / eO – o e O 300 a O 95% GPU 东 SKU O O 东 O 个 SLAM MboteyeN 个 O p O O ROSO a O 个 3.3 / 2018 O – DuMix ARO AR AR Oe VR I3D 业I I I DuMix AR e O e AR O 40 DuMix AR 5.0O a O Oe O f VPASO 主 I I U 丁 O 临a DuMix AR 40 a I I I a AR 临a AI —— O2019 OAR a Oc I O na O AR O 一 2019 O 17 

20 . I f 。 I I58 O AR O O O O AR O VPAS O ODuMix AR 19 O 6 O AR o VR I3D 业I I I O K12I主 I O 主 I I p O 3D 业 O webVR I 主 3D VR O UnityI Web VR Suite SDKOe VR O VR I I I I VR o I 主 b VR 5G+ O e 临 5G Cloud VR O VR u O 个 VR O u O — O ， I 主 O O I Oe e O ， I O I O [19] 18 

21 . I O O I I – c O O u Ib Ib O I I O 主 O O I O I t O O AI I I I BGraph O p O p MERNIENO b – –I I – O 2015 临a O 2018 I p I – O AI for Prosthetics Challenge I 与 ， M International Workshop on Semantic EvaluationNI 与 MWMTN 与 tb 9 19 

22 .4.1 p p d f f p O –I I I O p – O Bootstrapping p O O – p O 主 O a O 主 e O e OX eI I I I I O 东 t It –It t O t t It It 丁 O t t bO at O t t I I I t – O t – 主 t T t O t I I a 与 O 与 东 O OPOIMPoint of interestN O c O O I O O ） Ua 临 O ） O I I 20 

23 . O 主I I 主 ） O ） O ） O BGraph 东 UO O I I 个 O O O O T T t O I I I I I I d O O O c t 10O I I O O O O I I a bO ACL 2019[20] 10 21 

24 .4.2 p MERNIEN 主 O O I“ Ua O p O 11 O ERNIE p 13 O b NLP 11 p ERNIE 2.0 7 ERNIE 2.0 b NLP OERNIE 2.0 I I b NLP GLUE 1 O BERT XLNETO 1O 2 ERNIE 业O Fine-tuning I 个 I 丁 1 I O b 22 

25 . 1b NLP 2 GLUE 业 2015 临a O I业 I I 与 [21][22]O O I O 临a主 I Oe O [23]O O ： O [24] O [25]O O 临 [26]O O 23 

26 . 临a Wi-Fi O Wi-Fi 业 O 80 a 4G 主 10 主 O临 丁 O O ，（ MMIT Technology ReviewN2018 M10 Breakthrough Technologies 2018N bO e 个 丁 O e b [27] 2018 8 O e O b （ 28 I756 a O 47 O O O O 25 Ta U O 12 - Wi-Fi I I I I 丁 NLP O I I O I东 I I ERNIE p O e O O b 东 30%~70%O 24 

27 . 60% O DAMMDeep Attention Matching NetworkNO 主 O O O b I O O 98% O bO O a Oe O 业 ” O 东 O a 业 O 主 O UNIT 3.0 O T a O – O I AI I O b I I I a 13 25 

28 . O MMachine Reading ComprehensionN — KT-NETO 临 b 主 O O O （ O 业 ReCoRD 业 SQuAD 1.1 – [28] O MGNNN MGATN b Oe b c O– bO a b O V-NET[29] f O V-NET MSMARCO 业 U [30] O [31]O O e O bO Oe O It I O I X bO t O O t O I I Ot Ot b O I I O I I O I I – O I I O O Oe 个 26 

29 .I 2016 O AI 2019 7 O 200 AI O AI OX AI O AI 个 AI 业 O AI 下O 150 TO O AI 14 AI eb AI O I I O p I AI I O O AI I 个 27