飞桨端到端开发套件揭秘低成本开发的四大秘密武器

11月5日,在Wave Summit+2019深度学习开发者峰会上,飞桨全新发布和重要升级了最新的21项进展,在深度学习开发者社区引起了巨大的反响。

很多未到场的开发者觉得遗憾,希望可以了解飞桨发布会背后的更多技术细节,因此我们特别策划了一个系列稿件,分别从核心框架、基础模型库、端到端开发套件、工具组件和服务平台五个层面分别详细解读飞桨的核心技术与最新进展,敬请关注。

ERNIE全景图,预置了包含ERNIE通用模型、ERNIE任务模型、ERNIE领域模型以及本次发布的ERNIE Tiny轻量级模型等系列预训练模型。在此基础上,构建了包含工具和平台的飞桨语义理解开发套件。全面覆盖了训练、调优、部署等开发流程,具备轻量方案、能力全面、极速预测、部署灵活、平台赋能等五大特色。

特色3:极速预测API

中国石油就不用说了,这家上市当天创下48.62元历史最高价的“亚洲最赚钱公司”,上个月刚创下5.49元的历史新低,留给股民的是深深的伤痛:问君能有几多愁?恰似满仓中石油。

ElasticCTR源自真实产业实践,与原生K8S无缝结合,通过针对深度学习任务进行弹性调度的处理,可以大幅节约资源消耗。性能方面,全异步分布式CPU训练速度是对标产品的6倍,工业级部署性能是对标产品的13倍,非常适合大规模CTR的应用场景。

飞桨发布端到端开发套件的初心,是为了更好满足开发者的低开发成本、快速集成需求而来的。开发者的时间、人力非常宝贵,效率提升非常重要。为了要解放开发者劳动力,降低开发的成本,同时能够快速的集成和部署,飞桨推出了端到端开发套件。

特色1:轻量级解决方案,预测速度提升1000倍

特色1:丰富的数据增强

ERNIE Fast-inference API旨在解决产品应用的延迟敏感场景,为企业开发者提供极速预测的C++ API,便于开发者集成。该工具也充分借助了最新版飞桨的高速预测优势,飞桨1.6通过OP聚合算法,有效加速了ERNIE的预测。

综合来看,ERNIE的语义理解开发套件依托百度在预训练模型等自然语言处理技术和飞桨平台领先优势,为人工智能产业化大生产贡献力量,赋能各行各业。

PaddleDetection基于飞桨高性能的引擎,提供了一套完备的部署方案。对于Linux和Windows都提供了良好的支持,GPU预测底层支持TensorRT加速以及FP16预测。CPU底层支持使用MKLDNN加速。再加上PaddleSlim提供的模型压缩策略,可以提供更小的模型和更快的速度,满足工业级部署的需求。

2.四大开发套件详细解读

在算法层面,PaddleDetection支持了目前常用的主流检测算法,单阶段检测算法包括:SSD,RetinaNet,YOLOv3,两阶段检测算法包括:Faster-RCNN,Mask-RCNN,Cascade-RCNN,支持两阶段的FPN。在主干网、数据增强、在预训练模型方面,都提供了很好的支持。

目前,亚欧已经在共同维护开放型世界经济等方面迈出步伐。如在世贸组织(WTO)争端解决机制上诉机构改革问题上,中国已与欧盟等40多个成员提交了联合提案。

暴风集团再创“奇迹”

还有创下了A股主板最高发行价(90元/股)的华锐风电,上个月股价再度跌破1元,现在仍在1元附近挣扎。

飞桨全新发布包含语义理解(ERNIE),目标检测(PaddleDetection),图像分割(PaddleSeg)和点击率预估(ElasticCTR)四大端到端开发套件,旨在通过模块化的设计和端到端的体验,满足企业低成本开发和快速集成需求。核心内容3503字,预计阅读时间4分钟。

为进一步降低开发者使用成本,套件提供预测服务方案——ERNIE Service,来方便获取ERNIE模型的向量分布以及预测打分。

ElasticCTR个性化预估,是工业推荐场景下的常见需求,与工业实践的关联度非常高。以飞桨核心框架为核心,ElasticCTR实现了大量的技术突破:通过与资源调度平台深度集成提高资源调度的效率;在分布式训练的环节,提供全异步的参数服务器方案、流式训练和高性能的IO接口;最终,通过高性能的KV预估和一键部署工具实现工业级部署。

那么,对普通投资者来说,如何才能避免这些“坑爹”股?万一不幸踩雷碰到了“坑爹”股又该如何自救?申万宏源证券投资顾问李青给投资者支了三招。

联合国前副秘书长阿赫塔尔也表示,中国和欧盟要相互理解,加强互信,这样才能更好促进亚欧大陆合作。(完)

暴风集团的这一幕,对A股市场的股民可以说是似曾相识,不少股民恐怕还踩过“雷”。

中国外交部原副部长李保东也表示,面对多种风险和挑战,作为世界最主要的两个经济板块,亚欧加强沟通合作格外重要。这将为全球注入更多稳定性。

“我们(欧亚)如果想合作,就需要知识、友谊和信任。”欧洲咨询联盟、安博思公司高级合伙人博吾乐说。

中国央行原行长周小川称,今后亚欧应在WTO改革中进一步发挥建设性作用,恢复WTO的权威性和有效性。此外,双方还应加强基础设施互联互通,实现“一带一路”建设与欧盟提出的“连接欧亚”战略共同发力,以便为超大项目充分动员各种资源。

第一招,回避有问题、有争议的公司。“许多‘坑爹’公司并不是一下子爆雷,而是爆雷前就会有一些负面消息,这时上市公司又会进行辟谣。但许多散户往往抱有侥幸心理,或者一种博傻心态,结果错过了出逃的好机会。”乐视网就是一个典型的例子。

此外,套件还包含了ERNIE的平台化使用方案,开发者可通过EasyDL专业版一站式完成NLP任务的数据标注、处理、ERNIE微调、优化、部署等全流程的功能,为开发者提供丰富的算法、算力服务,进一步降低ERNIE的产业化应用门槛。平台预置了常用的NLP文本分类、文本匹配等经典网络,能够快速满足多层次开发者的需求。

ERNIE Fine-tune微调工具旨在为给开发者提供一套简单好用的Fine-tune框架,目前覆盖NLP四大常用任务:单句分类、句对匹配、命名实体识别、阅读理解。工具集支持多机多卡Fine-tune,同时使用FP16 Tensor Core技术在Tesla V系列GPU上获得60%的训练速度提升。

特色4:向量服务器,支持跨平台灵活部署

实际上,“抱团取暖”也是亚欧提振各自经济的需要。2019年以来,因出口疲软、投资乏力,欧洲经济增速显著下行且持续弱于美国。核心国家德国表现尤其低迷;亚洲整体经济增速也在放缓。

芬兰前总理艾斯科·阿霍接受中新社记者采访时称,现在世界经济面临的最大挑战就是如何捍卫并发展基于规则的贸易体制。在他看来,“这是我们第一次面临如此严重的危机”,欧亚必须加强合作,这将让全球都从中受益。

PaddleDetection在训练速度、训练显存和推理速度上,大部分模型都优于对标产品的性能。

第三招,碰到突发的爆雷事件,股价出现异常的时候,投资者要及时止损。一般爆雷股,前面一二个跌停板换手率往往比较高,这时候出逃的可能性比较大。等投资者形成共识,连续“一”字跌停的时候,换手率很低,出逃的机率就很低了。但许多散户要么后知后觉,要么鸵鸟心态不愿面对现实,结果是损失持续扩大。如果是好公司,卖出以后还是可以再买回来的。

今天给大家带来的是系列文章之飞桨的端到端开发套件解读。

联合国第八任秘书长潘基文。(资料图片) 中新社记者 刘关关 摄

12月2日晚间暴风集团出了一则“奇葩”公告: “公司……目前仅剩10余人,同时存在拖欠部分员工工资的情形。”此外还有4.7亿元的转让价款、违约金等着公司去支付。这则公告,恐怕要让公司的6.8万名股东欲哭无泪了。不过,股价从300多元跌到3元多,估计大部分股东的眼泪早已经哭干了。

PaddleDetection目前已经广泛的在智慧交通、安防监控和商品检索上实现落地引用,并且取得了良好的应用效果。

ERNIE 2.0拥有强大的语义理解能力,而这些能力需要强大的算力才能充分发挥,这为实际应用带来了非常大的挑战。为此,百度发布轻量级预训练模型ERNIE Tiny以及一键式数据蒸馏工具ERNIE Slim,预测速度提升达到1000倍。

值得注意的是,一个以发展中国家和新兴经济体为主,一个则是发达经济体最集中的地区,亚欧在合作中也有一些“心结”待解。例如,随着中国经济实力提升,欧盟内部对中国企业对欧投资不乏怀疑和担忧情绪,认为中欧经济合作只有中国受益的论调也不时出现。

PaddleSeg目前已经在广泛场景中应用,无论是工业质检中的精密零件的智能分拣,以及经典的人像分割场景的应用,还有遥感领域的地块分割,都可以很好的辅助完成行业的AI赋能。

獐子岛成了戏精,“扇贝跑路”成了其固定戏码,网友戏称他们的扇贝为“旅行扇贝”。股民怒了:“骗我可以,注意次数。”

今年7月份,百度发布持续学习语义理解框架ERNIE 2.0,在共计16个中英文任务上超越BERT、XLNET,取得了SOTA的效果。同时ERNIE 2.0发布以来,ERNIE产业化应用进程不断加速,易用性不断提升,配套产品也不断丰富和完善。目前ERNIE 2.0在百度内部及行业内已取得了广泛应用,在多种场景下都取得了明显效果提升。这些场景的成功运用为ERNIE产业化应用积累了丰富的经验。

PaddleSeg在性能优化方面开展了很多工作。包括训练速度提升、GPU利用率提升以及显存性能优化。同时支持较新的FP16混合精度的训练。特别的,对于动态的Loss Scaling,在不损失精度的情况下,性能可以有30%的提升。PaddleSeg在英伟达特斯拉V100卡上,单卡训练速度是对标产品的2.3倍,多卡上是对标产品的3.1倍。

PaddleDetection是基于飞桨核心框架,结合百度科研和业务的需求,构建的目标检测开发套件。从全景图可以看到,套件中主要不仅包含各个检测算法实现,而且提供一系列的优化组件,以及更好的辅助调试的可视化的模块。同时,还提供了加速训练相关的混合精度的训练模块以及丰富的算法组件。

整个PaddleSeg开发套件都是模块化设计的,无论是数据增强模块里面的多种增强算法,主干网络的多种Backbone模块选择,都可以让开发者更好的根据实际业务场景需求使用。分割网络包含了目前的4种主流网络:医疗领域常见的U-Net,经典的DeepLabV3,面向实时场景的分割模型ICNet等。同时对于损失函数的模块化设计,也可以更好的提升各个分类场景下的分割精度,例如小目标分割的效果。

正在此间举行的博鳌亚洲论坛第二届“亚欧合作对话”上,联合国第八任秘书长潘基文称,当前保护主义令世界经济与贸易增长越发萎靡,单边主义则使稳定的国际秩序陷入混乱,甚至有被“丛林法则”蚕食的风险。

“树倒猢狲散”,作为暴风集团合作审计机构的大华会计师事务所也不干了,声称自己“2019年报审计业务繁重”,在11月底推掉了暴风集团的审计业务。

与会人士认为,解决这一问题需要更多沟通和信任。

上周末,暴风集团再创收盘新低,报收3.17元。而4年多前刚上市的时候,这只股曾拉了35个涨停板,包括连续29个涨停板。但在创下327.01元的历史最高价后,暴风集团的股价就开始一路狂泻,短短4年半时间,股价从300多元跌到现在3元多。按复权价计算,跌幅达到97.44%,也就是不到最高价时的3%。

第二招,对于炒高的股票,不要盲目追高,购买时千万要谨慎。许多被炒高的股票,哪怕不爆雷,其股价也有个价值回归的过程,如果再碰上爆雷,那损失可真惨不忍睹了。哪怕好公司的股票,股价炒高之后,也会有回调的时候。

中石油、乐视网、獐子岛

1.端到端开发套件的初心

与暴风集团同在创业板的乐视网就不用说了,这家曾经的“创业板第一权重股”,市值从1500多亿跌到60多亿,只剩下4%多一点,已于今年上半年被暂停上市。

特色2:一键式高性能全类微调工具

对于端到端体验的流程中,数据处理也是非常重要的环节,飞桨通过扎实打通端到端流程,模块和的设计,提供一系列的工具箱辅助开发者去解决。目前发布的四大端到端开发套件,非常具有典型性,可以覆盖主流一大部分任务。

端到端开发套件具有以下三个通用特点:一是满足真正的工业场景中性能要求,保持性能领先;二是开发简单易用,高效解决问题;三是打通端到端流程,落地高效易部署。

在计算机视觉领域,图像分割有非常广泛应用的场景。基于这样背景,飞桨开发了图像分割开发套件PaddleSeg,目标是降低开发门槛,更容易实现产业落地。图像分割开发套件基于飞桨的核心框架,主要做了以下方向的建设:一是数据增强,将工业级常用分割算法开放出来;二是在模型层使用模块化的设计,将整个分割的模型拆分成三块,包括骨干网络、分割网络和模型损失函数。拆解之后,可以让这些模块自由组合,能够解决特定场景的问题。三是在训练场景上,PaddleSeg里面做了大量性能方面的优化,在显存优化和预测速度上都做了大量的工作。四是易用性方面,通过实际的项目打磨验证,找到使用过程当中的痛点并且解决掉。训练模型工业级部署,开发套件也做了集成,可以帮助广泛开发者使用。

还有更惨的是,买着买着,我的股票不见了!这不,今年以来就有*ST上普、海润光伏、众和股份、华泽钴镍、*ST雏鹰、*ST华信、*ST大控和长生生物、印纪传媒和A股“拜拜”了……

如果4年多时间股价从327元跌到3元多还不算“奇迹”的话,那么,上市后仅仅4年零8个月,公司就只剩下10余个人,在A股市场可谓闻所未闻。

特色2:模块化的设计

乐视网也算是破罐子破摔了:2017年亏了137亿,2018年亏了41亿,今年前三季度又亏了102亿,从“创业板第一权重股”变为“创业板亏损王”。

看看A股的“坑爹股”有多少

让股民们不省心的还有獐子岛,2014年亏了近12亿,理由是遭遇“冷水团”,虾夷扇贝全部都“跑路”了;2017年又亏了7亿多,这回“解释”说扇贝们被“饿死”。今年一季度亏了4314万,理由依旧是“扇贝跑路”。

PaddleSeg提供10余种数据增强的策略,有效的训练数据,大幅度提升模型的鲁棒性,开发者可以根据实际的场景进行灵活组合,根据实际场景进行选用,让整个分割模型应用泛化能力更强。

本次发布还进一步增强了YOLOv3,基于COCO的mAP再进一步提升至41.4%,GPU上的推理速度进一步提升。本次还发布了BlazeFace等系列人脸检测模型,同时还发布了自研的搜索版本BlazeFace,模型大小压缩三倍的情况下,大幅提升预测速度。特别强调一下,预训练模型中的行人检测和车辆检测的模型,是基于百度内部的业务数据得到效果不错的模型,值得推荐。

公司目前仅剩10余人

根据产业的需求,PaddleSeg开发了高性能的C++预测库。在多线程计算优化、算子硬件加速方面,而且依托于真实的项目实践验证做了大量优化工作,真正满足工业级部署需求。

事情起因于今年7月份。7月28日,暴风集团突然公告,公司实际控制人冯鑫被公安机关采取强制措施。老板被抓,公司顿时乱成一锅粥,公司高管甚至证券代表一个个辞职。目前暴风集团已没有一名高管。

“这些都是实实在在的威胁,并且正在变成现实”,他警告说,如果不立刻采取行动扭转这一趋势,后果将殃及子孙后代。亚欧大陆人口占全球60%,GDP总量占全球65%,且其中大多数国家都是多边贸易体制和开放型世界经济的受益者和支持者,如果亚欧加强合作,就能取得对单边主义和保护主义的胜利。

意大利驻华公使衔参赞冯竹森也表示,“一带一路”建设是改变未来“至关重要的平台”,今后应积极推动“一带一路”建设与连接欧亚战略对接,为欧亚合作更好赋能。