Distributed machine learning is becoming a popular model-training method due to privacy, computational scalability, and bandwidth capacities. In this work, we explore scalable distributed-training versions of two algorithms commonly used in object detection. A novel distributed training algorithm using Mean Weight Matrix Aggregation (MWMA) is proposed for Linear Support Vector Machine (L-SVM) object detection based in Histogram of Orientated Gradients (HOG). In addition, a novel Weighted Bin Aggregation (WBA) algorithm is proposed for distributed training of Ensemble of Regression Trees (ERT) landmark localization. Both algorithms do not restrict the location of model aggregation and allow custom architectures for model distribution. For this work, a Pool-Based Local Training and Aggregation (PBLTA) architecture for both algorithms is explored. The application of both algorithms in the medical field is examined using a paradigm from the fields of psychology and neuroscience - eyeblink conditioning with infants - where models need to be trained on facial images while protecting participant privacy. Using distributed learning, models can be trained without sending image data to other nodes. The custom software has been made available for public use on GitHub: https://github.com/SLWZwaard/DMT. Results show that the aggregation of models for the HOG algorithm using MWMA not only preserves the accuracy of the model but also allows for distributed learning with an accuracy increase of 0.9% compared with traditional learning. Furthermore, WBA allows for ERT model aggregation with an accuracy increase of 8% when compared to single-node models.


翻译:分散的机器学习正在成为一种流行模式培训方法,其原因是隐私、计算缩放性和带宽能力。在这项工作中,我们探索了在目标检测中常用的两种算法的可缩放分布式培训版本。为线性支持矢量机(L-SVM)的天体检测提议了一个使用平均重量矩阵聚合(MWMA)的新分布式培训算法(MWMA),该算法基于方向梯梯的直射图(HOG) 。此外,还提出了一个新的Weighted Bin Agregation(WBA)算法(WBA)算法(WBA)算法(WBA),用于对Regresmble of Regression 树(ERT)的标志性本地化进行分布式培训。两种算法都不限制模型集成地点的位置,而允许为模式分布式矩阵的分布式组合(MWMMA)的本地化结构。对于这两种算法,可以不用将Gial-LTA(PLTA)的本地化数据用于医学模型,而无需使用SLO/SLOLOLA的精确化。模型,也可以化。可以将数据用于SLA/SLOLO。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
专知会员服务
117+阅读 · 2019年12月24日
已删除
AI掘金志
7+阅读 · 2019年7月8日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2020年11月22日
Arxiv
45+阅读 · 2019年12月20日
VIP会员
相关资讯
已删除
AI掘金志
7+阅读 · 2019年7月8日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员