不是多个机器多个显卡那种，而是分配给不同地区不同人的电脑和显卡上，这个是不是对网速要求应该还挺高的，毕竟传更新的参数应该会很耗网速。
This topic created in 1986 days ago, the information mentioned may be changed or developed.
 |
forgetlightMay 27, 2021
1
你指的是 federated learning 吧?
|
 |
nnqijiuMay 27, 2021
2
数据传输会很慢吧？
|
 |
wateryessenceMay 27, 2021
3
http://splitlearning.mit.edu/
Federated Learning for Emoji Prediction in a Mobile Keyboard |
 |
kenshinhuMay 27, 2021
4
这就像分布式处理一样吧，性能的瓶颈在网络带宽。
|
 |
jdhaoMay 27, 2021 via Android
5
当然可以，分布式训练是训练大模型的唯一办法，可以参考 Uber 实现的方案 horovod，支持主流深度学习框架，https://github.com/horovod/horovod
|
 |
gscsnmMay 27, 2021
6
联邦学习
可以看看微众银行的 FATE |
 |
fbcskpebfrMay 27, 2021
7
federate learning，fl 的网络问题都刷到 infocom 和 nsdi 了
|
Select Language