<div dir="ltr"><div><br></div><div>Hi Folks,</div><div><br></div><div>Dominic Richards (visiting from Oxford) will talk this Friday about:<br></div><div><br></div><div>Title: Optimal Statistical Rates for Non-parametric Decentralised Regression with <br></div><div>Distributed Gradient Descent</div><br><div>Abstract: Due to bandwidth limitations, privacy concerns or network instability, it is <br></div><div>often required to fit statistical models on data sets stored across multiple computers <br></div><div>without a central server to coordinate computation and disseminate information i.e. star</div><div> topology. This has motivated the investigation of decentralised methods which solve the</div><div> problem in a more robust manner by not relying on a single computer. In this work we</div><div> investigate the statistical performance of a simple synchronous decentralised iterative <br></div><div>gradient descent method (Distributed Gradient Descent) in the homogeneous distributed <br></div><div>non-parametric regression setting i.e. computers hold samples from the same distribution. <br></div><div>By utilising the concentration of quantities held by individual computers, we show there <br></div><div>are a number of settings where computers can save on computational and communication <br></div><div>costs without any loss in statistical accuracy. Given computers hold sufficiently many <br></div><div>samples with respect to the network topology, we show that Distributed Gradient Descent <br></div><div>yields optimal statistical rates with the same numbers of iterations as Centralised algorithm.</div><div> (Joint work with P. Rebeschini)</div><div><br></div><div>See you Friday at 11am in the Stat's classroom.</div><div><br></div><div>Regards,</div><div>sekhar<br></div></div>