VPN网络慢的问题~~~~请高手支援

各位朋友,本人公司ADSL2M接入,用路由器直接做了个VPN连接到香港,用远程桌面连接香港Server并访问数据,但速度出其的慢,甚至有时候会断开连接,但我测试香港的网速非常的快(香港ISP,50ms以下),香港那边说是我们这边处于金融中心地段所以会慢,我分析不是这个原因,因为我Ping 香港其它公司的IP,速度很快啊(200ms以下),但Ping 香港公司的Server就会很慢(1000ms以上)所以请指点一下,帮助分析一下原因,非常感谢!
注明:香港公司的路由同其它公司(测试ping)的路由跳数是一样的,15 hops