Estava brincando com meu Raspberry PI com o Raspbian e a conexão com o ssh ficava caindo o tempo todo, Broken pipe, e depois não permitia minha conexão.
Eu não sei porque isso estava acontecendo mas para arrumar isso, edite o /etc/ssh/sshd_config com
sudo nano /etc/ssh/sshd_config
Procure por TCPKeepAlive e altere de yes pra no.
TCPKeepAlive no
Não faz sentido, mas funcionou.
Abraços
No mínimo estranho pois deveria melhorar ativando o keepalive e não ao contrário.