Si entiendo bien lo que que hace tu mouse, creo que el comportamiento del mouse se explica por el shift. Como está el shift presionado no te deselecciona al hacer clic en el fondo y al presionar en un elemento te selecciona los elementos anteriores, eso creo que es lo normal.
Y hacele caso a Master con el live cd. Es un amargado pero sabe.