Já colocou um filtro de papel original com um K&N? A diferença é minima, muito pouca.
Um K&N tem vantagem na durabilidade, o material acumula menos sujeira, e ele é lavável, dura muito mais, a longo prazo, é um bom custo beneficio.
Não vai prejudicar em nada o motor, o desempenho terá poucos ganhos, como teu carro é turbo, vai fazer um ruido um pouco mais agudo da turbina puxando ar.
Sem duvida o filtro K&N é bem mais ofensivo do que o teu JB4.
No teu caso, eu colocaria um intake com filtro cônico, ai terá uma mudança no ruido e no desempenho. Mas o custo é bem mais alto.
Caso tu faça rally tua 320 em estrada de terra, use o filtro original kkkkkkkk