Depende de la lente... en ciertos casos se nota una barbaridad, en otros no tanto. Por ejemplo, los 50 mm de Canon (f/1.4, f/2.5 o f/1.8 ) tienen una excelente calidad óptica a pesar de no ser serie L, y lo mismo puede decirse del 85mm f/1.8 (aunque en FF viñetea un pelín más que el f/1.2) o el 100mm f/2.8 macro. Todos los anteriores son fijos, pero también hay zooms, como el 28-105, que sin ser L no rinden nada mal (ópticamente hablando, porque el autofocus es lento). Además, no debemos olvidarnos del aluvión de objetivos EF-S de excelente calidad en cámaras de factor 1,6 pero inutilizables en máquinas de otro tipo.
Las diferencias entre un L y una lente normal empiezan a hacerse bastante más acusadas cuando pasamos a trabajar con cámaras full frame, así que si estás utilizando una cámara con crop puede ser que no aprecies gran cosa según las lentes que te hayas comprado.
Tampoco debes olvidar que un L ofrece no sólo calidad óptica: la construcción es mucho más robusta, por lo que pueden pueden soportar las inclemencias ambientales, y el autofocus suele ser muy rápido (la excepción era el viejo 85mm f/1.2, pero con el MarkII el tema se ha solucionado).