La palabra "lolicon" procede de "Lolita Complex" (complejo de Lolita) y es por un libro de un ruso que luego fue adaptado a una película, donde un hombre adulto "se enamora" de una adolescente de 14 años.
La palabra se asoció también a cierto estilo estético de muñecas japonesas. Cuando decimos "un estilo loli", esperarías algo como Shinku, de Rozen Maiden.

El uso de la palabra "loli" empezó a aplicarse a niñas en el animé de forma generalizada, sin mucho detalle al sentido (o sea, podía ser un uso inocente o en un tono pervertido). Pero los que buscaban el segundo sentido eran muy activos, entonces los demás prefirieron usar la palabra "moe" para hablar de la ternura y evitar malas interpretaciones.
Los artistas crearon toda clase de manga y dibujos loli, incluyendo los que retratan el abuso sexual de forma muy cruda. Esto es lo que después generaría un movimiento "anti loli", y donde cualquier mención a la palabra o incluso la sola aparición de una niña en estilo animé ya es vista por muchos como una indicación de intenciones eróticas.

El término "loli" quedó así cargado de una connotación sexual irremediablemente, en especial porque la palabra alude ya a una obra de carácter complicado. Entonces, cuando a veces queremos emplear esa palabra de un modo tierno, estamos expuestos a los otros sentidos y la fuerte carga que ciertas personas le van a dar. La recomendación es emplear palabras más neutras.