Una instantánea del cambio en la música popular en la última década: 2008 vs 2018

Entre otras citas memorables sobre el himno Rockstar de 2018, el filósofo moderno Post Malone bromeó "Hombre, me siento como una estrella de rock". Armados con una pasión por los datos, decidimos investigar: ¿el rap es realmente el nuevo rock? O el nuevo pop? ¿Sigue siendo relevante el rock? ¿Qué describe mejor las letras típicas del pop? Exploramos las listas de éxitos de 2008 y 2018 con algunas visualizaciones.

El método:

Pensamos que un buen punto de partida sería el Billboard Hot 100 de fin de año, que mide las canciones más populares por radio, transmisión de datos y ventas (agradecimiento a Billboard, las listas están disponibles aquí). Escribimos un simple raspador web para obtener estos datos. Usando las 100 mejores canciones de 2018 y 2008, nuestro objetivo final era sumergirnos un poco más para descubrir grandes cambios en la industria de la música. Para hacer un análisis significativo, necesitábamos las letras y el género de cada canción. El sitio web AZLyrics (shoutout!) Hace un gran trabajo al mantener una base de datos de letras que se puede borrar en la web; pero por temor a que quizás estuviéramos intentando crear un sitio competitivo con sus preciosos datos nos prohibió cuando intentamos raspar la letra de estas 200 canciones. Sin embargo, nos reímos por última vez cuando regresamos con un raspador ligeramente más inteligente (léase: más difícil de detectar) y una VPN. [todo el conjunto de datos y el raspador están en Github, para aquellos interesados]

Los resultados:

Algunas cosas a tener en cuenta: en lugar de lidiar con múltiples subgéneros como trap-rap, EDM-pop, etc., decidimos agrupar las canciones en los géneros generales de rap, R&B, pop, country y rock (con alguna manipulación de Pandas). Por ejemplo, clasificamos las canciones Indie / Alternativas como rock.

The Hot 100:

En primer lugar, tenemos el desglose de los 100 mejores por género: lo más interesante aquí, en nuestra opinión, es la aparición del rap y el lento declive del rock. Los gráficos circulares a continuación muestran las acciones de géneros en la cartelera hot 100 para los años 2018 y 2008.

El rap casi ha duplicado su participación en el top 100, mientras que el rock ha caído de un mero 12% en 2008 a un 5% en 2018. De hecho, argumentaríamos que el rap es ahora el género dominante, incluso sobre el pop (música popular, por definición). Sin embargo, estos gráficos se ven mejor junto con estos diagramas de dispersión que muestran la distribución de los números de gráficos en todos los géneros.

Los scatters dan una idea de cuán populares fueron los géneros cada año.

Mirando la trama de 2008, podemos concluir que solo unas pocas canciones de rap alcanzaron los 40-6 principales, para ser precisos, pero el pop tuvo 20 éxitos en ese rango. Ahora, después de una década, el número de éxitos de rap en el top 40 ha explotado a 20, y el número de canciones pop en el top 40 en consecuencia ha disminuido a 16. Rock, el cuarto género más popular en 2008, tenía 16 canciones en el caliente 100; Sin embargo, fue el género menos popular en 2018, contribuyendo a solo 5 de los 100 mejores.

Letra:

Ahora para la parte interesante: la letra de las canciones populares. Hicimos diagramas de caja que muestran el número de palabras en una canción típica de cada género. Como era de esperar, con un ritmo y una frecuencia de palabras más optimistas, las canciones de rap promedian (en promedio) más: alrededor de 600 palabras / canción en 2008 y 18. Otros géneros también son consistentes entre los 2 años: pop y R&B alrededor de 400 palabras / canción , rock y country alrededor de 300.

Pensamos que otra idea genial sería comparar el número de palabras distintas en las canciones (repeticiones ignoradas). Sabíamos que el rap sería el género para recompensar la repetición, pero nos sorprendió descubrir que a pesar de tener la mayor cantidad de palabras, en ambos años no promedió la mayor cantidad de palabras únicas por canción. De hecho, en 2008, las canciones de rap promediaron más de 100 palabras únicas por canción, pero esto se redujo a alrededor de 80 en 2018 (sospechamos debido al aumento del murmullo altamente repetitivo, ¡gracias Migos!)

Nubes de palabras:

Finalmente, pensamos que sería interesante crear nubes de palabras (visualizar las palabras que aparecen con más frecuencia en las letras de un género). Nuestra conclusión: tiene sentido que los padres quieran mantener a sus hijos alejados del rap. Curiosamente, la nube de palabras de rap de 2008 casi parece casi shakesperiana en comparación con la de 2018, que está llena de improperios y términos despectivos. Así que parece que las letras de rap están empeorando en términos de contenido improperio. Algunas ideas adicionales: las canciones pop se caracterizan mejor por palabras como "amor", "saber", "querer" y "sentir", y las letras de R&B están en algún lugar entre Pop y Rap.

Este análisis está obviamente lejos de ser perfecto, pero nos divertimos y creemos que obtuvimos algunas ideas interesantes. Si está interesado en aprender a raspar la web o hacer algunos de estos gráficos, todo nuestro código y datos están en Github. ¡Gracias por leer! A continuación: usamos Machine Learning para intentar predecir el género de una canción a partir de sus letras (con más datos, obviamente). ¡Manténganse al tanto!