Lee un CSV de ofertas/skills y grafica las habilidades más demandadas; útil para comparar roles, seniority y periodos. Pipeline ETL con PySpark y visualizaciones interactivas para análisis del mercado laboral.
Lectura de CSVs con ofertas laborales, skills y metadatos de scraping
Limpieza, normalización y extracción de skills con expresiones regulares y NLP básico
Conteo por skill, agrupación por role/seniority/periodo y ranking de demanda
Guardado en Parquet/Delta con particionado por fecha y región
Dashboards interactivos con trending skills, comparativas por rol y análisis temporal
[Espacio reservado para explicar el proceso de extracción de skills: regex patterns, diccionario de tecnologías, manejo de sinónimos (JS/JavaScript), y limpieza de texto con PySpark NLP]
Por implementar: Patrones regex y diccionario completo de tecnologías
[Espacio reservado para documentar el análisis de tendencias: ventanas temporales, cálculo de growth rate, detección de skills emergentes, y comparación período a período]
Por implementar: Algoritmos de detección de tendencias y métricas de crecimiento
[Espacio reservado para explicar la segmentación: clasificación automática de roles (frontend, backend, data), detección de nivel de seniority, y análisis comparativo]
Por implementar: Clasificadores ML para categorización automática
[Espacio reservado para documentar las fuentes de datos: estructura del CSV de ofertas, campos disponibles (título, descripción, skills, salario), y ejemplos de registros procesados]
/data/raw/ - CSVs crudos de ofertas laborales/data/processed/ - Datos limpios y normalizados/data/aggregated/ - Métricas y rankings por skill/reports/ - Dashboards y visualizaciones/config/ - Diccionarios de skills y configuración[Por definir: versión de Spark,
configuración de memoria,
dependencias de visualización,
requisitos de Airflow/Prefect]# 1. Clonar repositorio
git clone https://github.com/marcorios99/job-skills-miner
cd job-skills-miner
# 2. Crear entorno virtual
python -m venv venv
source venv/bin/activate # Linux/Mac
# venv\Scripts\activate # Windows
# 3. Instalar dependencias
pip install -r requirements.txt
# 4. Configurar Spark
[Por implementar: configuración de Spark session]
# 5. Procesar datos de ejemplo
spark-submit src/process_jobs_data.py
# 6. Generar reportes
python src/generate_dashboard.py
# 7. Ejecutar con orquestador (opcional)
prefect deployment run skills-pipeline/production[Espacio reservado para documentar insights del análisis: skills más demandadas por región/rol, tendencias temporales, correlaciones entre tecnologías y análisis salarial]
PySpark, Apache Spark
Delta Lake, Parquet
Airflow, Prefect
Plotly, Streamlit, Jupyter
spaCy, regex, text processing
pytest, spark-testing-base