refactor: melhora processo de seed de dados com melhor tratamento de erros e concorrência

This commit is contained in:
andersonid
2025-04-04 09:24:45 -03:00
parent 9bb62c81a7
commit c7c3b95f0b
2 changed files with 148 additions and 104 deletions

32
seed.py Normal file
View File

@@ -0,0 +1,32 @@
from seed_data import seed_database
from functions.database import Base, engine, get_db_connection
import time
import os
def wait_for_db():
db_path = os.path.expanduser("~/.local/share/controles/database.db")
max_attempts = 30
attempt = 0
while attempt < max_attempts:
if os.path.exists(db_path):
try:
db = get_db_connection()
db.execute("SELECT 1")
return True
except:
pass
print(f"Aguardando banco de dados... tentativa {attempt + 1}/{max_attempts}")
time.sleep(1)
attempt += 1
return False
if __name__ == "__main__":
print("Aguardando banco de dados estar pronto...")
if wait_for_db():
print("Iniciando população do banco de dados...")
seed_database()
print("Banco de dados populado com sucesso!")
else:
print("Erro: Banco de dados não ficou pronto a tempo.")

View File

@@ -2,16 +2,16 @@ from datetime import datetime, timedelta
from functions.database import (
Base, Militante, CotaMensal, TipoPagamento, Pagamento,
MaterialVendido, TipoMaterial, VendaJornalAvulso, AssinaturaAnual,
RelatorioCotasMensais, RelatorioVendasMateriais, engine, get_db_connection,
RelatorioCotasMensais, RelatorioVendasMateriais, engine, SessionLocal,
Setor, ComiteCentral, Usuario, Role, EmailMilitante, Endereco
)
import random
from faker import Faker
import time
fake = Faker('pt_BR')
db_session = get_db_connection()
def criar_tipos_pagamento():
def criar_tipos_pagamento(session):
"""Cria tipos de pagamento padrão"""
tipos = [
"Dinheiro",
@@ -21,11 +21,11 @@ def criar_tipos_pagamento():
"Transferência Bancária"
]
for tipo in tipos:
if not db_session.query(TipoPagamento).filter_by(descricao=tipo).first():
db_session.add(TipoPagamento(descricao=tipo))
db_session.commit()
if not session.query(TipoPagamento).filter_by(descricao=tipo).first():
session.add(TipoPagamento(descricao=tipo))
session.commit()
def criar_tipos_material():
def criar_tipos_material(session):
"""Cria tipos de material padrão"""
tipos = [
"Jornal",
@@ -35,27 +35,32 @@ def criar_tipos_material():
"Cartilha"
]
for tipo in tipos:
if not db_session.query(TipoMaterial).filter_by(descricao=tipo).first():
db_session.add(TipoMaterial(descricao=tipo))
db_session.commit()
if not session.query(TipoMaterial).filter_by(descricao=tipo).first():
session.add(TipoMaterial(descricao=tipo))
session.commit()
def criar_militantes(num_militantes):
def criar_militantes(session, num_militantes):
print(f"\nCriando {num_militantes} militantes...")
militantes = []
emails_usados = set() # Conjunto para rastrear emails já usados
emails_usados = set()
# Obter um setor existente
setor = session.query(Setor).first()
if not setor:
print("Erro: Nenhum setor encontrado!")
return []
for i in range(num_militantes):
try:
nome = fake.name()
cpf = fake.cpf()
# Gerar email único
while True:
email = fake.email()
if email not in emails_usados:
emails_usados.add(email)
break
# Criar endereço
endereco = Endereco(
estado=fake.estado_sigla(),
cidade=fake.city(),
@@ -65,12 +70,11 @@ def criar_militantes(num_militantes):
complemento=f"Bloco {random.randint(1, 10)}, Apto {random.randint(1, 999)}" if random.random() < 0.3 else None,
cep=fake.postcode()
)
db_session.add(endereco)
db_session.flush() # Para obter o ID do endereço
session.add(endereco)
session.flush()
print(f"Criando militante {i+1}: {nome} (CPF: {cpf})")
# Criar militante
militante = Militante(
nome=nome,
cpf=cpf,
@@ -91,27 +95,33 @@ def criar_militantes(num_militantes):
dirigente_sindical=random.random() < 0.2,
central_sindical=random.choice(['CUT', 'CSP-Conlutas', 'CTB', 'Força Sindical']) if random.random() < 0.4 else None,
endereco_id=endereco.id,
responsabilidades=random.randint(0, 1023) # Valor aleatório para responsabilidades
responsabilidades=random.randint(0, 1023)
)
db_session.add(militante)
db_session.flush() # Para obter o ID do militante
session.add(militante)
session.flush()
# Criar email do militante
email_militante = EmailMilitante(
militante_id=militante.id,
endereco_email=email
)
db_session.add(email_militante)
session.add(email_militante)
militantes.append(militante)
db_session.commit()
# Commit a cada militante para evitar transações muito longas
session.commit()
except Exception as e:
print(f"Erro ao criar militante {i+1}: {e}")
session.rollback()
continue
return militantes
def criar_cotas(militantes, quantidade_por_militante=3):
"""Cria cotas mensais fictícias"""
def criar_cotas(session, militantes, quantidade_por_militante=3):
print(f"Criando {quantidade_por_militante} cotas para cada um dos {len(militantes)} militantes...")
for militante in militantes:
try:
print(f"Criando cotas para militante {militante.nome}")
for i in range(quantidade_por_militante):
data_base = datetime.now() - timedelta(days=30 * i)
@@ -124,9 +134,12 @@ def criar_cotas(militantes, quantidade_por_militante=3):
data_vencimento=data_base + timedelta(days=30),
pago=random.choice([True, False])
)
db_session.add(cota)
print(f" Cota criada: valor={valor:.2f}, vencimento={data_base + timedelta(days=30)}")
db_session.commit()
session.add(cota)
session.commit()
except Exception as e:
print(f"Erro ao criar cotas para militante {militante.nome}: {e}")
session.rollback()
continue
print("Cotas criadas com sucesso!")
def criar_pagamentos(militantes):
@@ -273,21 +286,20 @@ def seed_database():
"""Função principal para popular o banco de dados com dados fictícios"""
print("Populando banco de dados com dados fictícios...")
criar_tipos_pagamento()
criar_tipos_material()
criar_setores()
criar_comites()
criar_roles()
militantes = criar_militantes(50)
criar_cotas(militantes)
criar_pagamentos(militantes)
criar_materiais_vendidos(militantes)
criar_vendas_jornal(militantes)
criar_assinaturas(militantes)
criar_relatorios()
session = SessionLocal()
try:
criar_tipos_pagamento(session)
criar_tipos_material(session)
militantes = criar_militantes(session, 50)
if militantes:
criar_cotas(session, militantes)
print("Dados fictícios criados com sucesso!")
except Exception as e:
print(f"Erro ao popular banco de dados: {e}")
session.rollback()
finally:
session.close()
if __name__ == "__main__":
seed_database()