refactor: melhora processo de seed de dados com melhor tratamento de erros e concorrência
This commit is contained in:
32
seed.py
Normal file
32
seed.py
Normal file
@@ -0,0 +1,32 @@
|
||||
from seed_data import seed_database
|
||||
from functions.database import Base, engine, get_db_connection
|
||||
import time
|
||||
import os
|
||||
|
||||
def wait_for_db():
|
||||
db_path = os.path.expanduser("~/.local/share/controles/database.db")
|
||||
max_attempts = 30
|
||||
attempt = 0
|
||||
|
||||
while attempt < max_attempts:
|
||||
if os.path.exists(db_path):
|
||||
try:
|
||||
db = get_db_connection()
|
||||
db.execute("SELECT 1")
|
||||
return True
|
||||
except:
|
||||
pass
|
||||
print(f"Aguardando banco de dados... tentativa {attempt + 1}/{max_attempts}")
|
||||
time.sleep(1)
|
||||
attempt += 1
|
||||
|
||||
return False
|
||||
|
||||
if __name__ == "__main__":
|
||||
print("Aguardando banco de dados estar pronto...")
|
||||
if wait_for_db():
|
||||
print("Iniciando população do banco de dados...")
|
||||
seed_database()
|
||||
print("Banco de dados populado com sucesso!")
|
||||
else:
|
||||
print("Erro: Banco de dados não ficou pronto a tempo.")
|
||||
94
seed_data.py
94
seed_data.py
@@ -2,16 +2,16 @@ from datetime import datetime, timedelta
|
||||
from functions.database import (
|
||||
Base, Militante, CotaMensal, TipoPagamento, Pagamento,
|
||||
MaterialVendido, TipoMaterial, VendaJornalAvulso, AssinaturaAnual,
|
||||
RelatorioCotasMensais, RelatorioVendasMateriais, engine, get_db_connection,
|
||||
RelatorioCotasMensais, RelatorioVendasMateriais, engine, SessionLocal,
|
||||
Setor, ComiteCentral, Usuario, Role, EmailMilitante, Endereco
|
||||
)
|
||||
import random
|
||||
from faker import Faker
|
||||
import time
|
||||
|
||||
fake = Faker('pt_BR')
|
||||
db_session = get_db_connection()
|
||||
|
||||
def criar_tipos_pagamento():
|
||||
def criar_tipos_pagamento(session):
|
||||
"""Cria tipos de pagamento padrão"""
|
||||
tipos = [
|
||||
"Dinheiro",
|
||||
@@ -21,11 +21,11 @@ def criar_tipos_pagamento():
|
||||
"Transferência Bancária"
|
||||
]
|
||||
for tipo in tipos:
|
||||
if not db_session.query(TipoPagamento).filter_by(descricao=tipo).first():
|
||||
db_session.add(TipoPagamento(descricao=tipo))
|
||||
db_session.commit()
|
||||
if not session.query(TipoPagamento).filter_by(descricao=tipo).first():
|
||||
session.add(TipoPagamento(descricao=tipo))
|
||||
session.commit()
|
||||
|
||||
def criar_tipos_material():
|
||||
def criar_tipos_material(session):
|
||||
"""Cria tipos de material padrão"""
|
||||
tipos = [
|
||||
"Jornal",
|
||||
@@ -35,27 +35,32 @@ def criar_tipos_material():
|
||||
"Cartilha"
|
||||
]
|
||||
for tipo in tipos:
|
||||
if not db_session.query(TipoMaterial).filter_by(descricao=tipo).first():
|
||||
db_session.add(TipoMaterial(descricao=tipo))
|
||||
db_session.commit()
|
||||
if not session.query(TipoMaterial).filter_by(descricao=tipo).first():
|
||||
session.add(TipoMaterial(descricao=tipo))
|
||||
session.commit()
|
||||
|
||||
def criar_militantes(num_militantes):
|
||||
def criar_militantes(session, num_militantes):
|
||||
print(f"\nCriando {num_militantes} militantes...")
|
||||
militantes = []
|
||||
emails_usados = set() # Conjunto para rastrear emails já usados
|
||||
emails_usados = set()
|
||||
|
||||
# Obter um setor existente
|
||||
setor = session.query(Setor).first()
|
||||
if not setor:
|
||||
print("Erro: Nenhum setor encontrado!")
|
||||
return []
|
||||
|
||||
for i in range(num_militantes):
|
||||
try:
|
||||
nome = fake.name()
|
||||
cpf = fake.cpf()
|
||||
|
||||
# Gerar email único
|
||||
while True:
|
||||
email = fake.email()
|
||||
if email not in emails_usados:
|
||||
emails_usados.add(email)
|
||||
break
|
||||
|
||||
# Criar endereço
|
||||
endereco = Endereco(
|
||||
estado=fake.estado_sigla(),
|
||||
cidade=fake.city(),
|
||||
@@ -65,12 +70,11 @@ def criar_militantes(num_militantes):
|
||||
complemento=f"Bloco {random.randint(1, 10)}, Apto {random.randint(1, 999)}" if random.random() < 0.3 else None,
|
||||
cep=fake.postcode()
|
||||
)
|
||||
db_session.add(endereco)
|
||||
db_session.flush() # Para obter o ID do endereço
|
||||
session.add(endereco)
|
||||
session.flush()
|
||||
|
||||
print(f"Criando militante {i+1}: {nome} (CPF: {cpf})")
|
||||
|
||||
# Criar militante
|
||||
militante = Militante(
|
||||
nome=nome,
|
||||
cpf=cpf,
|
||||
@@ -91,27 +95,33 @@ def criar_militantes(num_militantes):
|
||||
dirigente_sindical=random.random() < 0.2,
|
||||
central_sindical=random.choice(['CUT', 'CSP-Conlutas', 'CTB', 'Força Sindical']) if random.random() < 0.4 else None,
|
||||
endereco_id=endereco.id,
|
||||
responsabilidades=random.randint(0, 1023) # Valor aleatório para responsabilidades
|
||||
responsabilidades=random.randint(0, 1023)
|
||||
)
|
||||
db_session.add(militante)
|
||||
db_session.flush() # Para obter o ID do militante
|
||||
session.add(militante)
|
||||
session.flush()
|
||||
|
||||
# Criar email do militante
|
||||
email_militante = EmailMilitante(
|
||||
militante_id=militante.id,
|
||||
endereco_email=email
|
||||
)
|
||||
db_session.add(email_militante)
|
||||
session.add(email_militante)
|
||||
|
||||
militantes.append(militante)
|
||||
|
||||
db_session.commit()
|
||||
# Commit a cada militante para evitar transações muito longas
|
||||
session.commit()
|
||||
|
||||
except Exception as e:
|
||||
print(f"Erro ao criar militante {i+1}: {e}")
|
||||
session.rollback()
|
||||
continue
|
||||
|
||||
return militantes
|
||||
|
||||
def criar_cotas(militantes, quantidade_por_militante=3):
|
||||
"""Cria cotas mensais fictícias"""
|
||||
def criar_cotas(session, militantes, quantidade_por_militante=3):
|
||||
print(f"Criando {quantidade_por_militante} cotas para cada um dos {len(militantes)} militantes...")
|
||||
for militante in militantes:
|
||||
try:
|
||||
print(f"Criando cotas para militante {militante.nome}")
|
||||
for i in range(quantidade_por_militante):
|
||||
data_base = datetime.now() - timedelta(days=30 * i)
|
||||
@@ -124,9 +134,12 @@ def criar_cotas(militantes, quantidade_por_militante=3):
|
||||
data_vencimento=data_base + timedelta(days=30),
|
||||
pago=random.choice([True, False])
|
||||
)
|
||||
db_session.add(cota)
|
||||
print(f" Cota criada: valor={valor:.2f}, vencimento={data_base + timedelta(days=30)}")
|
||||
db_session.commit()
|
||||
session.add(cota)
|
||||
session.commit()
|
||||
except Exception as e:
|
||||
print(f"Erro ao criar cotas para militante {militante.nome}: {e}")
|
||||
session.rollback()
|
||||
continue
|
||||
print("Cotas criadas com sucesso!")
|
||||
|
||||
def criar_pagamentos(militantes):
|
||||
@@ -273,21 +286,20 @@ def seed_database():
|
||||
"""Função principal para popular o banco de dados com dados fictícios"""
|
||||
print("Populando banco de dados com dados fictícios...")
|
||||
|
||||
criar_tipos_pagamento()
|
||||
criar_tipos_material()
|
||||
criar_setores()
|
||||
criar_comites()
|
||||
criar_roles()
|
||||
|
||||
militantes = criar_militantes(50)
|
||||
criar_cotas(militantes)
|
||||
criar_pagamentos(militantes)
|
||||
criar_materiais_vendidos(militantes)
|
||||
criar_vendas_jornal(militantes)
|
||||
criar_assinaturas(militantes)
|
||||
criar_relatorios()
|
||||
session = SessionLocal()
|
||||
try:
|
||||
criar_tipos_pagamento(session)
|
||||
criar_tipos_material(session)
|
||||
|
||||
militantes = criar_militantes(session, 50)
|
||||
if militantes:
|
||||
criar_cotas(session, militantes)
|
||||
print("Dados fictícios criados com sucesso!")
|
||||
except Exception as e:
|
||||
print(f"Erro ao popular banco de dados: {e}")
|
||||
session.rollback()
|
||||
finally:
|
||||
session.close()
|
||||
|
||||
if __name__ == "__main__":
|
||||
seed_database()
|
||||
Reference in New Issue
Block a user