Data Science

A Zeta Dados, startup brasileira de Analytics as a Service, viu seu faturamento crescer mais de 30 vezes desde a parceria com a Bluefields, ampliando sua base de clientes em cinco vezes. Essa colaboração destaca a importância da análise de dados no setor de bens de consumo.

• •Zeta Dados é especializada em Analytics as a Service.
• •Crescimento de faturamento de mais de 30 vezes após parceria.
• •Base de clientes aumentou em aproximadamente cinco vezes.

Este artigo discute as complexidades de extrair avaliações de aplicativos da Apple App Store e Google Play, destacando os desafios de acessar e processar dados de avaliações. Ele descreve as diferenças entre as duas plataformas, a necessidade de análise de sentimento e fornece insights sobre como construir um scraper DIY usando Python.

• •A extração de avaliações de aplicativos envolve a extração de texto bruto e a realização de análise de sentimento.
• •A Apple App Store oferece um feed RSS para avaliações, mas é limitado a entradas recentes.
• •O Google Play não possui uma API pública, tornando a extração mais complexa e propensa a falhas.

O artigo discute a integração de gVisor sandboxes em clusters distribuídos Ray, aprimorando a segurança e o isolamento de fluxos de trabalho complexos pós-treinamento em aprendizado por reforço. Esta parceria com a Anyscale visa simplificar a orquestração de rollouts dinâmicos e geração de código, tornando o Ray um runtime mais robusto para várias aplicações de IA.

• •Ray está se tornando o padrão para fluxos de trabalho pós-treinamento em aprendizado por reforço.
• •gVisor sandboxes aumentam a segurança e o isolamento para a execução de tarefas dinâmicas de IA.
• •A integração visa simplificar a gestão de recursos dentro do modelo de programação do Ray.

O AWS Glue 6.0 já está disponível, reduzindo o preço do AWS Glue em 30%, adicionando uma versão otimizada do Apache Spark 4.1 e introduzindo capacidades do Apache Iceberg V3 adequadas para adoção empresarial. Este post aborda as principais capacidades e benefícios de desempenho, com exemplos de código para ajudar você a começar.

• •O AWS Glue 6.0 reduz o preço em 30%.
• •Introduz uma versão otimizada do Apache Spark 4.1.
• •Apresenta o Apache Iceberg V3 para uso empresarial.

Amazon EMR no EKS agora executa Apache Spark até 3,7x mais rápido em instâncias Amazon EC2 G7 com GPUs NVIDIA RTX PRO 4500 Blackwell do que em instâncias de CPU comparáveis, sem alterações no código Spark existente. Veja os resultados do benchmark TPC-DS, a comparação de custos e como começar.

• •Amazon EMR no EKS melhora significativamente o desempenho do Apache Spark.
• •Utiliza GPUs NVIDIA RTX PRO 4500 para uma velocidade de processamento aprimorada.
• •Alcança desempenho até 3,7x mais rápido em comparação com instâncias de CPU.

Na Parte 2 desta série, conecte o Google BigQuery às Amazon S3 Tables usando a distribuição de credenciais do AWS Lake Formation. O Lake Formation gerencia permissões granulares e emite credenciais de curta duração e escopo para mecanismos externos, permitindo uma governança centralizada sobre quais equipes e mecanismos de consulta podem acessar tabelas Iceberg na AWS.

• •Conecte o Google BigQuery às Amazon S3 Tables.
• •Utilize o AWS Lake Formation para distribuição de credenciais.
• •Gerencie permissões granulares de forma eficaz.

Este post demonstra como os usuários do Google BigQuery podem consultar dados armazenados em Amazon S3 Tables sem duplicá-los entre nuvens. Ele explica o processo de conexão via AWS Glue Iceberg REST Catalog usando controle de acesso baseado em IAM, permitindo que um conjunto de dados governado seja consultado ao vivo a partir do BigQuery.

• •Usuários do Google BigQuery podem acessar dados do Amazon S3 diretamente.
• •Não há necessidade de copiar dados entre plataformas de nuvem.
• •Utiliza o AWS Glue Iceberg REST Catalog para integração.

Este artigo discute as limitações dos métodos de sincronização periódica ao transferir dados do MySQL para o BigQuery e como o uso do binlog pode superar esses desafios. Ele destaca a importância do Change Data Capture (CDC) para garantir a integridade dos dados e atualizações em tempo real.

• •Sincronizações periódicas podem perder alterações críticas nos dados.
• •O binlog fornece um método mais confiável para transferência de dados.
• •Change Data Capture (CDC) é essencial para a integridade dos dados.

Há muito acontecendo na Comunidade Datablazer neste momento e, honestamente, algumas das melhores informações acabam enterradas antes que a maioria das pessoas tenha a chance de vê-las. Portanto, estamos tentando algo novo: o Datablazer Roundup tem como objetivo destacar discussões e insights-chave que podem beneficiar os membros da comunidade e aprimorar suas estratégias orientadas por dados.

• •A Comunidade Datablazer está ativamente compartilhando insights valiosos.
• •Discussões-chave muitas vezes passam despercebidas por muitos membros.
• •A iniciativa Roundup visa trazer esses insights à tona.

O artigo discute os desafios da extração estruturada de documentos para tabelas SQL, com foco na distinção entre colunas reais e aquelas que podem prejudicar a filtragem de dados. Enfatiza a importância de entender a inteligência de documentos em ambientes corporativos, especialmente ao lidar com grandes volumes de arquivos.

• •Explora a extração estruturada de dados de documentos para SQL.
• •Destaca a importância das colunas reais vs. colunas disruptivas.
• •Discute aplicações de inteligência de documentos em empresas.

A API DaDaScribe simplifica o processo de transcrição e tradução de vídeos do YouTube, permitindo que os usuários enviem um link e recebam transcrições e arquivos SRT em múltiplos idiomas com um único pedido. Isso elimina a necessidade de várias etapas, como download de vídeos e uso de APIs separadas para tradução.

• •A DaDaScribe API reduz a complexidade da transcrição de vídeos.
• •Permite transcrições e traduções em um único pedido.
• •Suporta até 5 idiomas de destino e identificação de falantes.

Use o Grok Build para criar um fluxo de trabalho de ciência de dados pronto para produção com EDA, scikit-learn, treinamento de modelos, FastAPI, testes de API e implantação em nuvem.

• •O Grok Build facilita o desenvolvimento de projetos de ciência de dados de ponta a ponta.
• •Integra EDA, treinamento de modelos e testes de API de forma contínua.
• •Utiliza scikit-learn para treinamento de modelos de machine learning.

Este guia introduz a análise de sobrevivência e o Modelo de Riscos Proporcionais de Cox, apresentando curvas de Kaplan-Meier e razões de risco. Inclui código Python executável, tornando-o acessível para iniciantes interessados em entender esses métodos estatísticos.

• •Introduz conceitos de análise de sobrevivência.
• •Explica o Modelo de Riscos Proporcionais de Cox.
• •Inclui curvas de Kaplan-Meier para visualização.

Os data centers dos EUA agora representam quase 40% do uso de eletricidade mundial para data centers, impulsionados por um aumento significativo na demanda de energia devido aos avanços em IA. Esse aumento está levando à pressão sobre a rede elétrica e necessitando de novos investimentos em infraestrutura.

• •Os data centers dos EUA consomem 40% da eletricidade global para data centers.
• •Os avanços em IA são um fator importante no aumento da demanda por energia.
• •O aumento no uso de eletricidade está pressionando a rede elétrica.

AWS Glue 6.0 agora está disponível, apresentando um runtime totalmente modernizado com Apache Spark 4.1, Python 3.13 e Scala 2.13. A nova versão oferece uma redução de 30% nos preços em comparação com versões anteriores, tornando-a mais econômica para tarefas de integração de dados e ETL.

• •AWS Glue 6.0 introduz um runtime modernizado.
• •Suporta Apache Spark 4.1, Python 3.13 e Scala 2.13.
• •A nova versão oferece um preço 30% mais baixo.

Aprendendo sobre o lema de Farkas e como ele pode informar a decomposição de Benders para aprender com a inviabilidade, aplicado ao problema de localização de instalações com capacidade.

• •Explora o lema de Farkas em profundidade.
• •Discute sua aplicação na decomposição de Benders.
• •Foca em aprender com a inviabilidade.

As dimensões são um dos dois principais tipos de objetos na modelagem dimensional. Este artigo explora os diferentes tipos de dimensões em um star schema e fornece orientações sobre como usá-las efetivamente na análise de dados.

• •As dimensões são cruciais na modelagem dimensional.
• •O artigo discute vários tipos de dimensões.
• •Ele foca nas estruturas de star schema.

O artigo discute o conceito de recuperar linhas específicas de tabelas na inteligência de documentos, enfatizando que a unidade de recuperação pode ser uma única linha com seus cabeçalhos de coluna, em vez de chunks maiores como páginas ou parágrafos. Essa abordagem melhora a eficiência da recuperação de informações em aplicações empresariais.

• •Recuperar linhas específicas pode melhorar a eficiência de acesso aos dados.
• •Foco em chunks em nível de linha em vez de segmentos de texto maiores.
• •Melhora a inteligência de documentos em aplicações empresariais.

Um guia sobre a matemática por trás do uso de redes de baixa capacidade para obter pontuações detalhadas quando apenas rótulos categóricos estão disponíveis para treinamento.

• •Explora o uso de redes de baixa capacidade.
• •Foca na obtenção de pontuações contínuas a partir de categorias.
• •Discute a matemática envolvida no processo.

O ajuste fino com LoRA resolveu nosso problema de sub-rotulagem. Se isso faz sentido para você depende de três perguntas.

• •O ajuste fino com LoRA aborda questões de sub-rotulagem.
• •A decisão de ajustar depende de circunstâncias específicas.
• •Três perguntas críticas orientam o processo de ajuste fino.

A Inteligência Documental Empresarial [Vol.1 #14B] discute o desafio de indexar PDFs não relacionados. Propõe um método de tratar uma pasta de documentos não relacionados como um único longo documento com um esquema aninhado, permitindo uma melhor recuperação e organização da informação.

• •Sem campos compartilhados, a indexação de PDFs não relacionados se torna complicada.
• •Propõe um método para tratar múltiplos documentos como um só.
• •Utiliza um esquema aninhado para melhorar a recuperação.

Todo líder de comércio sabe que dados desconectados são um problema, mas poucos conseguem quantificá-lo. Para entender verdadeiramente o impacto dos dados desconectados — e os benefícios quando estão unificados — os líderes devem analisar o impacto em suas operações e experiências do cliente.

• •Dados desconectados podem levar a ineficiências e perda de receita.
• •Dados unificados melhoram a tomada de decisões e os insights sobre os clientes.
• •Compreender o custo da desconexão de dados é crucial para os líderes.

A Nvidia está em negociações para investir até US$ 3 bilhões na SB Energy, subsidiária do SoftBank, para construir data centers em Ohio, EUA. O projeto visa atender à demanda crescente da OpenAI, refletindo a importância da infraestrutura de dados para suportar inovações em inteligência artificial.

• •Nvidia planeja investir US$ 3 bilhões em data centers.
• •Projeto será desenvolvido pela SB Energy, do SoftBank.
• •Data centers estarão localizados em Ohio, EUA.

SignalWatch é um aplicativo móvel projetado para otimizar dados do mercado de criptomoedas, reduzindo a fadiga de alertas ao fornecer sinais priorizados de mais de 100 moedas. Construído com React Native, Supabase e Cloudflare Workers AI, oferece uma análise clara do sentimento do mercado e alertas relevantes, melhorando a experiência do usuário em um espaço de criptomoedas saturado.

• •SignalWatch aborda a fadiga de alertas no trading de criptomoedas.
• •Construído usando React Native, Supabase e Cloudflare Workers AI.
• •Oferece sinais priorizados de mais de 100 criptomoedas.

A integração das tabelas de sistema do Amazon Redshift com as Amazon S3 Tables permite a entrega automática dos logs das tabelas de sistema para o Amazon S3 no formato Apache Iceberg, possibilitando a retenção de dados além do limite de 7 dias para conformidade e auditoria, sem a necessidade de pipelines ETL personalizados.

• •O Amazon Redshift se integra com as Amazon S3 Tables.
• •Os logs das tabelas de sistema são entregues no formato Apache Iceberg.
• •A retenção de dados excede o limite padrão de 7 dias.

A Salesforce apresenta o Data 360 Headless, permitindo a integração perfeita de dados entre vários agentes, aplicativos e ferramentas de desenvolvimento. Essa inovação melhora a acessibilidade e a utilidade dos dados, capacitando os usuários a aproveitar insights em tempo real de forma eficaz.

• •A Salesforce lança o Data 360 Headless para uma integração de dados aprimorada.
• •Permite consultas de dados em tempo real em várias plataformas.
• •Tem como objetivo capacitar os usuários com insights acionáveis.

Este artigo apresenta uma comparação controlada entre a janela de contexto de 1M tokens do Kimi K3 e um pipeline RAG do top-5, avaliando custo, latência e qualidade das respostas em 12 perguntas. O estudo avalia correção, completude e grounding, fornecendo insights sobre o desempenho de modelos de IA avançados em aplicações do mundo real.

• •Comparação da janela de contexto de 1M tokens do Kimi K3 e do pipeline RAG.
• •Avaliado em 12 perguntas com o mesmo prompt do sistema.
• •Classificado de forma cega em correção, completude e grounding.

Um relato de produção sobre a escalabilidade de um pipeline de integração empresarial de 500 para 8.000 eventos por segundo, e as duas garantias de correção que o trabalho de throughput nunca pôde comprometer.

• •Escalar um pipeline de integração é crucial para a eficiência empresarial.
• •O artigo discute a manutenção da correção enquanto aumenta o throughput.
• •Destaca um caso do mundo real de escalabilidade de 500 para 8.000 eventos por segundo.

O artigo discute a importância da qualidade de recuperação como uma propriedade do sistema, em vez de depender da formulação das consultas. Ele enfatiza a necessidade de uma camada de conhecimento que utilize a travessia de grafos para cada consulta, incorporando arestas bitemporais e resolução de entidades com dois limiares para melhorar os processos de recuperação de dados.

• •A qualidade de recuperação deve ser inerente ao sistema.
• •A travessia de grafos pode melhorar as respostas às consultas.
• •Arestas bitemporais aprimoram o contexto dos dados.

Um guia prático para ajustar LLMs para o mundo real, fornecendo insights e metodologias práticas para otimizar modelos de linguagem grandes para atender a necessidades e aplicações específicas.

• •Explica a importância do ajuste fino de LLMs.
• •Fornece metodologias passo a passo para aplicação prática.
• •Discute casos de uso do mundo real para modelos otimizados.

O artigo discute três tipos de corpora RAG (Retrieval-Augmented Generation) e as implicações arquitetônicas de cada um. Ele enfatiza a importância de entender a forma das coleções de documentos para evitar erros custosos na construção da arquitetura errada para a inteligência de documentos empresariais.

• •Três tipos de corpora RAG são identificados.
• •Cada tipo requer uma abordagem arquitetônica distinta.
• •Entender a forma dos documentos é crucial para a eficiência.

O artigo discute uma queda significativa de preço para um HD Western Digital de 5TB, agora disponível por $180. Isso oferece uma opção acessível para aqueles que precisam de amplo armazenamento de dados, tornando-se uma compra atraente tanto para consumidores quanto para profissionais.

• •HD Western Digital de 5TB agora com preço de $180.
• •Ideal para usuários que buscam armazenamento de dados econômico.
• •Redução de preço significativa torna-o uma opção competitiva.

Quando Cameron Curry soube que seu contrato como analista de dados não seria renovado, ele recorreu à extorsão, tentando extrair $2,5 milhões de seu empregador. Este caso destaca as possíveis violações éticas e consequências legais na indústria de tecnologia quando profissionais enfrentam insegurança no emprego.

• •Cameron Curry tentou extorquir $2,5 milhões de seu empregador.
• •Ele era um analista de dados enfrentando a não renovação de seu contrato.
• •O caso levanta questões sobre ética na indústria de tecnologia.

O projeto Governance Agent tem como objetivo transformar a governança de dados de um processo reativo em um automatizado. Ao aproveitar as ferramentas do Google Cloud, ele garante que o contexto e a qualidade dos dados sejam mantidos ao longo dos pipelines de dados, reduzindo a carga sobre as equipes e melhorando a confiança nos ativos de dados.

• •A governança de dados frequentemente sofre com a falta de contexto à medida que os dados fluem pelos pipelines.
• •As ferramentas de governança atuais são principalmente reativas, levando a atrasos e ineficiências.
• •O projeto Governance Agent automatiza a governança, mantendo o contexto dos dados atualizado.

Neste guia técnico, abordamos como implantar o Apache Spark no Google Cloud, discutindo a escolha entre clusters gerenciados e infraestrutura serverless. O artigo também detalha técnicas de otimização de recursos e custos, além de como usar o Gemini Cloud Assist para solucionar falhas em pipelines de dados serverless.

• •Apache Spark é essencial para engenharia de dados em larga escala.
• •O Google Cloud oferece um serviço gerenciado para simplificar a operação do Spark.
• •Decidir entre clusters gerenciados e serverless é crucial para eficiência.

O blog discute as limitações dos Metastores legados do Apache Hive em ambientes de nuvem modernos, destacando gargalos operacionais à medida que as arquiteturas de dados escalam. Ele apresenta o catálogo de runtime Lakehouse do Google Cloud como uma solução, permitindo uma transição suave do Hive para uma arquitetura mais eficiente e sem servidor, construída com base na especificação do catálogo REST do Apache Iceberg.

• •Metastores legados do Hive enfrentam gargalos operacionais críticos.
• •Problemas de escalabilidade surgem com grandes arquiteturas de dados e múltiplos motores de consulta.
• •O catálogo de runtime Lakehouse do Google Cloud oferece uma solução sem servidor.

Aplicativo líder no dia a dia no Oriente Médio e Norte da África, a talabat construiu um lakehouse híbrido multi-cloud que mantém uma única cópia de dados em streaming no formato Apache Iceberg nas Tabelas do Amazon S3, permitindo que o Google BigQuery consulte esses dados no local, eliminando a duplicação de dados entre nuvens e a sobrecarga de sincronização de esquemas.

• •A talabat utiliza uma arquitetura de lakehouse híbrido multi-cloud.
• •Os dados são armazenados no formato Apache Iceberg no Amazon S3.
• •O Google BigQuery pode consultar os dados sem duplicação.

Aprenda a executar consultas analíticas rápidas diretamente contra dados de log e rastreamento brutos no Amazon OpenSearch Service usando PPL e SQL. Acompanhe uma investigação de incidente única, uma consulta de cada vez, e veja como o novo mecanismo otimizado responde a cada pergunta diretamente a partir de spans brutos.

• •Utilize PPL e SQL para consultar dados de log brutos.
• •Experimente uma investigação de incidente passo a passo.
• •Descubra as capacidades do mecanismo otimizado.

Este artigo discute a implementação de modelos de embedding Multi-Vector (Late Interaction) utilizando Sentence Transformers. Ele explora os benefícios das técnicas de late interaction para melhorar a eficiência e a eficácia dos modelos de embedding em várias aplicações.

• •Explica modelos de embedding Multi-Vector.
• •Foca em técnicas de late interaction.
• •Destaca melhorias na eficiência.

Este artigo discute um pequeno experimento na execução de consultas SQL de forma concorrente em três servidores remotos DuckDB usando uma ferramenta chamada Quack. Ele destaca o processo e as implicações da execução remota de SQL em fluxos de trabalho de ciência de dados.

• •Explora a execução concorrente de SQL com servidores DuckDB.
• •Apresenta Quack como uma ferramenta para consultas SQL remotas.
• •Demonstra um experimento prático em ciência de dados.

Adicionar mais caminhos de comunicação entre agentes não necessariamente melhora o desempenho em multi-agentes. Em um experimento controlado, a recuperação permaneceu estável de 20% a 100% de densidade de relacionamento, mas o uso real das arestas caiu drasticamente à medida que a densidade da rede aumentou, destacando uma lacuna entre a conectividade configurada e a conectividade comportamental.

• •Mais conexões não garantem melhor desempenho em multi-agentes.
• •Experimento mostrou recuperação estável em diferentes densidades de relacionamento.
• •Aumento da densidade da rede levou a menos uso real de arestas.

Realizei um estudo de medição sobre servidores MCP para entender os custos de suas janelas de contexto. Os resultados mostram que o tokenizer do Claude conta bytes de contexto aproximadamente 64% mais altos que o tiktoken, indicando discrepâncias nas avaliações de custo para agentes que utilizam diferentes modelos. Isso destaca a importância de medições precisas em ferramentas baseadas em nuvem para desenvolvedores e empresas.

• •Realizei um estudo de medição sobre servidores MCP.
• •O tokenizer do Claude conta bytes de contexto 64% mais altos que o tiktoken.
• •Apenas um de seis fornecedores forneceu dados de medição reais.

O silício evoluiu de areia de praia básica para o substrato fundamental da inteligência moderna. Este artigo explora como décadas de refinamento de semicondutores agora possibilitam a transição de bits clássicos para qubits quânticos. Ao aproveitar a infraestrutura industrial existente, o hardware quântico baseado em silício oferece um caminho único em direção a processadores quânticos comerciais escaláveis.

• •A jornada do silício de areia a substrato de computação quântica é notável.
• •Décadas de engenharia de semicondutores abriram caminho para os qubits quânticos.
• •Transistores de único elétron foram cruciais para o desenvolvimento de qubits de spin.

Este artigo aborda cinco bibliotecas Python que transformam a tediosa limpeza de dados em algo expressivo e genuinamente agradável.

• •A limpeza de dados é frequentemente vista como uma tarefa tediosa.
• •Bibliotecas Python podem simplificar e aprimorar o processo.
• •O artigo destaca cinco bibliotecas específicas.

RAG Recupera, Nunca Lembra. Um projeto neutro em relação a fornecedores para aplicações que acumulam entendimento. Inclui uma implementação completa nativa do Azure (Microsoft Foundry, Azure AI Search, Cosmos DB, FastAPI) mapeada para um corpus de seguros de propriedade.

• •Discute um projeto neutro em relação a fornecedores para acumulação de conhecimento.
• •Foca em aplicações que se recusam a adivinhar.
• •Inclui uma implementação nativa do Azure para uso prático.

A engenharia de loop é crucial para aprimorar a inteligência de documentos empresariais. Ela aborda questões como falhas de recuperação e geração ao implementar superfícies de controle, como trigger, termination e recovery. Essa abordagem garante que os sistemas possam gerenciar efetivamente listagens incompletas e timeouts de API, distinguindo loops úteis de ineficazes.

• •A engenharia de loop otimiza a inteligência de documentos empresariais.
• •Ela aborda falhas nos processos de recuperação e geração.
• •As superfícies de controle incluem trigger, termination e recovery.

Dog Whisperer é um aplicativo inovador que analisa fotos de animais de estimação para determinar suas emoções e vocalizá-las em tons correspondentes. Ele também funciona como um registro de pets, rastreando refeições, peso e passeios ao longo do tempo usando Snowflake para gerenciamento de dados. A integração de AI generativa e data warehousing melhora o engajamento do usuário e fornece insights valiosos sobre a saúde dos pets.

• •O aplicativo infere emoções dos pets a partir de fotos e as vocaliza.
• •Utiliza o Gemini do Google para detecção de humor e TTS.
• •Rastreia métricas de saúde dos pets, como refeições e peso.

O SSD GP1 da Kioxia alcança impressionantes 10 milhões de IOPS utilizando PCIe 6.0, projetado especificamente para cargas de trabalho de IA. Iterações futuras devem alcançar 100 milhões de IOPS, indicando um salto significativo na tecnologia de armazenamento.

• •Kioxia revela o SSD GP1 com 10 milhões de IOPS.
• •O SSD utiliza a tecnologia PCIe 6.0.
• •Projetado para atender a cargas de trabalho exigentes de IA.

Veja como ser o Cientista de Dados que prospera em um mundo onde a programação é uma commodity.

• •Entenda a importância das soft skills em ciência de dados.
• •Aproveite ferramentas que automatizam tarefas de programação.
• •Concentre-se na resolução de problemas em vez de apenas programar.

O artigo discute como a colaboração humano-máquina está aprimorando a eficiência de experimentos matemáticos, especificamente em áreas como verificação de aritmética exata e assistência em provas. Essa sinergia está levando a avanços rápidos nas capacidades de resolução de problemas matemáticos.

• •A colaboração humano-máquina está revolucionando a pesquisa matemática.
• •A verificação de aritmética exata está se tornando mais eficiente.
• •Assistentes de prova estão auxiliando na resolução de problemas complexos.