Data Science

O artigo discute cinco razões pelas quais um SSD M.2 2230 se tornou uma alternativa preferida aos pen drives tradicionais. Destaca vantagens como velocidade, durabilidade e capacidade de armazenamento, tornando-o uma escolha mais eficiente para armazenamento e transferência de dados.

• •Os SSDs M.2 2230 oferecem velocidades de transferência de dados significativamente mais rápidas em comparação com pen drives USB.
• •Eles são mais duráveis e menos propensos a danos físicos.
• •Capacidades de armazenamento maiores estão disponíveis, acomodando arquivos maiores.

O artigo discute a importância do tamanho e da qualidade dos dados no aprendizado de máquina, além de como o ajuste de parâmetros pode impactar os resultados. A análise enfatiza que dados de alta qualidade e bem ajustados são cruciais para modelos eficazes.

• •O tamanho dos dados influencia diretamente a performance dos modelos.
• •Dados de qualidade superior resultam em melhores previsões.
• •O ajuste de hiperparâmetros é essencial para otimizar resultados.

Neste artigo, o autor compartilha sua experiência ao utilizar o MCP Brasil para criar um monitor de emendas PIX, integrando dados de quatro bases públicas. A iniciativa visa facilitar o acompanhamento e a transparência das emendas, promovendo uma melhor compreensão sobre o uso dos recursos públicos.

• •O autor utiliza o MCP Brasil para monitorar emendas PIX.
• •Integra dados de quatro bases públicas para análise.
• •A iniciativa visa promover transparência no uso de recursos.

O Data Translator que você conheceu em 2023 evoluiu: 3 competências novas no radar. Este artigo discute as novas habilidades que estão se tornando essenciais para profissionais que atuam na interseção entre dados e negócios.

• •Data Translators são fundamentais para conectar dados e decisões de negócios.
• •Novas competências incluem habilidades técnicas e de comunicação.
• •A evolução das funções de Data Translator reflete a demanda do mercado.

O artigo apresenta o framework Flow, Health e Impact, que visa alinhar as áreas de engenharia de software, dados, produto e negócio. Essa abordagem busca otimizar a colaboração entre equipes e garantir que os objetivos de negócio sejam atendidos por meio de práticas de desenvolvimento e análise de dados eficazes.

• •Apresenta um novo framework para alinhar equipes.
• •Foca na integração entre engenharia, dados e negócios.
• •Busca otimizar a colaboração e eficiência.

O artigo explora o L5 Framework, um modelo para o desenvolvimento de produtos de dados. Ele detalha as etapas do ciclo ideal de desenvolvimento, enfatizando a importância de uma abordagem estruturada para maximizar a eficiência e a qualidade dos produtos de dados.

• •O L5 Framework é um modelo para desenvolvimento de produtos de dados.
• •O artigo detalha as etapas do ciclo ideal de desenvolvimento.
• •Enfatiza a importância de uma abordagem estruturada.

Você não precisa de um doutorado para entender fine-tuning. Este artigo explica como modelos pré-treinados aprendem novas habilidades por meio do fine-tuning.

• •Fine-tuning é essencial para adaptar modelos pré-treinados.
• •Permite que modelos aprendam novas tarefas com menos dados.
• •Entender fine-tuning pode melhorar o desempenho do modelo.

O artigo discute o conceito fundamental de medir a estabilidade estrutural em modelos econométricos, que é crucial para previsões precisas de séries temporais. Compreender essa estabilidade ajuda a fazer previsões confiáveis e informa os processos de tomada de decisão em várias áreas.

• •Foco em técnicas de previsão de séries temporais.
• •Importância da estabilidade estrutural em modelos econométricos.
• •Impacta a tomada de decisão em vários setores.

O artigo discute técnicas de seleção de variáveis não paramétricas para Modelos Autorregressivos Vetoriais Estruturais (VARs), com foco em redes causais de Granger e as implicações do feedback indireto em modelos econométricos.

• •Explora métodos de seleção de variáveis não paramétricas.
• •Foca em Modelos Autorregressivos Vetoriais Estruturais (VARs).
• •Analisa redes causais de Granger.

Este artigo explora a integração da teoria da informação em modelos de conjunto para melhorar previsões de séries temporais. Ele discute metodologias para aumentar a precisão e a confiabilidade das previsões, aproveitando os princípios da teoria da informação.

• •Explora o papel da teoria da informação na modelagem de conjunto.
• •Foca na melhoria das previsões de séries temporais.
• •Discute metodologias para aumentar a precisão das previsões.

Este artigo fornece um guia prático para iniciantes que desejam aprimorar suas habilidades em PySpark. Ele aborda conceitos essenciais como partitions, shuffles, joins, caching e execution plans, que são cruciais para um processamento e análise de dados eficazes.

• •Introdução a habilidades intermediárias em PySpark.
• •Foco em partitions e sua importância.
• •Compreensão de shuffles e joins no processamento de dados.

O artigo discute a experiência do autor na construção de um pipeline ETL pronto para produção usando Python, Docker, PostgreSQL e Kestra. Ele enfatiza a importância de pensar como um engenheiro de dados para criar fluxos de trabalho de dados eficientes e destaca as principais ferramentas e metodologias envolvidas no processo.

• •O autor compartilha insights da construção de um pipeline ETL.
• •As principais tecnologias utilizadas incluem Python, Docker e PostgreSQL.
• •Kestra é destacado como uma ferramenta para orquestração.

A Google Research apresenta o TabFM, um modelo fundamental que simplifica as previsões de dados tabulares tratando-o como um problema de aprendizado em contexto. Este modelo permite previsões em tabelas não vistas em uma única passagem para frente, reduzindo significativamente o tempo de produção para desenvolvedores empresariais e engenheiros de IA de semanas para uma única chamada de API.

• •O TabFM permite previsões zero-shot em dados tabulares não vistos.
• •Reduz a necessidade de pipelines de dados complexos e ajuste de hiperparâmetros.
• •Transforma desafios tradicionais de ML em chamadas de API mais simples.

Pare de escrever mean() e std() para cada coluna. Aprenda como automatizar estatísticas descritivas em Python e gerar tabelas resumo prontas para publicação em apenas alguns passos.

• •Automatize estatísticas descritivas em Python.
• •Elimine código repetitivo para mean() e std().
• •Gere tabelas resumo prontas para publicação facilmente.

O artigo discute como tamanhos de amostra pequenos podem levar a correlações enganosamente altas puramente por acaso, enquanto amostras maiores nem sempre garantem relações significativas. Ele enfatiza a importância de entender o contexto da análise de dados para evitar correlações espúrias.

• •Amostras pequenas podem criar grandes correlações por acaso.
• •Amostras maiores nem sempre indicam relações significativas.
• •Entender o contexto dos dados é crucial para a análise.

Inteligência Documental Empresarial discute um método para recuperar informações de forma eficiente de documentos longos utilizando uma abordagem hierárquica. Ao aproveitar o índice (TOC), o método melhora a precisão da recuperação e reduz o uso de tokens, permitindo que os usuários naveguem em documentos extensos de forma mais eficaz.

• •Apresenta um novo método de recuperação para documentos longos.
• •Utiliza o índice para melhorar a eficiência.
• •Reduz o uso de tokens enquanto melhora a precisão.

Uma análise ponderada do treinamento distribuído, desde DDP e FSDP até os estágios ZeRO intermediários, e por que a fiação entre suas GPUs é tão importante quanto a estratégia que você escolhe.

• •Explora as complexidades do treinamento distribuído.
• •Discute DDP, FSDP e os estágios ZeRO.
• •Destaca a importância da fiação da GPU.

O artigo discute o uso estratégico do Postgres e ClickHouse para monitoramento de dados. Ele enfatiza a divisão do armazenamento de dados com base em se as linhas mudam, com o Postgres lidando com configurações editáveis e o ClickHouse armazenando resultados de verificação imutáveis. Essa separação otimiza o desempenho e a gestão de grandes conjuntos de dados.

• •Postgres é usado para dados que mudam, como configurações de monitoramento.
• •ClickHouse é ideal para dados imutáveis, como resultados de verificação.
• •O autor compartilha quatro truques para gerenciar dados entre os dois bancos de dados.

Um modelo quase nunca está 100% certo sobre algo. Esses 10 conceitos de probabilidade explicam como ele toma decisões mesmo assim.

• •Compreender probabilidade é crucial para modelos de machine learning.
• •Modelos dependem de probabilidade para tomar decisões informadas.
• •Dez conceitos-chave simplificam ideias complexas de probabilidade.

O artigo compara SQL, Pandas e agentes de IA na resolução de três problemas comuns de análise. Ele avalia seu desempenho em oito dimensões usando tempos de execução reais e prompts de agentes, fornecendo insights sobre qual ferramenta é mais eficaz para tarefas analíticas específicas.

• •Comparação entre SQL, Pandas e agentes de IA.
• •Foco em três problemas comuns de análise.
• •Desempenho medido em oito dimensões.

O Apache Spark Connect preenche a lacuna entre o desenvolvimento local em Python e a execução no AWS Glue. As sessões interativas do AWS Glue agora suportam o Spark Connect de forma nativa, permitindo conexões de diversos ambientes como VS Code e Amazon SageMaker, sem a necessidade de kernels especializados ou gerenciamento de clusters.

• •O Apache Spark Connect aprimora o desenvolvimento local em Python.
• •O AWS Glue agora suporta o Spark Connect de forma nativa.
• •Conecte-se a partir de ambientes como VS Code e PyCharm.

O artigo discute o tratamento da degradação do modelo como um problema de tempo até a falha, focando em técnicas de análise de sobrevivência para abordar o drift de dados e melhorar a confiabilidade do aprendizado de máquina.

• •A degradação do modelo é uma questão crítica em aprendizado de máquina.
• •A análise de sobrevivência pode ajudar a prever o tempo até a falha dos modelos.
• •O drift de dados impacta a confiabilidade dos sistemas de aprendizado de máquina.

O artigo discute um pipeline RAG pronto para produção para PDFs, focando na análise relacional, recuperação de índice e geração de respostas tipadas. Ele enfatiza a importância da inteligência documental em ambientes empresariais, destacando a necessidade de soluções eficientes para processamento de documentos.

• •Explora um pipeline RAG de produção para documentos PDF.
• •Foca na análise relacional e recuperação de índice.
• •Tem como objetivo gerar respostas tipadas a partir de dados documentais.

O papel dos cientistas de dados está evoluindo de principalmente construir modelos para gerenciá-los, refletindo uma mudança significativa na indústria. Essa mudança enfatiza a importância da supervisão e estratégia na implementação de IA.

• •Cientistas de dados estão fazendo a transição para papéis gerenciais.
• •O foco está mudando de construção de modelos para gestão.
• •Essa mudança destaca a necessidade de supervisão estratégica.

Neste post, demonstramos como a BigBasket implementou a arquitetura lakehouse na AWS, incluindo suas decisões arquitetônicas, abordagem de implementação e os resultados comerciais mensuráveis que você pode esperar de uma modernização semelhante. Se você está enfrentando desafios de escalabilidade ou planejando sua própria implementação de lakehouse, este modelo fornece insights acionáveis que você pode adaptar para sua organização.

• •A BigBasket utiliza a arquitetura lakehouse na AWS para entrega de alimentos.
• •O post detalha decisões arquitetônicas e abordagem de implementação.
• •Resultados comerciais mensuráveis da modernização são destacados.

Entendendo como o PANet encurta o caminho entre recursos de baixo nível e alto nível.

• •O PANet aprimora redes de pirâmide de recursos.
• •Ele melhora o fluxo de informações em redes neurais.
• •A arquitetura foca na integração de recursos de baixo para cima.

O artigo discute o conceito de Enterprise Document Intelligence, focando na criação de um prompt base fixo combinado com regras específicas para a geração de perguntas. Enfatiza a importância de um dispatcher que transforma perguntas analisadas em chamadas estruturadas para modelos de linguagem de grande porte (LLMs).

• •Explora Enterprise Document Intelligence e suas aplicações.
• •Introduz um prompt base fixo para geração de perguntas.
• •Destaca o papel das regras na formação das perguntas.

Comparações de melhor-pior, julgamentos no estilo MaxDiff e pontuações de utilidade Plackett-Luce fornecem às equipes de agentes métodos aprimorados para determinar quais configurações enviar, podar e direcionar para desenvolvimento futuro.

• •Introduz comparações de melhor-pior para configurações de agentes.
• •Explica o julgamento no estilo MaxDiff como uma ferramenta de tomada de decisão.
• •Discute as pontuações de utilidade Plackett-Luce para classificação.

O artigo discute a importância de validar a resposta RAG (Retrieval-Augmented Generation) antes que ela chegue ao usuário. Enfatiza que a saída estruturada é apenas o começo da validação, destacando a necessidade de verificar evidências, aceitar respostas de não encontrado e implementar um ciclo de feedback para melhoria contínua.

• •A validação das respostas RAG é crucial para a precisão.
• •A saída estruturada inicia o processo de validação.
• •A verificação de evidências é essencial antes da entrega ao usuário.

Para tornar a inteligência artificial (IA) um ativo de transformação real dentro das empresas, uma palavra ganhou um destaque especial entre as rodas de conversa de Tecnologia: dados. Considerados o novo petróleo das organizações, quando organizados e bem arquitetados, os dados são capazes de trazer insights valiosos para os líderes.

• •Dados são considerados o novo petróleo das organizações.
• •A inteligência artificial depende de dados bem organizados.
• •Insights valiosos podem ser extraídos para decisões estratégicas.

O artigo discute a importância de implementar um contrato de resposta tipada em sistemas de Retrieval-Augmented Generation (RAG) para prevenir alucinações. Ao estabelecer um esquema onde cada campo corresponde a uma pergunta específica, as respostas do modelo podem ser verificadas, aumentando a confiabilidade e a precisão em aplicações de inteligência de documentos empresariais.

• •Contratos de resposta tipada podem reduzir alucinações em modelos de IA.
• •Estabelecer um esquema garante que cada resposta seja verificável.
• •A abordagem aumenta a confiabilidade na inteligência de documentos.

Recentemente, anunciamos a prévia da função AI.AGG() do BigQuery. Com o AI.AGG(), você pode usar instruções em linguagem natural dentro de uma única linha de SQL para resumir ou sintetizar informações em milhões de linhas de dados não estruturados ou até mesmo multimodais.

• •O BigQuery introduz a função AI.AGG() para análise de dados.
• •Essa função permite consultas SQL em linguagem natural.
• •Ela pode resumir grandes volumes de dados não estruturados.

Neste post, descrevemos as inovações que tornam as instâncias RG muito mais rápidas. Também compartilhamos resultados de benchmark que mostram que o RG oferece até 4,2x melhor custo-benefício em relação a outros data warehouses líderes.

• •As instâncias Amazon Redshift RG oferecem melhorias significativas de velocidade.
• •Resultados de benchmark indicam até 4,2x melhor custo-benefício.
• •As inovações são impulsionadas pela tecnologia Graviton.

Neste post, exploramos como o MDAA transforma o desenvolvimento de arquitetura de dados de meses de codificação manual para implantação pronta para produção por meio de infraestrutura orientada por configuração e governança embutida, examinamos uma transformação real de cliente e fornecemos um caminho claro de implementação para sua própria jornada de modernização de dados.

• •O MDAA reduz significativamente o tempo de desenvolvimento da arquitetura de dados.
• •Transforma a codificação manual em uma abordagem orientada por configuração.
• •Oferece governança embutida para melhor conformidade.

Este post mostra como desenvolvedores, engenheiros de dados e analistas podem se conectar a um endpoint seguro do Spark Connect no Athena com o Apache Spark. Você pode usar suas ferramentas preferidas, como Jupyter notebooks, VS Code ou dbt com Apache Airflow, sem gerenciar o ciclo de vida do cluster ou escalonamento.

• •Introduz pipelines de análise serverless usando Apache Spark.
• •Explica a conexão com o endpoint Spark Connect no Amazon Athena.
• •Suporta ferramentas como Jupyter notebooks e VS Code.

Neste post, você aprenderá como construir um pipeline de logs de aplicação para uso em produção com Amazon CloudWatch Logs, AWS Lambda, Amazon Data Firehose, AWS Glue e tabelas materializadas do Apache Iceberg. Em seguida, você usará visualizações materializadas para acelerar o desempenho das consultas.

• •Construa um pipeline de logs usando serviços da AWS.
• •Utilize Amazon CloudWatch Logs e AWS Lambda.
• •Implemente visualizações materializadas do Apache Iceberg.

Este artigo discute os aspectos negligenciados da análise de perguntas RAG (Retrieve and Generate), enfatizando a importância da estrutura antes de iniciar uma busca. Apresenta seis posições que desafiam a sabedoria convencional no framework RAG, visando aprimorar a inteligência de documentos empresariais.

• •Explora as nuances da análise de perguntas RAG.
• •Destaca a importância da organização estrutural.
• •Apresenta seis posições contraintuitivas sobre RAG.

t0-alpha é um transformador do tipo decoder projetado para previsão probabilística de séries temporais. Ele processa séries brutas dividindo-as em patches de 32 etapas, utilizando camadas de causal time-attention e group-attention, e, por fim, decodifica quantis futuros em vez de fornecer uma previsão de ponto único.

• •t0-alpha é um modelo de transformador inovador para dados de séries temporais.
• •Ele utiliza uma abordagem baseada em patches para lidar com dados em segmentos.
• •O modelo foca na previsão probabilística em vez de previsões pontuais.

Este artigo discute as concepções errôneas em torno dos métodos de recuperação RAG (Retrieval-Augmented Generation), desafiando particularmente a dependência comum da similaridade de cosseno. Apresenta seis posições que destacam abordagens e considerações alternativas para uma inteligência documental eficaz em ambientes empresariais.

• •Os métodos de recuperação RAG frequentemente recorrem à similaridade de cosseno.
• •O artigo apresenta seis posições alternativas sobre estratégias de recuperação.
• •Enfatiza a necessidade de uma compreensão mais ampla da inteligência documental.

O artigo discute as compensações entre modelos de long context e short context em ciência de dados, focando em como equilibrar a capacidade de contexto com custo, velocidade e requisitos de dados. Ele fornece insights sobre quando um modelo de long context é vantajoso em relação a um modelo de short context.

• •Explora o equilíbrio entre a capacidade de contexto e os custos operacionais.
• •Analisa as implicações de velocidade dos modelos de long context vs. short context.
• •Discute os requisitos de dados para um desempenho eficaz do modelo.

Pelo terceiro ano consecutivo, o Google foi reconhecido como Líder no Quadrante Mágico da Gartner 2026 para Plataformas de Analytics e Business Intelligence. Esse reconhecimento destaca uma mudança de sistemas de inteligência reativa para sistemas de ação proativa, impulsionada pelas inovações do Looker e do Google que transformam dados em valor comercial acionável, aproveitando uma camada semântica universal e capacidades de IA autônoma.

• •O Google é reconhecido como Líder no Quadrante Mágico da Gartner 2026.
• •Isso marca o terceiro ano consecutivo desse reconhecimento.
• •O foco está na transformação de insights de dados em fluxos de trabalho automatizados.

AlloyDB é um banco de dados nativo de IA que processa dados de forma inteligente. Com novas funções de IA, ele permite transformar feedbacks não estruturados em insights pesquisáveis, utilizando capacidades de geração do modelo Gemini. O post discute avanços significativos no processamento de funções de IA e apresenta novas funcionalidades.

• •AlloyDB é um banco de dados nativo de IA com capacidades avançadas.
• •Oferece busca híbrida e precisa, além de conversão de linguagem natural para SQL.
• •As novas funções de IA permitem transformar dados não estruturados em insights estruturados.

Estamos introduzindo um motor de análise de logs projetado especificamente para o Amazon OpenSearch Service. Este novo motor oferece até 4x de desempenho em relação ao preço, 2x mais rapidez na ingestão de dados e até 70% de redução nos custos de armazenamento, sem sacrificar as capacidades de busca. Este post explica como aproveitar esses benefícios e inclui resultados de benchmark em escala de bilhões de documentos.

• •Novo motor de análise de logs para o Amazon OpenSearch Service lançado.
• •Oferece até 4x de desempenho em relação ao preço e 2x mais rapidez na ingestão de dados.
• •Consultas analíticas são até 2x mais rápidas com custos de armazenamento mais baixos.

Na era da IA, destacar-se aqui significa muito mais do que nunca. Aqui estão três dicas para entrar na sua próxima entrevista com confiança.

• •Entenda a importância das entrevistas comportamentais em data science.
• •Aprenda a comunicar suas experiências de forma eficaz.
• •Prepare-se para perguntas comportamentais comuns na área.

A Inteligência Documental Empresarial, introduzida por Tobi Lütke e Andrej Karpathy em 2025, foca em como diferentes tipos de entradas contribuem para uma única chamada de LLM para processamento de documentos. O artigo discute os quatro tipos de entradas que são essenciais para gerar respostas precisas em sistemas de Geração Aumentada por Recuperação (RAG).

• •A Inteligência Documental Empresarial foi nomeada em 2025.
• •Foco em quatro tipos de entradas para sistemas RAG.
• •Cada tipo de entrada contribui para chamadas de LLM.

O artigo discute como ferramentas como Pandas chunking, Dask e Polars podem gerenciar efetivamente as limitações de memória na engenharia de dados. Ele destaca estratégias para processar grandes conjuntos de dados quando o aumento dos recursos computacionais não é viável, enfatizando a importância de técnicas eficientes de manuseio de dados.

• •As restrições de memória podem dificultar significativamente o processamento de dados.
• •Pandas chunking permite segmentos de dados gerenciáveis.
• •Dask possibilita computação paralela para otimizar o uso de recursos.

O artigo discute as complexidades do vazamento em machine learning, enfatizando questões que não são apenas temporais, mas também espaciais, estruturais e relacionadas à cobertura. Destaca os desafios sutis em garantir modelos de ML robustos e a importância de entender essas armadilhas para uma implementação eficaz.

• •O vazamento em machine learning pode ser temporal, espacial e estrutural.
• •Entender o vazamento é crucial para construir modelos de ML robustos.
• •O artigo enfatiza a importância da cobertura em ML.

Organize seus dados em uma estrutura sólida de crescimento que suporte sua equipe.

• •A estrutura de dados é crucial para startups.
• •Dados bem organizados ajudam na tomada de decisões.
• •Uma boa fundação de dados suporta o crescimento.

As empresas de capital de risco estão fazendo mau uso da IA, de acordo com Henrik Landgren, da Gilion. Ele enfatiza a necessidade de uma infraestrutura de dados aprimorada e conexões diretas com sistemas financeiros para melhorar a due diligence, identificar startups negligenciadas e acelerar as decisões de investimento com maior precisão.

• •O capital de risco enfrenta desafios devido ao uso inadequado de dados.
• •Henrik Landgren defende uma melhor infraestrutura de dados.
• •Conexões diretas com sistemas financeiros podem aprimorar a due diligence.

Das 340 capturas de leitura, apenas 20% se tornaram notas utilizáveis. O gargalo não era o processo de revisão, mas a degradação do contexto ao longo do tempo. Implementar uma regra de anotação na mesma sessão e um campo de data de degradação no Obsidian melhorou significativamente a retenção e a usabilidade das notas.

• •Apenas 20% das capturas de leitura se tornaram notas utilizáveis.
• •A degradação do contexto afeta a retenção do conhecimento ao longo do tempo.
• •Uma regra de anotação na mesma sessão melhorou a usabilidade das notas.