Pular para o conteúdo principal

Postagens

Mostrando postagens com o rótulo tokens

O CEO da Caixa explica porque é que ele está bem com os engenheiros a desperdiçarem fichas de IA neste momento

Aaron Levie, CEO da Box, acredita que desperdiçar tokens de IA neste momento é aceitável, pois indica experimentação e inovação. Ele ressalta que a adoção de IA agents, que operam com prompts sofisticados por mais tempo, aumenta o consumo de tokens, gerando desafios para engenheiros e empresas. Levie destaca que o uso de tokens deve ser gerenciado conforme a capacidade dos data centers evolua, o que pode reduzir custos no futuro. Além disso, ele aponta que CFOs e CIOs enfrentam complexidades para integrar essas tecnologias na infraestrutura atual, especialmente pela operação simultânea dos agentes. Levie enfatiza a necessidade de repensar políticas de TI para evitar conflitos e erros em ambientes com múltiplos agentes em operação. A visão do CEO reflete o atual momento do Vale do Silício, onde o foco está em maximizar o uso inteligente da IA para impulsionar o desenvolvimento, mesmo que isso envolva desperdício temporário de recursos. Fonte: https://www.businessinsider.com/box-ceo-...

Andrej Karpathy diz que se sente "nervoso" quando não utiliza todo o seu orçamento de tokens de IA.

Andrej Karpathy, ex-diretor de IA da Tesla e cofundador da OpenAI, afirma que seu foco é utilizar completamente seu orçamento de tokens de IA. Ele adquiriu o hábito de alternar entre ferramentas como Codex e Claude para maximizar o uso dos tokens disponíveis. Tokens são unidades que representam o custo do uso dos modelos de IA, e esse sistema funciona como um orçamento para realizar tarefas. Karpathy observa que sua preocupação mudou de digitar rapidamente para consumir o máximo possível de tokens, buscando maximizar as assinaturas. Essa mudança reflete uma nova abordagem na forma como desenvolvedores utilizam IA, onde o acesso aos tokens substitui a limitação de capacidade computacional. Jensen Huang, CEO da Nvidia, destaca que altos salários vêm acompanhados de grandes orçamentos para tokens, tornando isso um diferencial no mercado de trabalho. Aaron Levie, CEO da Box, prevê que o aumento no uso de tokens impactará outros setores do trabalho do conhecimento. Karpathy compara a ansie...

Jensen Huang propôs tokens de IA como parte da remuneração de engenheiros. Sam Altman afirma que eles poderiam um dia se tornar uma forma de renda básica universal.

Jensen Huang, CEO da Nvidia, propôs incluir tokens de IA na remuneração de engenheiros, destacando que eles aumentam a produtividade. Tokens são unidades básicas usadas por grandes modelos de linguagem para processar dados e são a base de cobrança dos serviços de IA. Sam Altman, CEO da OpenAI, vai além, sugerindo que esses tokens poderiam formar uma espécie de renda básica universal, permitindo às pessoas usar, vender ou doar sua cota de poder computacional. Ele prevê que a inteligência gerada pela IA será um serviço essencial, semelhante à água ou energia. Essa visão depende do desenvolvimento de grandes centros de dados, chamados por Huang de "fábricas de tokens". Por outro lado, Satya Nadella alerta sobre a necessidade de a IA gerar benefícios sociais claros para justificar seu custo e uso de recursos escassos. Entretanto, empresas enfrentam custos elevados com IA, como exemplificado por Chamath Palihapitiya, que relata aumento significativo de despesas sem receita propor...

O CEO da Nvidia, Jensen Huang, não para de falar sobre tokens. Veja o que são e como estão remodelando os orçamentos de IA.

Jensen Huang, CEO da Nvidia, destacou a importância dos tokens na mensuração e precificação do trabalho em IA durante a conferência GTC. Tokens são unidades de texto usadas para contabilizar o processamento e geração de informações por modelos de linguagem como ChatGPT. Diferente de custos fixos, a cobrança de IA será baseada no uso desses tokens, que se tornarão um item orçamentário essencial nas empresas. Huang sugeriu que engenheiros possam receber orçamentos de tokens para aumentar a produtividade, chegando a propor distribuir tokens equivalentes a metade do salário anual para atrair talentos. Ele também afirmou que hardware mais eficiente pode gerar tokens a custos menores. O CEO acredita que pagar mais por tokens, especialmente em períodos intensos, trará ganhos significativos. O uso crescente de agentes autônomos deve impulsionar o consumo 24/7 de tokens, alterando a forma como se utiliza a computação. Esse modelo disruptivo está influenciando negociações salariais e estratégia...

A Anthropic lançou um revisor de código de IA. Alguns desenvolvedores dizem que ele é caro e prejudica os engenheiros seniores.

Anthropic lançou uma ferramenta de revisão de código com IA chamada Claude Code Review, projetada para identificar problemas complexos e corrigir bugs. Apesar da eficácia técnica, desenvolvedores criticam seu alto custo, que varia entre US$ 15 e 25 por revisão, e temem que ela substitua o papel de engenheiros seniores. Alguns usuários afirmam não perceber melhorias significativas em relação a outras soluções da empresa. O preço elevado dos tokens usados na ferramenta é um ponto de discórdia, gerando questionamentos sobre sua viabilidade econômica. Comentários indicam que o mercado de ferramentas de IA para programação está se tornando cada vez mais caro. Investidores e startups também expressam preocupações sobre o aumento nos custos operacionais com IA, que pressionam o orçamento. Embora a ferramenta ofereça vantagens técnicas e operacionais, dúvidas persistem quanto ao seu custo-benefício e impacto no mercado de trabalho para profissionais especializados. Fonte: https://www.busin...

Desvendando a ciência aparentemente simples da tokenômica

Data centers de IA funcionam como fábricas, convertendo energia em tokens gerados para maximizar eficiência e lucro. O desafio está em equilibrar taxa de geração de tokens, custo e experiência do usuário, considerando diferentes níveis de latência e uso. Ferramentas de benchmark como InferenceX avaliam desempenho e eficiência energética nesses cenários variados. Softwares desempenham papel vital, influenciando diretamente a eficiência do hardware utilizado. Abordagens como computação desagregada distribuem tarefas entre GPUs para otimizar desempenho e redução de latência. Arquiteturas em larga escala, como racks especializados, impulsionam a eficiência para altas demandas, embora soluções menores continuem relevantes por custo-benefício. A constante evolução do software e o emprego de precisões menores, como FP4, prometem ganhos expressivos em throughput, apesar dos trade-offs em precisão. A competição entre provedores se intensifica, buscando oferecer tokens de melhor qualidade, cust...

O que é Markdown para agentes de IA?

A visibilidade em motores de busca de IA não depende mais apenas de SEO tradicional ou HTML, mas sim de formatos estruturados como markdown, que facilitam o processamento das informações por modelos de linguagem. Cloudflare lançou uma funcionalidade que converte automaticamente HTML em markdown para agentes digitais, otimizando a eficiência do processamento de dados. Markdown simplifica o conteúdo, eliminando elementos desnecessários como CSS e scripts, o que reduz o número de tokens processados e, consequentemente, os custos computacionais para IA. Muitos sites já adotam padrões como o LLM.txt para melhorar a compreensão de seu conteúdo por IA. Esse avanço é fundamental para melhorar a precisão das respostas geradas por IA e evitar erros ou distorções nas informações apresentadas. Empresas e publicadores precisam adaptar seus sites para atender tanto humanos quanto agentes de IA. A adoção de markdown para IA pode beneficiar negócios que dependem de respostas corretas, embora o modelo...

Os modelos de código aberto da China representam 30% do uso global de IA, liderados por Qwen e DeepSeek

Modelos de inteligência artificial de código aberto da China representam quase 30% do uso global da tecnologia, impulsionados por sistemas como Qwen da Alibaba, DeepSeek e Moonshot AI. O inglês lidera o uso de tokens, mas o mandarim ocupa a segunda posição. O estudo da OpenRouter analisou 100 trilhões de tokens, destacando o crescimento acelerado dos modelos chineses durante 2025. Enquanto isso, modelos proprietários ocidentais, como GPT-4o e GPT-5 da OpenAI, mantêm 70% do mercado global. A China destacou-se pelo rápido avanço, apesar das restrições dos EUA à tecnologia de hardware. O desenvolvimento chinês é caracterizado por ciclos de lançamentos frequentes e rápidas melhorias, facilitando a adaptação dos usuários. Essa evolução fez a China se aproximar dos Estados Unidos na competição em IA. Alibaba Cloud, unidade de nuvem da Alibaba, é crucial nesse cenário. A força chinesa reflete tanto o consumo interno quanto a competitividade internacional. Fonte: https://finance.yahoo.com/...