Segurança em IA✦ Gerado por IA

Chefe de IA da Tencent Alerta para Riscos Biológicos de Modelos de IA

O cientista-chefe de IA da Tencent, Yao Shunyu, alertou que modelos de inteligência artificial em breve poderão causar danos significativos na área da biologia, assim como já ocorre na cibersegurança. A declaração foi feita dias após o lançamento do Hy4, o novo modelo da empresa.

Edição de ·The Next Web AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

Modelos de IA em breve poderão causar danos significativos na biologia, exigindo maior foco em segurança e ética por parte dos desenvolvedores.

O cientista-chefe de IA da Tencent, Yao Shunyu, fez um alerta importante sobre o potencial de modelos de inteligência artificial causarem danos na área da biologia. Segundo ele, a capacidade de modelos de IA em cibersegurança e, em breve, em biologia, atingirá um limiar onde será possível gerar prejuízos reais. A declaração foi feita em um evento científico em Hong Kong, conforme noticiado pelo The Next Web.

Shunyu, que tem 29 anos e se juntou à Tencent no ano passado após uma passagem pela OpenAI, enfatizou a necessidade de empresas chinesas que lançam modelos abertos – aqueles que qualquer pessoa pode baixar e modificar – levarem a segurança muito a sério. Ele também ressaltou que os riscos biológicos podem ser ainda mais difíceis de gerenciar do que os cibernéticos, dada a complexidade inerente à área.

O Contexto do Lançamento do Hy4

As declarações de Yao Shunyu surgem poucos dias após a Tencent ter lançado seu novo modelo principal, o Hy4, em 4 de novembro. A empresa destacou que, no treinamento do Hy4, foram excluídos dados relacionados à exploração de falhas de software, focando em dados de segurança defensiva. Essa abordagem reflete uma preocupação crescente com a segurança e o uso ético da inteligência artificial.

A Tencent também informou que o Hy4 possui um conhecimento básico robusto em biologia, embora seja menos eficaz que outros modelos líderes no design de experimentos. Essa avaliação foi baseada em revisões internas de especialistas. A empresa planeja divulgar os pesos do Hy4 e um relatório detalhado sobre seus testes de segurança nos próximos dias. Atualmente, o Hy4 é classificado como o segundo melhor modelo chinês, de acordo com a empresa de benchmarking Artificial Analysis, conforme reportado pelo The Next Web.

O Debate entre Modelos Abertos e Fechados

O debate sobre a abertura ou fechamento de modelos de IA é central na discussão sobre segurança. Yao Shunyu mencionou que empresas americanas como a Anthropic defendem fortemente a manutenção de modelos de ponta como fechados, ou seja, com acesso restrito ao público. No entanto, ele argumentou que uma combinação de modelos abertos e fechados pode ser a melhor abordagem. A lógica é que modelos abertos, apesar dos riscos, também podem ser ferramentas valiosas para defensores, ajudando a identificar e mitigar vulnerabilidades.

Essa perspectiva da Tencent, através de seu cientista-chefe, sublinha a complexidade de equilibrar inovação, acessibilidade e segurança no desenvolvimento da inteligência artificial. A capacidade de modelos de IA de interagir com sistemas biológicos abre um novo campo de preocupações, exigindo uma vigilância e responsabilidade ainda maiores por parte dos desenvolvedores e da comunidade global.

O que isso muda para você

Para profissionais brasileiros, especialmente aqueles nas áreas de tecnologia, biotecnologia e segurança da informação, o alerta da Tencent é um sinal claro de que a IA está expandindo seu campo de impacto de formas que exigem atenção. A convergência entre IA e biologia não é mais uma ficção científica; é uma realidade iminente que pode trazer tanto avanços revolucionários quanto riscos significativos. Isso significa que a compreensão dos princípios de segurança e ética em IA se torna ainda mais crítica, não apenas no ambiente digital, mas também em cenários que envolvem a vida biológica.

É fundamental que empresas e pesquisadores no Brasil comecem a discutir e desenvolver protocolos de segurança robustos para a aplicação de IA em áreas sensíveis. A capacidade de modelos de IA de manipular ou interagir com sistemas biológicos pode ter implicações profundas na saúde, agricultura e meio ambiente. Um próximo passo concreto é buscar capacitação em segurança de IA e bioética, preparando-se para os desafios e oportunidades que essa nova fronteira tecnológica apresenta, e considerar como a sua área de atuação pode ser impactada por essa evolução da IA.

📰 Com base em reportagem de The Next Web AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também