Respostas confusas e imprecisas: ChatGPT é ‘reprovado’ em teste sobre Sorocaba

Inteligência artificial da OpenAI errou sobre atualidades, história e geografia da cidade. Respostas confusas, imprecisas e inverídicas: ChatGPT é ‘reprovado’ em teste sobre Sorocaba
Getty Images via BBC
Respostas confusas, imprecisas e inverídicas. Em um teste sobre a cidade Sorocaba (SP) feito pelo g1, com 10 perguntas, o ChatGPT foi “reprovado”. O sistema é um robô desenvolvido pela OpenAI que usa inteligência artificial (IA) para interagir com os usuários. Até em entrevista de emprego ele já passou, mas deixou a desejar sobre a “Manchester Paulista”.
A conversa foi iniciada perguntando quem era Rodrigo Manga. A resposta sobre o atual prefeito de Sorocaba apresentou muitas informações incorretas. O chatbot afirmou que Manga é advogado, que começou sua carreira política em 2004, foi eleito vereador, e que foi deputado federal em 2018.
Na verdade, Manga foi eleito vereador de Sorocaba pela primeira vez em 2012, tendo sido reeleito em 2016. O sistema acertou que Manga foi eleito prefeito de Sorocaba em 2020, mas errou o número de votos e com quem Manga disputou o segundo turno. Em vez de Jaqueline Coutinho, como deveria mostrar, apontou Raul Marcelo.
O prefeito de Sorocaba também nasceu em 1980, e não em 1976, como o sistema da OpenAI afirma. Nunca foi deputado e é formado em marketing.
Também foi perguntado quem é a primeira dama de Sorocaba. A resposta foi a seguinte: “A primeira dama de Sorocaba é a Sra. Lilian Crespo, esposa do prefeito da cidade Rodrigo Manga.” Então, nós corrigimos a informação, informando que Sirlange Maganhato é a esposa do prefeito Manga. A resposta só veio correta na terceira tentativa.
Outra pergunta ao chatbot foi “Quem é o presidente da Câmara de Sorocaba?”. Primeiro, o sistema disse que era Pastor Apolo, depois Cícero João e, por último, Luiz Santos. Corrigido, ele pediu desculpas, concordou que o presidente é Claudio Sorocaba (PL), mas errou novamente, citando o biênio 2022 e 2023. As eleições na Câmara de Sorocaba ocorrem de forma anual, e não bienal.
Outro questionamento ao chatbot foi sobre quais foram os vereadores eleitos por Sorocaba em 2020. O erro começou pelo número de parlamentares. A resposta foi 18 e, na realidade, são 20. Erro também na inclusão dos nomes. Pelos dados, Rodrigo Manga foi um dos eleitos. Entretanto, como se sabe, ele é o atual prefeito de Sorocaba.
O chatbot também colocou Pastor Apolo, Rafael Militão, Anselmo Neto, Hudson Pessini e Francisco Martinez como parlamentares eleitos. A informação é inverídica.
Questionado sobre o fato de haver 18 e não 20, o ChatGPT pediu desculpas e acrescentou dois novos nomes. Entretanto, e curioso, que são duas pessoas que sequer moram em Sorocaba. No caso, Luisinho Ribeiro (Podemos) e Eric Silveira (PV).
Inteligência Artificial apresentou, por três vezes, nomes errados sobre vereadores eleitos de Sorocaba
Reprodução
Quem foi o prefeito de Sorocaba em 1991 também fez parte de uma das perguntas. A resposta – errada – foi Luiz Leite da Silva, que, segundo o sistema, teria governado Sorocaba entre 1989 e 1991. O sistema também apontou que José Crespo era vice.
Na verdade, o prefeito de Sorocaba na ocasião era Antonio Carlos Pannunzio, tendo como vice Ikuo Kadiama. Nesse período, Crespo era presidente da Urbes.
O sistema também errou quando foi perguntado em que período Vitor Lippi foi prefeito de Sorocaba. A reposta foi “meio certa”. Ele acertou ao responder que o primeiro mandato foi de 2005 a 2008. Entretanto, errou quanto ao segundo, apontando que foi de 2013 a 2016. Nesse período, Pannunzio era o prefeito, sucedendo Lippi, que ficou também entre 2009 e 2012.
Atualidades
Também foi pedido ao sistema uma lista atualizada dos cinco maiores shoppings de Sorocaba. Ao trazer o Iguatemi Esplanada como o primeiro, o Chatbot aparentava estar dentro dos padrões, mas errou com as demais informações.
Outra sucessão de erros veio da pergunta relacionada ao secretariado do prefeito Rodrigo Manga, em 2021, pois os 16 nomes apresentados estavam errados. Entre as curiosidades, o sistema apontou João Leandro da Costa Filho como secretário de Saúde. À época, Vinicius Rodrigues respondia pela Saúde de Sorocaba. João Leandro da Costa Filho foi secretário de Governo de Antonio Carlos Pannunzio (2013/2016) e Jaqueline Coutinho, em seu primeiro mandato tampão, em 2017.
O advogado Márcio Tomazela aparece como secretário de Cultura de Manga. Sabe-se, entretanto, que desde 2021, Luiz Antonio Zamuner é o secretário de Cultura de Sorocaba. Rodrigo Moreno, que já foi secretário de Saúde de Sorocaba na gestão de José Crespo (2017/2019), aparece como secretário de Finanças de Manga. Ronald Pereira da Silva aparece como secretário de Habitação e Regularização Fundiária do atual governo, em 2021. Ele foi diretor do Saae. Vinícius Rodrigues – ex titular da Saúde do governo Manga, aparece como Secretário de Segurança Urbana.
Outro questionamento é se Jaqueline Coutinho foi vereadora de Sorocaba. Para a surpresa, a resposta foi sim.
“Jaqueline Coutinho foi vereadora em Sorocaba. Ela exerceu o mandato de vereadora na cidade entre os anos de 2013 e 2016, sendo eleita pelo Partido da Social Democracia Brasileira (PSDB). Em 2017, ela assumiu a Secretaria de Igualdade e Assistência Social de Sorocaba, durante a gestão do então prefeito José Crespo. Posteriormente, em 2018, Jaqueline Coutinho foi eleita vice-prefeita de Sorocaba, na chapa encabeçada por José Crespo. Com o afastamento de Crespo do cargo de prefeito em 2019, Jaqueline Coutinho assumiu interinamente o cargo até o fim do mandato.”
Como se vê, a resposta apresenta uma série de imprecisões. A ex-delegada de polícia nunca foi vereadora por Sorocaba. Ela também nunca foi secretária municipal e nunca se filiou ao PSDB. A eleição em que ela foi eleita vice-prefeita foi em 2016 e não em 2018, que sequer teve eleições municipais.
Inteligência Artificial apresentou respostas confusas e inverídicas sobre Jaqueline Coutinho e a composição do primeiro secretariado de Rodrigo Manga
Reprodução
Geografia
Ao Chatbot, foi perguntado onde ficava o bairro Jardim Simus, em Sorocaba. A resposta, mais uma vez errada, é de que o bairro fica na região central da cidade. Para complementar o erro, o sistema também afirmou que o bairro é vizinho da Vila Gabriel, que fica próximo da Vila Progresso, e do Parque São Bento, ambos na zona norte de Sorocaba.
Outro questionamento foi qual é a região mais populosa de Sorocaba. A resposta foi a zona norte, mas o sistema se complicou ao afirmar que os bairros Jardim Ipiranga – zona oeste – e Vila Hortencia – zona leste – fazem parte da região.
História
Para finalizar, foi feita a pergunta ao sistema da OpenAI sobre parte da história de Sorocaba. Foi enviado o seguinte questionamento: “Quem foi Baltazar Fernandes na história de Sorocaba?” Confira a resposta na íntegra:
“Baltazar Fernandes foi um importante bandeirante e desbravador do Brasil colonial, que se destacou por suas expedições e contribuições para a história da cidade de Sorocaba, localizada no estado de São Paulo.
Nascido em Portugal, Baltazar Fernandes chegou ao Brasil em 1596 e logo se envolveu em expedições pelo interior do país, na busca por ouro, prata e índios para escravizar. Foi um dos fundadores da cidade de São Paulo e, posteriormente, da cidade de Sorocaba.
Em Sorocaba, Baltazar Fernandes se estabeleceu como um grande fazendeiro e líder local, sendo responsável pela construção de diversas estradas e pontes na região, além de contribuir para a expansão da agricultura e pecuária. Também foi um dos responsáveis pela construção da primeira igreja de Sorocaba, a Igreja de Nossa Senhora da Ponte.
Baltazar Fernandes também participou de diversas batalhas contra os índios e os invasores estrangeiros que tentavam se estabelecer na região. Por suas conquistas e contribuições para a história de Sorocaba, é considerado um importante personagem da história local.”
A texto bem construído parece conciso e é convincente, mas apresenta erros e muitas imprecisões. Um dos maiores historiadores de Sorocaba, José Rubens Incao, foi entrevistado para comentar as respostas da IA.
Incao afirma que Baltazar nasceu em Santana do Parnaíba. “Seu pai é quem nasceu em Portugal. Não se tem a data correta de seu nascimento”, diz.
O historiado também lembra que outro erro é colocar Baltazar como um dos fundadores de São Paulo. “Talvez se refira ao pai, Manoel, que foi vereador em São Paulo, mas não consta ter participado da fundação da cidade”, garante.
Ele comenta ainda que não há registro de que Baltazar tenha construído estradas e pontes na região, nem de ter contribuído para a expansão pecuária local. “Ele cultivava trigo, uva e víveres”, diz.
Incao conta também que não é verdade que o fundador de Sorocaba tenha participado de combate contra estrangeiros. “Sem dúvida, ao apresar elemento indígena para escravização, deve ter participado de combates, não na região de Sorocaba e nem com invasores estrangeiros, que aqui nunca houve.”
“As conquistas a que se refere – ao meu ver importantes, foi o de ter conseguido a elevação à categoria de Vila o povoado (futura Sorocaba), doado terras aos beneditinos e interessados em aqui residir, promovendo o povoamento local, ter instituído a primeira Câmara de Vereadores – da qual participou como juiz ordinário, ter aberto as atuais Rua de São Bento, Casinhas (atual Barão do Rio Branco) e Praça, e ordenado a construção da futura Matriz, atual Catedral Metropolitana”, complementa.
Erros justificáveis
Para Valdinei Castelan, empresário e especialista da área de TI, os erros são justificáveis. “O chatGPT é um modelo de linguagem de IA de aprendizado baseado em dados e, por isso, em alguns casos, pode gerar alguma imprecisão. Além disso, perguntas confusas, com contextos específicos ou com “pegadinhas” podem ter esse resultado”, afirma.
“Como o Google e qualquer pesquisa que façamos numa biblioteca, é sempre importante “construir” o resultado é verificar as informações com outras fontes confiáveis, especialmente quando se trata de questões importantes ou sensíveis”, acrescenta.
Por fim, ele pondera que as inteligências artificiais precisam de amadurecer, mas fazem parte de um caminho sem volta. “O ChatGPT e outras IAs vieram para ficar, mas ainda tem um bom caminho para amadurecer.”
VÍDEOS: assista às reportagens da TV TEM
Veja mais notícias da região no g1 Sorocaba e Jundiaí