Use o Copilot para gerar um código AI

'Qualquer tecnologia suficientemente avançada é indistinguível da magia.' Arthur C. Clarke

De acordo com o relatório Rede Neural SBC post vimos uma rede de pesos de 1k treinada com amostras de 10k para aproximar a função seno. Neste post, usaremos pesos de 175G treinados com amostras de 450G que podem programar melhor do que o programador médio. O tamanho desses modelos é impressionante, mas na verdade ninguém sabe realmente como eles funcionam ou quais são suas limitações.

O GitHub Copilot é uma ferramenta de IA que acelera o desenvolvimento de software, permitindo que o programador faça muitas coisas que antes eram impossíveis. A princípio, parece semelhante ao uso do StackOverflow, um site onde os programadores enviam perguntas quando não sabem como fazer algo, mas o Copilot vai muito além, é capaz de sintetizar uma nova resposta para o nosso problema.

O Copilot está incluído em um Microsoft Visual Studio Code e sugere continuamente códigos em cinza que você pode aceitar pressionando o botão tab. Esse código sugerido pode ser definido aproximadamente como a correspondência “mais comum” entre sua consulta (seu código) e o conjunto de dados de treinamento (código GitHub).

Exemplo 1

Neste exemplo, definimos nossa função e sua docstring e solicitamos a conclusão do Copilot. Como vemos, a conclusão corresponde à docstring. A primeira intuição é que o Copilot atua como um mecanismo de pesquisa e simplesmente combina sua consulta com seu conjunto de dados de treinamento (150 GB de projetos de código aberto), mas não é assim que funciona.

Exemplo 2

Aqui criamos uma string aleatória/maluca que não pode estar no conjunto de treinamento. O resultado ainda parece ser a solução mais coerente que pode ser fornecida, neste caso: a soma dos parâmetros de entrada.

Exemplo 3

Neste exemplo, pedimos (em espanhol) para somar a área de interseção de dois círculos dados seu centro e raio. Copilot entende o texto em espanhol sem problemas e sugere o nome da função, os parâmetros e todo o corpo da função. Após uma breve revisão, parece que o código deve funcionar.

Exemplo 4

Agora criamos um texto hipotético de pergunta/resposta. Isso faz com que o Copilot corresponda a consulta a alguns exames que podem estar neste conjunto de dados de treinamento. Simplesmente pedimos a capital da Espanha e o Copilot gera a resposta correta.

Exemplo 5

No entanto, se perguntarmos sobre um país inexistente, o Copilot também dá sua melhor resposta que também parece “correta”.

Exemplo 6

Neste exemplo invertemos o processo, damos a resposta para tentar gerar a pergunta. O copiloto gera uma pergunta que não esperávamos. Esperávamos 'Qual é a capital da França?' e o Copilot perguntou 'Qual é o resultado do seguinte código?' mas ainda podemos entender uma sugestão correta.

Exemplo 7

Aqui forçamos o Copilot a perguntar o que queremos mudar para uma linguagem mais comum e adicionar a primeira letra. Porém, gera outra pergunta, desta vez completamente errada e que não tem relação com a resposta.

Em resumo, Copiloto:

• Constrói uma sugestão com base na solução mais comum.
• Geralmente está correto simplesmente se sua consulta fizer sentido.
• Geralmente está errado quando sua consulta parece um problema comum, mas não é, e na verdade tem um objetivo muito diferente.

Copilot usando bibliotecas de código aberto

Copilot foi treinado com projetos de código aberto. Inclui milhões de casos de uso de qualquer biblioteca de código aberto como numpy, opencv, qt… Isso torna o Copilot realmente útil porque ajuda o programador com a sugestão mais comum que geralmente é a melhor.

Exemplo 8

Neste exemplo, usamos o teste de unidade módulo python, e o Copilot sabe que o unittest.TestCase tem um método chamado assertEqual e também sabe disso foo (1, 2) deve ser 3.

Exemplo 9

Acima criamos um mais complexo Foo função (que assumimos que não pode estar nos dados de treinamento), para ver se o Copilot realmente entende o código. Depois de executar o código com 17 casos de teste, apenas 6 falharam, dando uma taxa de sucesso de 65%.

Pode não parecer muito, mas lembre-se que o Copilot não é um interpretador python, ele não executou a função para obter sua saída… O Copilot usou o que aprendeu durante o treinamento para converter nossa consulta na saída que possui sintaxe python perfeita e também funciona bem 65% do tempo.

Exemplo 10

Pode-se esperar que um longo texto de entrada faça com que o Copilot falhe, mas isso não acontece, quanto mais informações dermos, melhores respostas o copiloto pode gerar.

No exemplo acima, pedimos uma tarefa complexa, um programa completo que requer diferentes entendimentos para resolver, como: habilidades de programação em python, bibliotecas específicas do micropython e como usá-las corretamente até mesmo no entendimento de descrição de texto humano.

A dica completa é exibida na próxima célula. Observe que ele corresponde muito bem à descrição do programa. A classe do aplicativo faz sentido e até mesmo as bibliotecas micropython (PIN, UART, ADC, PIN.irq…) são usadas corretamente. Não é 100% perfeito, por exemplo neste caso temp_senor é um objeto ADC, que não tem temp_sensor.init() método, e outros pequenos erros podem ser gerados, mas toda a estrutura do programa está definitivamente correta e os pequenos erros podem ser corrigidos facilmente.