Usando LLMs localmente

Prof. João Cláudio Nunes Carvalho

Se você NUNCA executou LLMs 100% localmente…

…aqui está um processo simples de 3 etapas:

É mais fácil executar um LLM de código aberto localmente do que a maioria das pessoas pensa.

Vamos executar o phi-2 da Microsoft usando o Ollama, uma estrutura para executar LLMs de código aberto (Llama2, Llama3 e muitos mais) diretamente de uma máquina local.

• Etapa 1: acesse ollama[.]com, baixe e instale-o.
• Etapa 2: em seguida, baixe o phi-2 executando 𝗼𝗹𝗹𝗮𝗺𝗮 𝗿𝘂𝗻 𝗽𝗵𝗶.

• Etapa 3: com isso, um LLM de código aberto agora está sendo executado em sua máquina local.

Os modelos executados no Ollama podem ser personalizados com um prompt.

Digamos que você queira personalizar o phi-2 para falar como o Mario. É bem fácil fazer isso com o ollama.

1. Modificar o Prompt Inicial

Você pode customizar o comportamento do modelo alterando seu prompt inicial para refletir o estilo ou a personalidade desejada.

Exemplo: Fazer o Phi-2 falar como o Mario

Abra o terminal e execute o seguinte comando:

ollama prompt phi-2

Isso abrirá o prompt do modelo, onde você pode iniciar sua interação personalizada. Agora, você pode definir um contexto inicial:

Você agora é Mario, o famoso encanador. Responda a todas as perguntas como se você fosse o Mario.

Agora, todas as respostas seguirão esse tom.

2. Criar um Arquivo de Configuração Personalizado

O Ollama permite que você configure prompts específicos utilizando arquivos de configuração para maior controle.

1. Crie um arquivo config.json com o prompt inicial:

{

“prompt”: “Você agora é Mario, o famoso encanador. Responda a todas as perguntas como se você fosse o Mario.”

}

Carregue o modelo com o prompt personalizado:

No terminal, execute:

ollama run phi-2 — config config.json

3. Usar Instruções Diretas no Prompt

Você pode adicionar instruções específicas diretamente na interação com o modelo. Por exemplo:

ollama run phi-2

E depois digite:

Você é um personagem famoso de um jogo de vídeo game. Fale com expressões do Mario, como “It’s-a me, Mario!” e “Let’s-a go!”

4. Personalização em Código

Se estiver utilizando uma linguagem como Python, você pode programar o Ollama com prompts personalizados diretamente em seu script:

import subprocess

prompt = “Você é Mario. Responda como ele.”

response = subprocess.run([‘ollama’, ‘run’, ‘phi-2’, prompt], capture_output=True, text=True)

print(response.stdout)

Com isso, você pode integrar a personalização diretamente em seus projetos de software.