Um aplicativo de desktop simples para interagir com grandes modelos de linguagem (LLMs) hospedados localmente usando a API Ollama.
Demonstracao.Llama.Chat.mp4
Siga as instruções para a release do seu sistema: Releases
- Node.js e npm: Certifique-se de ter o Node.js e o npm instalados em seu sistema.
- Ollama: Instale e configure o Ollama em sua máquina local. Consulte o repositório para obter mais informações: https://github.com/ollama/ollama
-
Clone este repositório:
git clone https://github.com/jefersonapps/llama-chat.git
-
Navegue até o diretório do projeto:
cd llama-chat -
Instale as dependências:
npm install
-
Após configurar o Ollama em sua máquina local, siga as instruções do reposiório para rodar o modelo llama3:
ollama run llama3
-
Inicie o aplicativo Llama Chat executando o seguinte comando na pasta do repositório clonado:
npm start
-
O aplicativo será aberto em uma nova janela.
-
Digite sua pergunta ou prompt no campo de entrada e pressione Enter ou clique no botão "Enviar".
-
O aplicativo enviará sua solicitação para o servidor Ollama e exibirá a resposta no chat.
- Interface de chat simples e intuitiva.
- Suporte para streaming de respostas da API Ollama.
- Botões para cancelar a geração de resposta e limpar o histórico do chat.
- Atalho de teclado (CommandOrControl+L) para mostrar/ocultar a janela do aplicativo.
- O aplicativo assume que o servidor Ollama está em execução em
http://localhost:11434(porta padrão). Se você configurou o Ollama em uma porta diferente, ajuste a URL no código-fonte do aplicativo. - O modelo de linguagem padrão usado é
llama3. Você pode alterar isso no código-fonte do aplicativo para usar outros modelos disponíveis no Ollama. - A execução do modelo requer um alto uso de memória ram e processamento, se o modelo estiver demorando muito, considere liberar a memória ram do sistema.
Contribuições são bem-vindas! Sinta-se à vontade para abrir problemas ou enviar solicitações pull.
Este projeto está licenciado sob a Licença MIT.