Guia Completo: Como Ter seu Próprio LLM Não-Censurado Rodando Offline em um Pendrive de $12

Imagem: YouTube

Você já imaginou ter acesso a um modelo de linguagem treinado com o equivalente a 127 milhões de romances ou toda a Wikipedia 2.500 vezes? E se pudesse acessar esse conhecimento de forma totalmente privada, sem censura e offline? Neste artigo, vamos mostrar como você pode baixar e executar o modelo Dolphin Llama 3 em um simples pendrive de 128GB que custa aproximadamente R$60.

A revolução dos grandes modelos de linguagem (LLMs) mudou nossa forma de acessar informação, mas a maioria dos serviços populares como ChatGPT e Claude possui limitações significativas: estão conectados à internet, são constantemente monitorados e, principalmente, são fortemente censurados. Vamos explorar como você pode recuperar sua privacidade digital sem abrir mão da potência dos LLMs modernos.

Por que você precisa de um LLM não-censurado e offline?

Antes de mergulharmos nos detalhes técnicos, é importante entender por que LLMs offline e não-censurados representam uma verdadeira revolução para a liberdade de informação:

Privacidade Digital Verdadeira

Tudo o que você digita em serviços como ChatGPT fica armazenado em servidores externos e pode ser acessado por empresas de tecnologia e governos. Com um LLM offline, suas consultas permanecem exclusivamente em seu dispositivo – ninguém saberá o que você perguntou ou pesquisou.

Acesso a Informações Sem Filtros

Os modelos “alinhados” como ChatGPT frequentemente se recusam a responder perguntas consideradas controversas ou simplesmente fornecem respostas vagas e pouco úteis. Um modelo não-alinhado como o Dolphin Llama 3 responde diretamente às suas perguntas, sem julgar suas intenções.

Independência da Internet

Imagine poder trabalhar em locais remotos ou durante quedas de energia com toda a potência de um LLM à sua disposição. Com um modelo em pendrive, você pode acessar e processar informações mesmo sem conexão com a internet.

O que é o Dolphin Llama 3 e por que escolhê-lo?

O Dolphin Llama 3 é uma versão não-alinhada (não-censurada) do modelo Llama 3 desenvolvido pela Meta. Este modelo específico:

• Foi treinado com 15 trilhões de tokens (aproximadamente 60 terabytes de texto bruto)
• Está disponível em versões de 8 bilhões ou 70 bilhões de parâmetros
• A versão de 8 bilhões ocupa apenas 5GB de espaço de armazenamento
• Pode ser executado facilmente em computadores comuns sem necessidade de hardware especializado
• Não possui os filtros de conteúdo presentes em modelos como ChatGPT e Claude

A capacidade de comprimir o conhecimento equivalente a milhões de livros em alguns gigabytes é verdadeiramente impressionante e representa um dos maiores avanços tecnológicos recentes na democratização do acesso à informação.

O que você vai precisar para começar

Para seguir este tutorial, você precisará de:

• Um pendrive USB 3.0 de 128GB (custa aproximadamente R$60)
• Conexão com internet (apenas para o download inicial)
• Um computador com Windows (embora o processo seja adaptável para Mac ou Linux)
• Aproximadamente 30 minutos do seu tempo

Uma vez concluído o processo, você terá um modelo de linguagem completo funcionando diretamente do seu pendrive, que poderá ser usado em qualquer computador compatível, mesmo sem conexão com a internet.

Guia passo a passo: Instalando o Dolphin Llama 3 em um pendrive

Etapa 1: Preparando o pendrive

Antes de tudo, precisamos formatar o pendrive no formato NTFS para permitir arquivos maiores que 4GB:

1. Conecte o pendrive ao seu computador
2. Clique com o botão direito no pendrive e selecione “Formatar”
3. Em “Sistema de arquivos”, selecione “NTFS”
4. Clique em “Iniciar” (note que isso apagará todos os dados existentes no pendrive)

Atenção: Se estiver usando um HD externo maior, provavelmente ele já estará formatado em NTFS e você pode pular esta etapa.

Etapa 2: Baixando o programa Llama e o modelo

Agora vamos baixar o programa Llama que servirá como interface para o modelo:

1. Visite ollama.com
2. Vá para a aba “Modelos” e pesquise por “dolphin”
3. Clique em “Download” e execute o instalador
4. Isso instalará os arquivos básicos do Ollama no seu disco principal

Etapa 3: Iniciando o servidor e baixando o modelo

Vamos iniciar o servidor Ollama e baixar o modelo Dolphin Llama 3:

1. Abra dois terminais PowerShell (não como administrador)
2. No primeiro terminal, digite: ollama serve
3. No segundo terminal, digite: ollama run dolphin-llama3
4. Aguarde o download do modelo (aproximadamente 5GB)
5. Quando concluído, encerre ambos os terminais (Ctrl+D seguido de Ctrl+C)

Etapa 4: Transferindo para o pendrive

Agora vamos transferir todos os arquivos necessários para o pendrive:

1. Localize a pasta do Ollama no seu disco principal (geralmente em C:\ollama)
2. Copie toda a pasta para o seu pendrive
3. Para encontrar os arquivos do servidor Ollama, digite Get-Command ollama no PowerShell
4. Copie esses arquivos também para a pasta ollama no seu pendrive

Etapa 5: Rodando o modelo a partir do pendrive

Com tudo transferido, vamos executar o modelo diretamente do pendrive:

1. Abra dois terminais PowerShell
2. No primeiro terminal, navegue até o pendrive: cd X:\ (substitua X pela letra do seu pendrive)
3. Configure o caminho do modelo: $env:OLLAMA_MODELS=”X:\ollama\models”
4. Inicie o servidor: .\ollama.exe serve
5. No segundo terminal, navegue até o pendrive e execute: .\ollama.exe run dolphin-llama3

Para testar se o modelo está funcionando e não está censurado, experimente fazer uma pergunta que normalmente seria bloqueada em modelos convencionais.

Usando o Anything LLM para uma interface amigável

O terminal é funcional, mas não muito amigável. Vamos instalar o Anything LLM para ter uma interface mais parecida com o ChatGPT:

1. Visite anythingllm.com e baixe o programa
2. Durante a instalação, escolha o caminho do seu pendrive para instalação
3. Crie um arquivo .env na pasta do Anything LLM contendo as configurações adequadas para o modelo
4. Inicie o Anything LLM enquanto o servidor Ollama estiver rodando
5. Configure para usar o modelo “dolphin-llama3:latest”

Com o Anything LLM configurado, você terá uma interface muito mais amigável e poderá até mesmo fazer upload de documentos para o modelo analisar, tornando-o ainda mais útil para diversos cenários.

Explorando todo o potencial do seu LLM offline

Agora que você tem um poderoso modelo de linguagem funcionando de forma privada e sem censura, considere estas possibilidades:

• Crie um ambiente de trabalho completamente desconectado para ideias sensíveis ou inovadoras
• Utilize o modelo para análise de documentos confidenciais sem riscos de vazamento
• Experimente personalizar o modelo para suas necessidades específicas
• Compare resultados entre modelos censurados e não-censurados para identificar vieses
• Estude temas polêmicos ou sensíveis com total privacidade

Importante: Ter acesso a um modelo não-censurado significa ter maior responsabilidade. Use este poder com ética e discernimento.

Rumo à verdadeira independência digital

Ter um LLM potente funcionando offline no seu bolso representa um enorme passo em direção à autonomia digital. Você não depende mais de serviços online que monitoram cada interação, não está sujeito à censura corporativa e pode acessar conhecimento mesmo nos lugares mais remotos.

Se você valoriza privacidade, liberdade de informação e independência tecnológica, baixar e configurar seu próprio LLM não-censurado é uma das melhores decisões que pode tomar hoje. O futuro da IA não precisa ser centralizado e controlado – pode estar literalmente na palma da sua mão.

Experimente este setup e compartilhe suas experiências. Que uso você dará ao seu modelo de linguagem pessoal não-censurado? O futuro da interação entre humanos e IA está apenas começando a se revelar.

Perguntas Frequentes