Fa uns dies el meu company Pablinux els va explicar com instal·lar localment el model d'Intel·ligència Artificial de moda. En aquest post enumeraré els que al meu criteri són millors models que DeepSeek i com instal·lar-los i executar-los al nostre ordinador.
Deixant de banda qualsevol simpatia o antipatia política, la jugada del govern xinès va ser una obra mestra del màrqueting diplomàtic digna de Sun Tzu. En contraposició de l'estil «Elefant a la cristalleria» de Donald Trump van anunciar un model que gratuïtament ofereix les mateixes prestacions que ChatGPT de forma gratuïta i consumint menys recursos. Només els que seguim el tema sabem que hi ha molts altres models de codi obert (Alguns d'empreses nord-americanes com Meta) des de fa temps i, que el rendiment de DeepSeek només és comparable a ChatGPT en el 5% dels usos més comuns.
Els models de llenguatge a gran escala
ChatGPT, DeepSeek i altres són anomenats Models de Llenguatge a Gran Escala. Bàsicament permeten que un usuari interactuï amb un ordinador en un llenguatge semblant al que fa servir per comunicar-se amb un altre ésser humà. Per aconseguir-ho són entrenats amb grans quantitats de text i regles que els permeten produir nova informació a partir de la que ja tenen.
El seu ús principal és respondre preguntes, fer resums de textos, fer traduccions i reproduir contingut.
Millors models que DeepSeek i com instal·lar-los localment
Igual que Pablinux, utilitzarem Ollama. És una eina que ens permet instal·lar, desinstal·lar i utilitzar diferents models de codi obert des de la terminal de Linux. En alguns casos es pot fer servir el navegador com a interfície gràfica, però no ho veurem en aquest article.
Perquè Ollama ofereix una experiència adequada d'ús, és millor tenir una GPU dedicada.Sobretot en els models amb més paràmetres. No obstant això, els menys potents poden utilitzar-se en una Raspberry Pi i quan i mateix vaig provar models de 7 mil milions de paràmetres en un ordinador amb 6 gigues i sense GPU dedicada, l'ordinador funcionava sense ensopegades. No va passar el mateix amb un de 13 mil milions.
Els paràmetres són les regles que fa servir el model per construir relacions i armar patrons entre les dades. Com més paràmetres i dades més potent serà un model, els de menys paràmetres parlen espanyol com Tarzán.
Podem instal·lar Ollama amb les ordres
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Podem instal·lar el model amb l'ordre:
ollama pull nombre_del modelo
I executar-ho amb:
ollama run nombre_del_modelo
El desinstal·lem usant:
ollama rm nombre_del_modelo
Podem veure els models instal·lats escrivint:
ollama list
El que segueix és una petita llista dels models que a mi em semblen més interessants: La llista completa de models disponibles la pots trobar aquí:
truca2-uncensored
Flama és un model de propòsit general creat per Meta. En aquesta versió es van remoure totes les restriccions que per raons legals o polítiques van introduir els desenvolupadors del projecte original. Té dues versions, una lleugera que se les arregla amb 8GB i la completa que en necessita 64. Es pot utilitzar per respondre preguntes, redactar textos o en tasques de codificació
S'instal·la amb:
ollama pull llama2-uncensored
I s'executa amb:
ollama run llama2-uncensored
codegemma
CodeGemma és una selecció de models lleugers però potents que permeten realitzar una varietat de tasques de programació com completar codi o escriure'l des de zero. Comprèn el llenguatge natural, pot seguir instruccions i fer raonament matemàtic.
Ve en 3 variants:
- Instruir: Transforma el llenguatge natural a codi i pot seguir instruccions:
- codi: Completa i genera codi a partir de parts de codi ja existents.
- 2b: Tasca de completament de codi més ràpida.
Tynillama
Com el seu nom ho indica és una versió més reduïda del model original de Meta. Per tant no tindrà tan bons resultats, però si vols veure com funciona un model dIntel·ligència Artificial en un maquinari modest val la pena fer la prova. Només té 1100 milions de paràmetres.
Usar models en forma local té com a avantatges la privadesa i l'accés a versions sense censura ni biaixos que en alguns casos sol caure en el ridícul. La Intel·ligència Artificial de Microsoft es va negar a crear-me la imatge d'una gossa salxica per considerar el terme gossa ofensiu. El punt més gran en contra són els requisits de maquinari. Serà qüestió que provis els models i en trobis algun que sigui prou bo per al que necessites i pugui córrer a l'equip que tens.