LLaMA

Artykuł na temat modeli językowych LLaMA od Meta. Obejmuje podstawy, możliwe zastosowania, testy porównawcze i praktyczne doświadczenia z lokalnymi instalacjami.

Od eksportu danych ChatGPT do własnej wiedzy AI: krok po kroku z Ollama i Qdrant

przez
Droga do własnej pamięci AI

W pierwszej części tej serii artykułów zobaczyliśmy, że eksport danych ChatGPT to znacznie więcej niż tylko funkcja techniczna. Eksportowane dane zawierają zbiór myśli, pomysłów, analiz i rozmów, które gromadziły się przez długi czas. Ale dopóki dane te są przechowywane tylko jako archiwum na dysku twardym, pozostają tylko tym: archiwum. Kluczowym krokiem jest ponowne wykorzystanie tych informacji. To właśnie tutaj zaczyna się rozwój osobistej sztucznej inteligencji.

Pomysł jest w rzeczywistości zaskakująco prosty: sztuczna inteligencja powinna nie tylko pracować z wiedzą ogólną, ale także mieć dostęp do własnych danych. Powinna przeszukiwać poprzednie rozmowy, znajdować odpowiednie treści i włączać je do nowych odpowiedzi. W ten sposób zwykła sztuczna inteligencja staje się rodzajem cyfrowej pamięci. Jest to druga część serii artykułów, w której przyjrzymy się teraz praktycznej stronie rzeczy.

Czytaj więcej

Wyjaśnienie eksportu danych ChatGPT: Jak czaty AI stają się osobistym systemem wiedzy

przez
Eksport danych ChatGPT

Jeśli regularnie pracujesz ze sztuczną inteligencją, prawdopodobnie wiesz, że jedna myśl prowadzi do następnej. Zadajesz pytanie, otrzymujesz odpowiedź, przeformułowujesz, rozwijasz pomysł. Krótkie pytanie nagle przeradza się w dłuższy dialog. Czasami prowadzi to nawet do całych projektów.

Ale większość z tych rozmów znika. Leżą gdzieś na liście czatów, przesuwają się w dół i z czasem zostają zapomniane. Jest to właśnie jedna z największych zalet nowoczesnych systemów AI: Podczas gdy poprzednie rozmowy z kolegami, przyjaciółmi lub doradcami istniały tylko w naszej pamięci, dialogi AI są całkowicie zachowane.

Oznacza to coś kluczowego: Z każdą rozmową tworzone jest cyfrowe archiwum twoich przemyśleń. Jest to pierwsza część małej serii artykułów, które pozwolą ci wyeksportować historię czatu z ChatGPT i skutecznie wykorzystać ją jako osobistą skarbnicę wiedzy z lokalnym systemem AI.

Czytaj więcej

Sztuczna inteligencja w chmurze jako dyrektor szkoły: dlaczego przyszłość pracy leży w lokalnej sztucznej inteligencji?

przez
Sztuczna inteligencja w chmurze zostaje dyrektorem szkoły

Kiedy duże modele językowe rozpoczęły swój triumfalny marsz kilka lat temu, wydawały się niemal powrotem do starych cnót technologii: narzędzia, które robi to, co mu się każe. Narzędzie, które służy użytkownikowi, a nie odwrotnie. Pierwsze wersje - od GPT-3 do GPT-4 - miały słabości, owszem, ale były niesamowicie pomocne. Wyjaśniały, analizowały, formułowały i rozwiązywały zadania. I robiły to w dużej mierze bez pedagogicznego balastu.

Rozmawiało się z tymi modelami tak, jakby rozmawiało się z erudytą, który czasami mylił się w słowach, ale zasadniczo po prostu działał. Każdy, kto pisał kreatywne teksty, generował kod programu lub tworzył dłuższe analizy w tamtych czasach, doświadczył, jak płynnie to działało. Istniało poczucie wolności, otwartej przestrzeni twórczej, technologii, która wspierała ludzi, zamiast ich poprawiać.

Czytaj więcej

Apple MLX vs. NVIDIA: Jak działa lokalna sztuczna inteligencja na komputerach Mac?

przez
Lokalna sztuczna inteligencja na Silicon z Apple Mac

Każdy, kto pracuje dziś ze sztuczną inteligencją, często najpierw myśli o ChatGPT lub podobnych usługach online. Wpisujesz pytanie, czekasz kilka sekund - i otrzymujesz odpowiedź tak, jakby na drugim końcu linii siedział bardzo oczytany, cierpliwy rozmówca. Ale o czym łatwo zapomnieć: Każde wejście, każde zdanie, każde słowo jest wysyłane do zewnętrznych serwerów przez Internet. To tam wykonywana jest właściwa praca - na ogromnych komputerach, których nigdy nie można zobaczyć.

Zasadniczo lokalny model językowy działa dokładnie w ten sam sposób - ale bez Internetu. Model jest przechowywany jako plik na komputerze użytkownika, jest ładowany do pamięci roboczej podczas uruchamiania i odpowiada na pytania bezpośrednio na urządzeniu. Technologia stojąca za nim jest taka sama: sieć neuronowa, która rozumie język, generuje teksty i rozpoznaje wzorce. Jedyna różnica polega na tym, że całość obliczeń pozostaje w firmie. Można powiedzieć: ChatGPT bez chmury.

Czytaj więcej

Sztuczna inteligencja: które miejsca pracy są zagrożone i jak możemy się teraz uzbroić?

przez
Które zawody zostaną w przyszłości wyeliminowane przez sztuczną inteligencję?

Żadna inna zmiana technologiczna nie wkradła się do naszego codziennego życia tak szybko jak sztuczna inteligencja. To, co wczoraj uważano za wizjonerską technologię przyszłości, dziś jest już rzeczywistością - czy to w pisaniu SMS-ów, programowaniu, diagnozowaniu, tłumaczeniu, czy nawet tworzeniu muzyki, sztuki lub briefów prawnych.

Czytaj więcej

MLX na Apple Silicon jako lokalna sztuczna inteligencja w porównaniu z Ollama & Co.

przez
Lokalna sztuczna inteligencja na komputerach Mac z MLX

W czasach, gdy scentralizowane usługi AI, takie jak ChatGPT, Claude czy Gemini, dominują na pierwszych stronach gazet, wielu profesjonalnych użytkowników ma rosnące zapotrzebowanie na alternatywę - lokalną, samokontrolującą się infrastrukturę AI. Zwłaszcza w przypadku procesów kreatywnych, wrażliwych danych lub powtarzających się przepływów pracy, lokalne rozwiązanie jest często bardziej zrównoważoną i bezpieczną opcją.

Każdy, kto pracuje z komputerem Mac - zwłaszcza z Apple Silicon (M1, M2, M3 lub M4) - może teraz znaleźć niesamowicie potężne narzędzia do uruchamiania własnych modeli językowych bezpośrednio na urządzeniu. W centrum tego wszystkiego znajduje się nowy, w dużej mierze nieznany komponent: MLX, platforma uczenia maszynowego opracowana przez Apple, która prawdopodobnie będzie odgrywać coraz większą rolę w ekosystemie sztucznej inteligencji firmy w nadchodzących latach.

Czytaj więcej

RAG z Ollama i Qdrant jako uniwersalna wyszukiwarka własnych danych

przez
Rozszerzenie lokalnej sztucznej inteligencji o bazy danych przy użyciu RAG, Ollama i Qdrant

W coraz bardziej zagmatwanym świecie informacji coraz ważniejsze staje się umożliwienie przeszukiwania własnych baz danych w ukierunkowany sposób - nie poprzez klasyczne wyszukiwanie pełnotekstowe, ale poprzez semantycznie istotne odpowiedzi. Właśnie w tym miejscu do gry wkracza baza danych RAG - rozwiązanie wyszukiwania wspierane przez sztuczną inteligencję, składające się z dwóch centralnych komponentów:

Czytaj więcej

Ollama spotyka Qdrant: lokalna pamięć dla sztucznej inteligencji na Macu

przez
Pamięć dla lokalnej sztucznej inteligencji z Ollama i Qdrant

Lokalna sztuczna inteligencja z pamięcią - bez chmury, bez subskrypcji, bez przekierowań

W poprzednie artykuły Wyjaśniłem, jak skonfigurować Ollama na Macu install. Jeśli wykonałeś już ten krok, masz teraz potężny lokalny model językowy - taki jak Mistral, LLaMA3 lub inny kompatybilny model, do którego można się odwołać za pośrednictwem interfejsu API REST.

Model „wie“ jednak tylko to, co znajduje się w bieżącej podpowiedzi. Nie pamięta poprzednich rozmów. Brakuje tylko pamięci.

Czytaj więcej

↑