W dziedzinie sztucznej inteligencji codziennie uruchamiane są nowe duże modele językowe, a zmiany zachodzą w zawrotnym tempie. W ciągu zaledwie kilku miesięcy rozwoju możemy teraz uruchomić LLM podobny do ChatGPT na naszym komputerze w trybie offline. Co więcej, możemy wyszkolić chatbota AI i stworzyć spersonalizowanego asystenta AI. Ale to, co ostatnio mnie zaintrygowało, to praktyczne podejście Microsoftu do rozwoju sztucznej inteligencji. Firma Microsoft pracuje obecnie nad zaawansowaną formą systemu sztucznej inteligencji o nazwie JARVIS (oczywiste nawiązanie do Iron Mana firmy Marvel), która łączy się z wieloma modelami sztucznej inteligencji i odpowiada końcowym wynikiem. Jego demo jest hostowane na Huggingface i każdy może już teraz sprawdzić możliwości JARVIS. Więc jeśli jesteś zainteresowany, od razu naucz się korzystać z Microsoft JARVIS (HuggingGPT).
Spis treści
Co to jest Microsoft JARVIS (HuggingGPT)?
Firma Microsoft opracowała rodzaj unikalnego systemu współpracy, w którym wiele modeli sztucznej inteligencji może być używanych do wykonania danego zadania. W tym wszystkim ChatGPT działa jako kontroler zadania. Projekt nazywa się JARVIS na GitHub (odwiedź), a teraz jest dostępny na Huggingface (stąd nazwa HuggingGPT) dla ludzi do wypróbowania. W naszych testach działał doskonale z tekstami, obrazami, dźwiękiem, a nawet filmami.
Działa to podobnie do tego, jak OpenAI zademonstrowało multimodalne możliwości GPT 4 za pomocą tekstów i obrazów. Jednak JARVIS idzie o krok dalej i integruje różne LLM typu open source dla obrazów, filmów, dźwięku i nie tylko. Najlepsze jest to, że może także łączyć się z Internetem i uzyskiwać dostęp do plików. Na przykład możesz wprowadzić adres URL ze strony internetowej i zadać pytania na jej temat. To całkiem fajne, prawda?
Możesz dodać wiele zadań w jednym zapytaniu. Na przykład możesz poprosić go o wygenerowanie obrazu inwazji obcych i napisanie o tym poezji. Tutaj ChatGPT analizuje żądanie i planuje zadanie. Następnie ChatGPT wybiera właściwy model (hostowany na Huggingface), aby wykonać zadanie. Wybrany model kończy zadanie i zwraca wynik do ChatGPT.
Na koniec ChatGPT generuje odpowiedź na podstawie wyników wnioskowania ze wszystkich modeli. W tym zadaniu JARVIS użył modelu Stable Diffusion 1.5 do wygenerowania obrazu i samego ChatGPT do napisania wiersza.
Aż 20 modelek powiązanych z JARVIS (PrzytulanieGPT). Niektóre z nich to t5-base, stable-diffusion 1.5, bert, bart-large-cnn Facebooka, dpt-large Intela i inne. Podsumowując, jeśli chcesz mieć możliwości multimodalne już teraz, śmiało wypróbuj Microsoft JARVIS od razu. Wyjaśniliśmy, jak go skonfigurować i przetestować tutaj:
Krok 1: Uzyskaj klucze do używania Microsoft JARVIS
1. Najpierw przejdź do tego linku, zaloguj się na swoje konto OpenAI i kliknij „Utwórz nowy tajny klucz”, aby uzyskać klucz API OpenAI. Zapisz klucz w pliku Notatnika do późniejszego wykorzystania.
2. Następnie otwórz witrynę huggingface.co (odwiedź) i utwórz darmowe konto.
3. Następnie kliknij ten link, aby wygenerować swój token przytulania. Kliknij „Nowy token” w prawym okienku.
4. Tutaj wprowadź nazwę (na przykład ja wpisałem nazwę „jarvis”). Następnie zmień Rolę na „Zapisz”, a następnie kliknij „Wygeneruj token”.
5. Następnie kliknij przycisk „kopiuj”, a token zostanie skopiowany do schowka. Zapisz token w pliku Notatnika.
Krok 2: Rozpocznij korzystanie z Microsoft JARVIS (HuggingGPT)
1. Aby użyć Microsoft JARVIS, otwórz ten link i wklej klucz OpenAI API w pierwszym polu. Następnie kliknij „Prześlij”. Podobnie wklej token Huggingface w drugim polu i kliknij „Prześlij”.
2. Po sprawdzeniu poprawności obu tokenów przewiń w dół i wprowadź zapytanie. Na początek zapytałem JARVISA, o czym jest to zdjęcie, i udostępniłem adres URL obrazu.
3. Automatycznie pobrał obraz i użył trzech modeli AI do wykonania zadania, w tym ydshieh/vit-gpt2-coco-en (do konwersji obrazu na tekst), facebook/detr-resnet-101 (do wykrywania) i dandelin/vilt-b32-finetuned-vqa (do wizualnego odpowiadania na pytania). Ostatecznie doszli do wniosku, że zdjęcie przedstawia kota przeglądającego się w lustrze. Czy to nie niesamowite?
4. W innym przykładzie poprosiłem go o transkrypcję pliku audio i zrobił to przy użyciu modelu OpenAI/whisper-base. Istnieje wiele przypadków użycia JARVIS i możesz je bezpłatnie wypróbować na HuggingFace.
Używaj wielu modeli sztucznej inteligencji jednocześnie z HuggingGPT
Więc tak może użyć HuggingGPT do wykonania zadania przy użyciu różnych modeli AI. Wielokrotnie testowałem JARVIS i działał całkiem dobrze, z wyjątkiem tego, że dość często trzeba stać za kolejką. Nie możesz uruchomić JARVIS lokalnie na żadnym w miarę przyzwoitym komputerze, ponieważ wymaga on co najmniej 16 GB pamięci VRAM i około 300 GB miejsca dla różnych modeli.
Również w Huggingface nie można go sklonować i pominąć kolejki pod darmowym kontem. Musisz wykupić subskrypcję, aby uruchomić potężny model na Nvidii A10G – dużym GPU, który kosztuje 3,15 USD za godzinę. W każdym razie to wszystko od nas. Jeśli chcesz użyć CodeGPT w VS Code, aby uzyskać pomoc podczas programowania, przejdź do naszego połączonego przewodnika. Aby korzystać z ChatGPT 4 za darmo, mamy dla Ciebie gotową listę. Na koniec, jeśli masz jakieś pytania, daj nam znać w sekcji komentarzy poniżej.
Zostaw komentarz
W zeszłym roku firma MSI wprowadziła Titan GT77 z procesorem Intel Core i9-12900HX i kartą graficzną RTX 3080 Ti do laptopów, który był najpotężniejszym laptopem do gier na świecie. To był najcięższy z ciężkich hitów […]
Minęło kilka miesięcy od premiery serii iPhone 14 i dobrze wiadomo, że jest to rok modeli Pro. Ale jeśli zamierzasz wybrać plisowane Pro, kwota do wyrzucenia […]
Wondershare od kilku lat opracowuje jedne z najlepszych programów i narzędzi, które upraszczają nasze życie i twórcze wysiłki. W szczególności Wondershare Filmora otrzymał liczne wyróżnienia. Był laureatem nagrody Lidera Edycji Wideo […]
