Sztuczna inteligencja w firmie
Po wydaniu ChatGPT przez OpenAI 30 listopada 2022 r., w kolejnym roku nastąpił gwałtowny wzrost liczby aplikacji do czatowania ze sztuczną inteligencją, oznaczając rok 2023 jako rok konwersacyjnej sztucznej inteligencji. Pojawili się konkurenci, a rozwój aplikacji czatowych wykorzystujących Retrieval Augmented Generation (RAG) stał się coraz bardziej popularny.
W roku 2024, uwaga przeniosła się na agentów AI, którzy obiecują rozszerzyć możliwości AI poza zwykłe odpowiadanie na pytania. Agenci AI integrują duże modele językowe (Large Language Models - LLM) z określonymi narzędziami i pamięcią, umożliwiając im wykonywanie różnorodnych zadań w celu zwiększenia ich funkcjonalności i pomocy użytkownikom w bardziej wyrafinowany sposób.
Agenci AI zyskują uznanie w matrycy trendów AI, a ich potencjał do adopcji jest coraz bardziej doceniany. Mogą działać autonomicznie w różnym stopniu, od wykonywania prostych zadań, takich jak pobieranie informacji w „przeglądarce internetowej”, po formułowanie i wykonywanie wieloetapowych planów dla bardziej złożonych celów. Poza tradycyjną zrobotyzowaną automatyzacją procesów (Robotic Process Automation - RPA), agenci AI stają się coraz bardziej elastyczni i inteligentni, zdolni do wspierania bieżących procesów biznesowych.
Szczególnie intrygująca jest zdolność agentów AI do łączenia się z systemami korporacyjnymi i rzeczywistymi danymi za pośrednictwem interfejsów API. Przykładem tego rozwoju jest integracja modeli GPT OpenAI z aplikacjami, które łączą się z systemami IT takimi jak Jira. Inne platformy, takie jak Amazon's Bedrock i Google's Duet AI, również sprawdzają możliwości agentów AI w zakresie łączenia się z różnymi systemami i źródłami danych.
Ponieważ krajobraz sztucznej inteligencji ewoluuje, agenci AI mogą odegrać kluczową rolę w rozwijaniu możliwości AI w biznesie i poza nim.
Celem tego artykułu jest prezentacji kompleksowego zrozumienia agentów AI i poprowadzenie czytelników przez etapy tworzenia agentów AI. Artykuł zagłębia się tworzenie Agentów AI poprzez Vertex AI Agent Builder, ułatwiając programistom łatwe tworzenie i wdrażanie generatywnych doświadczeń AI dla firm. Oferuje narzędzia, począwszy od przyjaznej dla użytkownika konsoli bez kodu do konstruowania agentów sztucznej inteligencji przy użyciu języka naturalnego, po frameworki typu open source, takie jak LangChain w Vertex AI.
Zrozumieć agentów AI
Agent AI to wysoce wydajny, inteligentny wirtualny asystent, który autonomicznie wykonuje zadania, wykorzystując sztuczną inteligencję. Został zaprojektowany do wykrywania swojego środowiska, interpretowania danych, podejmowania świadomych decyzji i wykonywania działań w celu osiągnięcia wcześniej zdefiniowanych celów.
W kontekście wdrożenia Agenta AI w firmie, agenci AI zwiększają wydajność poprzez automatyzację rutynowych zadań i analizę złożonych danych, pozwalając tym samym pracownikom skoncentrować się na strategicznych i kreatywnych przedsięwzięciach. Agenci ci raczej uzupełniają ludzkie wysiłki niż je zastępują, ułatwiając bardziej produktywną i skuteczną siłę roboczą.
Agenci AI charakteryzują się proaktywnością i zdolnością do podejmowania decyzji. W przeciwieństwie do pasywnych aplikacji IT, aktywnie angażują się w swoje środowisko, dokonując wyborów i podejmując działania, aby osiągnąć wyznaczone cele.
Kluczowym aspektem agentów AI jest ich zdolność do uczenia się i adaptacji. Dzięki integracji technologii takich jak duże modele językowe (Large Language Models – LLM), stale poprawiają one swoją wydajność w oparciu o interakcje, ewoluując z czasem w bardziej wyrafinowanych i inteligentnych asystentów.
W przypadku Autonomicznych Agentów Sztucznej Inteligencji (Autonomous AI Agents - AAIA), wielu agentów współpracuje ze sobą, a każdy z nich przyjmuje wyspecjalizowane role podobne do profesjonalnego zespołu. Takie podejście do współpracy pozwala na bardziej kompleksowy i wydajny proces rozwiązywania problemów, ponieważ każdy agent wnosi swoją wiedzę, aby osiągnąć wspólny cel.
Typy Agentów AI
Wyobraźmy sobie scenariusz z Piotrem, sprzedawcą i jego niestandardowym asystentem AI.
Sprzedawca Piotr rozpoczyna swój dzień od sprawdzenia poczty e-mail i znajduje wiadomość od potencjalnego klienta, Szymona, który jest zainteresowany usługą stworzenia aplikacji dedykowanej dla jego firmy. Asystent AI sprzedawcy Piotra, który jest połączony z jego pocztą e-mail, śledzi te interakcje. Korzystając z tego, czego nauczył się z poprzednich odpowiedzi Piotra i informacji o firmie, agent AI przygotowuje odpowiedź. Obejmuje ona podsumowanie usług stworzenia aplikacji dedykowanej w oparciu o wymagania funkcjonalne i wymagania niefunkcjonalne aplikacji dedykowanej przesłane przez Szymona, jej zalet oraz indywidualnie dostosowaną odpowiedzią dla Szymona w oparciu o jego zainteresowania i potrzeby.
Piotr przegląda wersję roboczą w wiadomości e-mail, dodaje swój osobiste elementy, akcenty i wysyła ją. Następnie agent AI proponuje kolejne kroki, takie jak umówienie rozmowy telefonicznej z Szymonem, lub przypomnienie Piotrowi, aby skontaktował się z Szymonem, jeśli nie otrzyma odpowiedzi w ciągu tygodnia.
Piotr zgadza się na te kroki, a sztuczna inteligencja organizuje ich kalendarz, wysyła informację e-mailem i ustawia przypomnienia w kalendarzu. Dzięki sztucznej inteligencji obsługującej te rutynowe, ale ważne zadania, Piotr może skoncentrować się na innych krytycznych aspektach swojej pracy.
Typy agentów AI
Znaczenie agentów AI, którzy są specjalnie zaprojektowani, aby pomagać użytkownikom w osiąganiu ich celów będzie rosło. Agenci AI mają zdolność do łączenia się z innymi agentami w celu wspólnego wykonywania zadań. Oto sześć typów agentów AI, które Google postrzega jako kluczowe dla przyszłości:
Agenci AI obsługi klienta
Agenci obsługi klienta są zaprojektowani do słuchania, rozumienia potrzeb i dostarczania dostosowanych zaleceń, podobnie jak wykwalifikowany przedstawiciel handlowy lub usługowy. Agenci obsługi klienta są wszechstronni, działają w różnych kanałach i płynnie integrują się z doświadczeniami produktowymi. Można je dostosowywać w oparciu o przepływy konwersacji, języki i konkretne tematy, dokładnie wiedząc, kiedy w razie potrzeby przejść do pomocy użytkownikowi.
Agenci klienta tworzą nowe doświadczenia w obsłudze klientów, zwiększając zaangażowanie i zapewniając spersonalizowaną pomoc w różnych punktach ich relacji z firmą i jej produktami.
Agenci AI pracowników
Agenci pracowników mają na celu zwiększenie produktywności i wspieranie lepszej współpracy między pracownikami poprzez automatyzację powtarzalnych zadań, udzielanie szybkich odpowiedzi na pytania i pomoc w komunikacji.
Agenci pracowników zwiększają wydajność w miejscu pracy, usprawniając przepływy pracy i umożliwiając pracownikom skupienie się na zadaniach o wysokiej wartości.
Agenci AI kreatywni
Agenci kreatywni pomagają zespołom w projektowaniu kreatywnych treści, zwiększając wydajność procesów projektowania i produkcji w różnych formatach, takich jak teksty, obrazy, firmy. Korzyści z wdrożenia agentów kreatywnych mogą być znaczące dla przedsiębiorstw, ponieważ mogą ni pomóc uniknąć marnotrawstwa mediów i zmniejszyć powiązane koszty w całej kampanii. Ponadto agenci AI umożliwiają szybkie tworzenie i iterację storyboardów i innych kreatywnych elementów.
Agenci AI kreatywni stanowią transformacyjny zestaw aplikacji dla zespołów projektowych i produkcyjnych, optymalizując procesy i umożliwiając szybsze, bardziej efektywne tworzenie treści.
Agenci AI danych
Agenci AI danych przeszukują, analizują i podsumowują ogromne repozytoria dokumentów, materiałów wideo i audio w celu wydobycia cennych informacji. Potężny agent AI danych nie tylko odpowiada na konkretne pytania, ale także sugeruje nowe pytania, które należy zbadać.
Agenci AI danych są wszechstronni i mogą być wdrażani na różnych etapach zarządzania danymi, w tym przygotowania, odkrywania, analizy, zarządzania i tworzenia potoków danych. Oferują również powiadomienia w czasie rzeczywistym, gdy kluczowe wskaźniki wydajności (KPI) są spełnione lub zagrożone. Ci inteligentni agenci danych odgrywają kluczową rolę w nowoczesnych organizacjach opartych na danych, ułatwiając świadome podejmowanie decyzji i proaktywne zarządzanie w oparciu o przydatne informacje uzyskane z różnych źródeł danych.
Agenci AI kodu
Agenci AI kodu pomagają programistom w tworzeniu i utrzymywaniu aplikacji i systemów IT, zwiększając produktywność i wydajność w przepływach pracy związanych z tworzeniem oprogramowania.
Agenci AI kodu zostali zaprojektowani w celu usprawnienia zadań kodowania, sugerowania ulepszeń kodu, automatyzacji powtarzalnych procesów, pomocy w procesach debugowania i optymalizacji jakości kodu programów. Wykorzystują uczenie maszynowe i przetwarzanie języka naturalnego, aby zrozumieć kontekst i zapewnić ukierunkowaną pomoc dostosowaną do potrzeb programistów. Agenci AI kodu stanowią cenną innowację w zestawie narzędzi dla programistów, umożliwiając zespołom wydajniejsze i skuteczniejsze dostarczanie wysokiej jakości oprogramowania.
Agenci AI bezpieczeństwa
Agenci AI bezpieczeństwa są zaprojektowani do wykorzystywania danych i inteligencji w celu dostarczania wglądu i szybkiego reagowania na incydenty. Wspierają oni specjalistów ds. operacji bezpieczeństwa poprzez automatyzację zadań monitorowania i ochronę danych. Agenci AI bezpieczeństwa stanowią znaczącą przewagę w zakresie cyberbezpieczeństwa, skutecznie analizując duże ilości złośliwego kodu, zapewniając efekt mnożnikowy dla analityków cyberbezpieczeństwa.
Podstawowym celem agenta AI bezpieczeństwa jest szybkie identyfikowanie i reagowanie na zagrożenia, podsumowywanie ustaleń, wyjaśnianie wykrytych problemów oraz zalecanie natychmiastowych kolejnych kroków i działań naprawczych. Z biegiem czasu agenci AI bezpieczeństwa dążą do automatyzacji działań reakcyjnych, jeszcze bardziej wzmacniając obronę cyberbezpieczeństwa.
Agenci bezpieczeństwa odgrywają kluczową rolę w nowoczesnych strategiach cyberbezpieczeństwa, umożliwiając organizacjom proaktywną obronę przed ewoluującymi zagrożeniami i skuteczne reagowanie na incydenty bezpieczeństwa.
Typy agentów AI. Optymalizacja operacji poprzez wdrożenia Agenta AI
Agenci AI są podzieleni na trzy podstawowe formy w oparciu o ich funkcjonalność i możliwości interakcji. Każdy typ agenta AI służy unikalnym celom i jest dostosowany do różnych scenariuszy, zapewniając różnorodne rozwiązania spełniające różne potrzeby.
Samodzielny agent AI
Samodzielny agent AI jest zaprojektowany do wykonywania określonych zadań lub obsługi określonych scenariuszy w oparciu o wymagania użytkownika. Samodzielni agenci AI działają niezależnie, koncentrując się na wąskim zakresie funkcji. Przykładowo, agent AI może być zaprogramowany do obsługi zapytań klientów, dostarczania rekomendacji produktów lub zarządzania zadaniami związanymi z planowaniem. Ich prostota i specjalizacja sprawiają, że są one bardzo skuteczne w dobrze zdefiniowanych rolach, umożliwiając im skuteczne dostarczanie ukierunkowanych rozwiązań.
Multi-agenci AI
Multi-agenci AI charakteryzują się zdolnością do współpracy z innymi agentami AI. Multi-agenci AI współpracują ze sobą, komunikując się i koordynując swoje działania w celu rozwiązywania bardziej złożonych problemów i podejmowania świadomych decyzji. Każdy agent AI w systemie IT może specjalizować się w różnych obszarach, tworząc razem bardziej kompleksowe rozwiązanie. Przykładowo, w środowisku biznesowym jeden agent AI może zarządzać poziomami zapasów, podczas gdy inny nadzoruje zadania związane z zarządzaniem relacjami z klientami (CRM). Płynna koordynacja między tymi agentami zapewnia spójny i zoptymalizowany przepływ pracy operacyjnej, zwiększając wydajność i szybkość reakcji. Integrując zarządzanie zapasami z CRM, firmy mogą usprawnić realizację zamówień, poprawić zadowolenie klientów i utrzymać optymalne poziomy zapasów bez ręcznej interwencji. Takie podejście oparte na współpracy pozwala na bardziej zsynchronizowane i efektywne zarządzanie różnymi procesami biznesowymi.
Hybrydowi agenci AI
Hybrydowi agenci AI stanowią zaawansowane połączenie interakcji człowieka i maszyny. Hybrydowi agenci AI są zdolni do wykonywania złożonych zadań zawodowych, które wymagają zarówno ludzkiej aktywności, jak i mocy obliczeniowej. Agenci AI integrują podejmowanie decyzji przez człowieka z możliwościami sztucznej inteligencji, aby sprostać wieloaspektowym wyzwaniom.
Na przykład, w opiece zdrowotnej, hybrydowy agent AI może analizować dane medyczne i dostarczać rekomendacje, jednocześnie wykorzystując wiedzę pracowników służby zdrowia. Takie połączenie pracy człowieka oraz agenta AI umożliwia obsługę skomplikowanych zadań, które wykraczają poza możliwości pojedynczych lub wielu agentów AI.
Typy agentów AI
Wybór typu agenta AI zależy od złożoności zadań, wymaganego poziomu współpracy i potrzeby interakcji ludzi. Samodzielni agenci AI oferują ukierunkowane rozwiązania, multi-agenci AI zapewniają wspólne rozwiązywanie problemów, a hybrydowi agenci AI łączą ludzką inteligencję z wydajnością maszyn w zaawansowanych aplikacjach. Zrozumienie różnych typów agentów AI pomaga wybrać odpowiednie podejście do wdrożenia Agenta AI w firmie, aby spełnić określone potrzeby biznesowe i osiągnąć optymalne wyniki.
Mechanizm działania agenta AI
Tworzenie autonomicznych agentów AI wymaga naśladowania ludzkich procesów poznawczych i strategicznego planowania wykonywania zadań. Na tym etapie agenci dużych modeli językowych - LLM mają zdolność do rozkładania dużych i skomplikowanych zadań na mniejsze, łatwiejsze w zarządzaniu segmenty. Co więcej, agenci AI posiadają zdolność do autorefleksji i uczenia się na podstawie poprzednich działań i błędów, zwiększając tym samym przyszłą wydajność i poprawiając wyniki.
Zacznijmy od zdefiniowania agenta jako oprogramowania, które wykonuje zadania w imieniu użytkownika. Zdolność dużych modeli językowych (Large Language Model - LLM) do naśladowania ludzkich procesów poznawczych otwiera nowe możliwości dla zadań, które wcześniej były trudne lub niewykonalne.
W najprostszym ujęciu, agent oparty na LLM to program, który zawiera ChatGPT z interfejsem tekstowym zdolnym do wykonywania zadań takich jak streszczanie dokumentów.
Koncepcja „orkiestracji agentów” wprowadza wyższy poziom złożoności. Na przykład, dwóch wyspecjalizowanych agentów AI może współpracować nad kodem - jeden koncentruje się na generowaniu kodu, a drugi na jego przeglądzie. Alternatywnie, można ulepszyć agenta za pomocą narzędzia takiego jak API, które zapewnia dostęp do wyszukiwania w Internecie. Można też poprawić inteligencję i niezawodność agenta, zapewniając dodatkowy kontekst za pomocą technik takich jak (Retrieval Augmented Generation - RAG).
Najbardziej zaawansowani agenci AI określani są mianem „autonomicznych”. Są to aplikacje IT zdolne do obsługi sekwencyjnych zadań, iteracji lub realizacji celów przy minimalnej lub nawet zerowej interwencji człowieka. Weźmy pod uwagę wykrywanie oszustw - autonomiczny agent może dostosować swoje zachowanie, aby zidentyfikować skomplikowane i ewoluujące wzorce oszustw, znacznie zmniejszając liczbę fałszywych alarmów, zapewniając, że legalne transakcje nie zostaną omyłkowo oznaczone jako nieuczciwe. Może również wykrywać i zapobiegać oszustwom w czasie rzeczywistym, określając odpowiednie działania, oszczędzając w ten sposób zarówno czas, jak i zasoby.
Sposób działania agenta AI. Jak działa agent AI?
Autonomiczny agent AI jest zaawansowanym systemem IT składającym się z różnych wyspecjalizowanych agentów AI płynnie współpracujących ze sobą. Agent AI obserwator ocenia przychodzące informacje, wzbogaca je o odpowiedni kontekst, a następnie przechowuje je w swojej pamięci lub dodaje do kolejki zadań. Na przykład, w procesie biznesowym analizującym zdarzenia transakcji kartą kredytową pod kątem oszustwa, pojedyncze użycie karty kredytowej może nie być znaczące, ale dwa użycia w krótkim czasie na różnych kontynentach mogą wskazywać na oszustwo.
Początkowe zdarzenie może sprawić, że agent AI zapisze informacje w pamięci. Jednak drugie zdarzenie skłoniłoby agenta |AI do utworzenia zadania w celu zbadania obserwacji pod kątem potencjalnego oszustwa, biorąc pod uwagę kontekst dostarczony przez pierwsze zdarzenie.
Następnie agent AI ustalający priorytety ocenia i szereguje zadanie, potencjalnie inicjując jego wykonanie w czasie rzeczywistym przez wykonawczego agenta AI.
Rolą wykonawczego agenta AI jest wykonywanie zadań i kroków, takich jak analiza obserwacji pod kątem oszustwa w tym przykładzie. Może on uzyskać dostęp do dodatkowego kontekstu, takiego jak historyczne dane transakcji i wzorce użytkowania karty kredytowej, za pomocą technik takich jak (Retrieval Augmented Generation - RAG). Może również wykorzystywać narzędzia do uzyskiwania dostępu do usług zewnętrznych, takich jak Google Maps API, w celu gromadzenia informacji o podróży i odległości dla lokalizacji, w których karta została użyta. Ponadto agent AI może wchodzić w interakcję z klientem za pośrednictwem aplikacji IT, wiadomości SMS, a nawet inicjować połączenie telefoniczne, aby pomóc w analizie.
Różne funkcjonalne bloki architektoniczne autonomicznego agenta AI.
Architektura agenta AI
Architektura funkcjonalna autonomicznego agenta AI
Agent AI jest oprogramowaniem, które można kupić i dostosować lub stworzyć od podstaw. Tworzenie agenta AI od podstaw wiąże się z tworzeniem warstwy abstrakcji do podstawowych interfejsów API modelu dla różnych przypadków użycia, od chatbotów po podstawy orkiestracji. Proces ten obejmuje tworzenie skalowalnej warstwy wykonawczej i integrowanie jej z istniejącymi bazami danych, zewnętrznymi interfejsami API i nowymi frameworkami.
Alternatywnie, można wykorzystać istniejący framework orkiestracji, który oferuje wiele istotnych funkcji do zarządzania i kontrolowania LLM. Ramy te upraszczają tworzenie i wdrażanie aplikacji opartych na LLM, zwiększając ich wydajność i niezawodność.
Dostępnych jest kilka frameworków orkiestracji, a LangChain i LlamaIndex to dwa z najbardziej znanych. LangChain jest wiodącym frameworkiem typu open-source zaprojektowanym, aby pomóc programistom w tworzeniu aplikacji opartych na modelach językowych, w szczególności dużych modelach językowych (LLM). LangChain usprawnia rozwój, zapewniając znormalizowane interfejsy do zarządzania monitami LLM i zewnętrznej integracji z magazynami wektorów i innymi narzędziami. Programiści mogą tworzyć aplikacje, łącząc wywołania LLM i integrując je z innymi narzędziami, poprawiając w ten sposób wydajność i użyteczność. Podstawową koncepcją LangChain jest to, że różne komponenty mogą być łączone ze sobą w celu opracowania bardziej zaawansowanych przypadków użycia otaczających LLM.
Kolejne dwa najbardziej obiecujące frameworki rozwoju agentów to Microsoft Autogen i crewAI. Microsoft AutoGen to platforma, która ułatwia tworzenie aplikacji opartych na dużych modelach językowych (LLM) poprzez wykorzystanie wielu agentów. Agenci ci mogą angażować się w iteracyjne konwersacje między sobą w celu wykonania zadań. Microsoft Autogen i crewAI oferują opcje dostosowywania, wspierają zaangażowanie człowieka i mogą działać w różnych trybach, które obejmują połączenie LLM, wywołań API i niestandardowego kodu.
Duże modele językowe (LLM)
Duże modele językowe (LLM) mają kluczowe znaczenie dla rozwoju agentów AI, działając jako podstawa przetwarzania i generowania języka naturalnego. Głównym celem włączenia dużych modeli językowych do agentów AI jest umożliwienie im skutecznego rozumienia i generowania ludzkiego języka. Pozwala to agentom AI interpretować zapytania użytkowników, wydobywać informacje z obszernych danych tekstowych i prowadzić angażujące rozmowy z użytkownikami. Duże modele językowe zapewniają agentom AI świadomość kontekstową, zapewniając, że odpowiedzi są nie tylko istotne, ale także spójne z trwającym dialogiem. W miarę ewolucji języka, LLM umożliwiają agentom AI uczenie się na podstawie nowych danych i dostosowywanie się do zmian, dzięki czemu ich odpowiedzi są aktualne.
Różne duże modele językowe (LLM) mogą być wykorzystywane w zależności od konkretnych potrzeb agenta AI. Modele ogólnego przeznaczenia, takie jak GPT-3 lub BERT, oferują wszechstronność i mogą być stosowane w różnych zadaniach, od chatbotów po generowanie treści. W przypadku bardziej wyspecjalizowanych zastosowań, takich jak pomoc prawna lub medyczna, specyficzne dla domeny modele LLM przeszkolone w zakresie odpowiednich danych mogą zapewnić bardziej precyzyjne i trafne odpowiedzi. Dodatkowo, organizacje mogą opracować spersonalizowane duże modele językowe dostosowane do ich unikalnych wymagań, szkoląc je na własnych danych.
Podsumowując, duże modele językowe odgrywają istotną rolę w budowaniu agentów AI, umożliwiając im rozumienie i generowanie ludzkiego języka, utrzymywanie kontekstu w rozmowach i dostosowywanie się do zmian językowych. Wybór dużego modelu językowego zależy od zamierzonego zastosowania agenta AI, z opcjami od ogólnego przeznaczenia do modeli specyficznych dla domeny i niestandardowych.
Narzędzia, aplikacje do tworzenia agentów AI
W architekturze agentów AI kluczowym elementem jest możliwość integracji z zewnętrznymi usługami i interfejsami API, powszechnie określanymi jako „narzędzia”. Narzędzia te rozszerzają możliwości agentów poza zwykłe przetwarzanie języka, umożliwiając im dostęp do dodatkowych danych i systemów w celu wykonywania szerszego zakresu zadań. Na przykład, agent może używać prostego narzędzia, takiego jak kalkulator do operacji numerycznych lub bardziej złożonego narzędzia, takiego jak API do interakcji z usługami zaplecza firmy.
Integracja narzędzi zapewnia agentom AI autonomię w wyborze najbardziej odpowiedniego zasobu dla danego zadania, niezależnie od tego, czy chodzi o pobieranie informacji, czy wykonywanie akcji. Ta elastyczność zwiększa skuteczność agenta AI w wykonywaniu zadań.
Ekosystem dostępnych narzędzi stale się rozwija, oferując różnorodne usługi publiczne i interfejsy API, z których mogą korzystać agenci AI. Dodatkowo, agenci AI mogą uzyskać dostęp do operacyjnych magazynów danych lub magazynów wektorowych w celu włączenia odpowiednich danych specyficznych dla domeny do ich przetwarzania. Na przykład agent AI może użyć narzędzia, które uzyskuje dostęp do magazynu wektorowego w celu pobrania dokumentacji produktu. Zamiast polegać wyłącznie na modelu językowym w celu uzyskania odpowiedzi na temat funkcji produktu lub próbek kodu, agent AI może wykonać zapytanie wyszukiwania wektorowego w oparciu o własną bazę wiedzy, aby zapewnić dokładniejszą odpowiedź.
Pamięć i kontekst
Agenci AI, ze względu na swój charakter, nie zachowują stanu, a zatem wymagają mechanizmu przechowywania informacji, co wymaga zarówno warstw pamięci krótkoterminowej, jak i długoterminowej. Rozważmy przykład agenta AI, który tworzy kod informatyczny; bez pamięci nie może on przypomnieć sobie swoich poprzednich działań. Dlatego też, gdyby zadano mu to samo pytanie, niezmiennie zacząłby od zera, ponownie przetwarzając całą sekwencję zadań. Wdrożenie funkcji pamięci w agencie AI staje się kluczowe w tym kontekście.
Ponieważ pamięć ma potencjał do szybkiego rozszerzenia się do ogromnego zbioru danych, wyobraź sobie, że jest to strumień pamięci wypełniony licznymi obserwacjami związanymi z bieżącym kontekstem agenta AI, takimi jak dzienniki pytań, odpowiedzi i interakcji w środowiskach wielu użytkowników. Wykorzystanie wyszukiwania wektorowego do wyszukiwania, obsługiwanego przez magazyn wektorowy o niskim opóźnieniu i wysokiej wydajności staje się skutecznym rozwiązaniem. Takie podejście zapewnia agentowi AI szybki dostęp do istotnych informacji, zwiększając jego zdolność do odpowiadania na zapytania i skuteczniejszego wykonywania zadań.
Aby agent AI mógł skutecznie działać lub rozumieć specyficzny kontekst domeny, taki jak produkty, branża lub wiedza przedsiębiorstwa, nie można polegać wyłącznie na gotowym dużym modelu językowym (LLM).
Nie musi to oznaczać konieczności trenowania własnego modelu językowego od podstaw. Jednak istniejący wstępnie wytrenowany model językowy może wymagać dostrojenia w celu dostosowania do kontekstu domeny lub może wymagać uzupełnienia o ten kontekst przy użyciu technik takich jak Retrieval Augmented Generation (RAG). Często połączenie dostrajania i RAG jest skuteczne, szczególnie w scenariuszach z rygorystycznymi wymogami dotyczącymi prywatności danych. Na przykład, możesz chcieć uniknąć przechowywania wrażliwej własności intelektualnej firmy lub danych osobowych klientów bezpośrednio w modelach.
Ponadto, gdy często dodawane są nowe dane kontekstowe lub gdy istnieje potrzeba optymalizacji wskaźników wydajności, takich jak opóźnienie i przepustowość, lub zminimalizowania kosztów związanych z wywoływaniem modelu, wstrzykiwanie danych za pośrednictwem RAG staje się preferowaną metodą. Podejście to integruje model wyszukiwania z bazą wiedzy z dużym modelem językowym LLM poprzez przestrzeń podpowiedzi wejściowych, zapewniając kontekst, który nie został uwzględniony w początkowym korpusie szkoleniowym modelu.