Nvidia przedstawia technologi─Ö konwersacji AI dla inteligentniejszych bot├│w

Ta strona może zarabiać prowizje partnerskie z linków na tej stronie. Warunki korzystania. Jen-Hsun Huang z Nvidii ogłasza DGX-1 na GTC 2016

Teraz, gdy prawie ka┼╝de mo┼╝liwe urz─ůdzenie mobilne i urz─ůdzenie przyj─Ö┼éo lub przynajmniej eksperymentowa┼éo ze sterowaniem g┼éosowym, konwersacyjna sztuczna inteligencja szybko staje si─Ö now─ů granic─ů. Zamiast obs┼éugi jednego zapytania i podania jednej odpowiedzi lub akcji, konwersacyjna sztuczna inteligencja ma na celu zapewnienie interaktywnego systemu w czasie rzeczywistym, kt├│ry mo┼╝e obejmowa─ç wiele pyta┼ä, odpowiedzi i komentarzy. Podczas gdy podstawowe elementy konstrukcyjne konwersacyjnej sztucznej inteligencji, takie jak BERT i RoBERTa do modelowania j─Özyka, s─ů podobne do tych do rozpoznawania mowy za jednym razem, koncepcja zawiera dodatkowe wymagania dotycz─ůce wydajno┼Ťci w zakresie szkolenia, wnioskowania i wielko┼Ťci modelu. Dzisiaj Nvidia wypu┼Ťci┼éa na rynek trzy technologie zaprojektowane w celu rozwi─ůzania tych problem├│w.

Szybsze szkolenie BERT

Nvidia DGX SuperPODPodczas gdy w wielu przypadkach mo┼╝liwe jest zastosowanie wst─Öpnie wyszkolonego modelu j─Özykowego do nowych zada┼ä z niewielkim dostrajaniem, konieczne jest jednak optymalne wykonanie w okre┼Ťlonym kontek┼Ťcie. Nvidia wykaza┼éa, ┼╝e ÔÇőÔÇőmo┼╝e teraz trenowa─ç BERT (model j─Özyka referencyjnego Google) w nieca┼é─ů godzin─Ö na DGX SuperPOD sk┼éadaj─ůcym si─Ö z 1472 procesor├│w graficznych Tesla V100-SXM3-32GB, 92 serwer├│w DGX-2H i 10 Mellanox Infiniband na w─Öze┼é. Nie, nie chc─Ö nawet pr├│bowa─ç oszacowa─ç, ile wynosi jeden czynsz za godzin─Ö. Poniewa┼╝ jednak takie modele zwykle trenowa┼éy nawet na wysokiej klasy klastrach GPU, z pewno┼Ťci─ů pomo┼╝e to w wprowadzeniu produktu na rynek dla firm, kt├│re mog─ů sobie na to pozwoli─ç.

Szybsze wnioskowanie o modelu j─Özykowym

W przypadku naturalnych rozm├│w testem bran┼╝owym jest czas reakcji 10 ms. Zrozumienie zapytania i zaproponowanie sugerowanej odpowiedzi to tylko cz─Ö┼Ť─ç procesu, wi─Öc musi zaj─ů─ç mniej ni┼╝ 10 ms. Dzi─Öki optymalizacji BERT za pomoc─ů TensorRT 5.1, Nvidia ma wnioskowanie w 2,2 ms na Nvidia T4. Fajne jest to, ┼╝e T4 jest w zasi─Ögu prawie ka┼╝dego powa┼╝nego projektu. U┼╝y┼éem ich w Google Compute Cloud do mojego systemu generowania tekstu. Serwer wirtualny 4-vCPU z T4 wynaj─Ötym za nieco ponad 1 $ / godzin─Ö, kiedy wykona┼éem projekt.

Obsługa nawet większych modeli

Szybsze wnioskowanie jest potrzebne do konwersacyjnej sztucznej inteligencjiJednym z pi─Öter achillesowych sieci neuronowych jest wym├│g, aby wszystkie parametry modelu (w tym du┼╝a liczba wag) musia┼éy by─ç jednocze┼Ťnie w pami─Öci. Ogranicza to z┼éo┼╝ono┼Ť─ç modelu, kt├│ry mo┼╝na trenowa─ç na GPU, do wielko┼Ťci jego pami─Öci RAM. W moim przypadku, na przyk┼éad, m├│j komputer stacjonarny Nvidia GTX 1080SEEAMAZON_ET_135 Zobacz Amazon ET commerce mo┼╝e trenowa─ç tylko modele pasuj─ůce do jego 8 GB. Mog─Ö trenowa─ç wi─Öksze modele na moim procesorze, kt├│ry ma wi─Öcej pami─Öci RAM, ale zajmuje to znacznie wi─Öcej czasu. Pe┼ény model j─Özykowy GPT-2 ma na przyk┼éad 1,5 miliarda parametr├│w, a wersja rozszerzona ma 8,3 miliarda.

Nvidia wymy┼Ťli┼éa jednak spos├│b na umo┼╝liwienie wielu procesorom graficznym r├│wnoleg┼éej pracy nad zadaniem modelowania j─Özyka. Podobnie jak w przypadku innych dzisiejszych og┼éosze┼ä, udost─Öpnili kod ┼║r├│d┼éowy, aby tak si─Ö sta┼éo. B─Öd─Ö naprawd─Ö ciekawy, czy technika ta jest specyficzna dla modeli j─Özykowych, czy mo┼╝e by─ç zastosowana, aby umo┼╝liwi─ç szkolenie z wykorzystaniem wielu GPU dla innych klas sieci neuronowych.

Wraz z tymi zmianami i wydaniem kodu na GitHub, Nvidia og┼éosi┼éa, ┼╝e ÔÇőÔÇőb─Ödzie wsp├│┼épracowa─ç z Microsoftem w celu poprawy wynik├│w wyszukiwania Bing, a tak┼╝e z Clinc na agentach g┼éosowych, Passage AI na chatbotach i RecordSure na temat analityki konwersacyjnej.

Teraz przeczytaj: