Głębokie uczenie przez wzmacnianie. Praca z chatbotami oraz robotyka, optymalizacja dyskretna i automatyzacja sieciowa w praktyce. Wydanie II

Głębokie uczenie przez wzmacnianie. Praca z chatbotami oraz robotyka, optymalizacja dyskretna i automatyzacja sieciowa w praktyce. Wydanie II

Autor: Maxim Lapan
Tytuł Oryginału: Deep Reinforcement Learning Hands-On: Apply modern RL methods to practical problems of chatbots, robotics, discrete optimization, web automation, and more, 2nd Edition
Tłumaczenie: Jacek Janusz
ISBN: 978-83-283-8052-3
Liczba stron: 720
Format: 168x237
Oprawa: miękka

Głębokie uczenie przez wzmacnianie rozwija się bardzo dynamicznie. Dziedzinę tę charakteryzuje niewyczerpany potencjał rozwiązywania trudnych problemów. Zajmuje się tym co najmniej kilka grup badawczych, koncentrujących się na wdrażaniu głębokiego uczenia przez wzmacnianie w różnych branżach. Niestety, opisy najnowszych osiągnięć są trudne do zrozumienia i zbyt abstrakcyjne, aby można było je łatwo zastosować w praktycznych implementacjach, a przecież poprawne działanie aplikacji jest uwarunkowane gruntownym zrozumieniem problemu przez projektanta.

To zaktualizowane i rozszerzone wydanie bestsellerowego przewodnika po najnowszych narzędziach i metodach związanych z uczeniem przez wzmacnianie. Zawiera wprowadzenie do teorii uczenia przez wzmacnianie, a także wyjaśnia praktyczne sposoby kodowania samouczących się agentów w celu rozwiązywania praktycznych zadań. W tym wydaniu dodano sześć nowych rozdziałów poświęconych takim osiągnięciom technologii jak dyskretna optymalizacja, metody wieloagentowe, środowisko Microsoft TextWorld czy zaawansowane techniki eksploracji. Opisano również inne zagadnienia, między innymi głębokie sieci Q, gradienty polityk, sterowanie ciągłe i wysoce skalowalne metody bezgradientowe. Poszczególne kwestie zostały zilustrowane kodem wraz z opisem szczegółów implementacji.

W książce między innymi:

• związki między uczeniem przez wzmacnianie a głębokim uczeniem
• różne metody uczenia przez wzmacnianie, w tym entropia krzyżowa, sieć DQN, a także algorytmy: aktor-krytyk, TRPO, PPO, DDPG, D4PG i inne
• praktyczne zastosowanie dyskretnej optymalizacji w celu rozwiązania problemu kostki Rubika
• trenowanie agentów przy użyciu oprogramowania AlphaGo Zero
• chatboty oparte na sztucznej inteligencji
• zaawansowane techniki eksploracyjne, w tym metody destylacji sieci

Witaj, świecie prawdziwej sztucznej inteligencji!

Tytuły rozdziałów:

1. Czym jest uczenie przez wzmacnianie
2. Zestaw narzędzi OpenAI Gym
3. Uczenie głębokie przy użyciu biblioteki PyTorch
4. Metoda entropii krzyżowej
5. Uczenie tabelaryczne i równanie Bellmana
6. Głębokie sieci Q
7. Biblioteki wyższego poziomu uczenia przez wzmacnianie
8. Rozszerzenia sieci DQN
9. Sposoby przyspieszania metod uczenia przez wzmacnianie
10. Inwestowanie na giełdzie za pomocą metod uczenia przez wzmacnianie
11. Alternatywa - gradienty polityki
12. Metoda aktor-krytyk
13. Asynchroniczna wersja metody aktor-krytyk
14. Trenowanie chatbotów z wykorzystaniem uczenia przez wzmacnianie
15. Środowisko TextWorld
16. Nawigacja w sieci
17. Ciągła przestrzeń akcji
18. Metody uczenia przez wzmacnianie w robotyce
19. Regiony zaufania - PPO, TRPO, ACKTR i SAC
20. Optymalizacja typu "czarna skrzynka" w przypadku uczenia przez wzmacnianie
21. Zaawansowana eksploracja
22. Alternatywa dla metody bezmodelowej - agent wspomagany wyobraźnią
23. AlphaGo Zero
24. Użycie metod uczenia przez wzmacnianie w optymalizacji dyskretnej
25. Metoda wieloagentowa