Nowy raport: RAG na danych firmowych – co AI naprawdę potrafi na Twoich dokumentach
O czym jest raport
Dwie obawy najczęściej powstrzymują firmy przed wpuszczeniem AI na własne dane: przekonanie, że model „wszystko zmyśla", oraz strach o wyciek poufnych informacji. Oba są uzasadnione — i oba mają dziś konkretną, techniczną odpowiedź. Tą odpowiedzią jest RAG (Retrieval-Augmented Generation): architektura, w której model odpowiada nie z „wiedzy z internetu", lecz wyłącznie na podstawie wskazanych, firmowych dokumentów — z możliwością sprawdzenia źródła każdej odpowiedzi.
Żeby nie poprzestać na deklaracjach, zbudowaliśmy realny system RAG i przetestowaliśmy go na danych fikcyjnej firmy budowlanej „Smart-Bud". Zadaliśmy mu 12 pytań o różnym stopniu trudności i sprawdziliśmy, jak radzą sobie z nimi różne modele — lokalne i chmurowe — oraz różne strategie wyszukiwania. Łącznie wykonaliśmy 294 pomiary. Nowy raport AGIDOT przedstawia ich wyniki i płynące z nich wnioski.
Smaczek z raportu: rozmiar nie decyduje
Skoro model RAG może działać w całości lokalnie (bez wysyłania danych na zewnątrz), pojawia się bardzo praktyczne pytanie: który model wybrać? Intuicja podpowiada „największy, na jaki nas stać". Nasze testy pokazują, że to intuicja myląca.
Przepuściliśmy te same 12 pytań przez 10 różnych modeli open-weight (do ok. 24B parametrów — czyli takich, które realnie uruchomisz na własnym sprzęcie). Wyniki układają się wbrew intuicji o rozmiarze:
Trzy rzeczy, które widać na pierwszy rzut oka:
- Największy model w stawce (24B) zajął dopiero 5. miejsce (75%), przegrywając z mniejszymi modelami 8B, 12B i 14B.
- Dwa modele tej samej wielkości (8B) dzieli przepaść — 96% kontra 58%. O jakości decyduje rodzina modelu i sposób treningu, a nie liczba parametrów.
- Nawet model 3B osiąga 50% — wystarcza do prostych wyszukań, choć zawodzi w rozumowaniu.
Wniosek dla firmy jest praktyczny i oszczędny: nie trzeba kupować najcięższego sprzętu. Trzeba dobrać właściwy model — a najlepiej zmierzyć go na własnych danych, bo modele open-weight zmieniają się co kilka tygodni i ogólne rankingi szybko się dezaktualizują.
Co jeszcze znajdziesz w środku
- Czym RAG różni się od zwykłego chatbota i dlaczego to różnica fundamentalna, a nie kosmetyczna.
- Obrona przed halucynacją — jak, warstwami, ograniczyć zmyślanie, poparte wynikami testów.
- Modele lokalne — czy własna infrastruktura wystarcza i który model wybrać na start.
- Duże pliki — co robić, gdy dokument ma tysiące stron, a szukany fakt pojawia się w nim tylko raz.
- Metodyka i granice — jak dokładnie testowaliśmy oraz gdzie RAG jeszcze dziś zawodzi.
Pełny raport – za darmo w newsletterze
Pełny raport „RAG na danych firmowych" udostępniamy bezpłatnie subskrybentom naszego newslettera. Znajdziesz w nim wszystkie 294 pomiary, komplet wykresów, rekomendacje doboru modelu oraz część techniczną dla zespołów IT.
Chcesz go dostać? Zapisz się do newslettera — a jeśli myślisz o wdrożeniu RAG na własnych dokumentach, napisz do nas i pokażemy, jak to działa w praktyce.