Nowy raport: RAG na danych firmowych – co AI naprawdę potrafi na Twoich dokumentach

O czym jest raport

Dwie obawy najczęściej powstrzymują firmy przed wpuszczeniem AI na własne dane: przekonanie, że model „wszystko zmyśla", oraz strach o wyciek poufnych informacji. Oba są uzasadnione — i oba mają dziś konkretną, techniczną odpowiedź. Tą odpowiedzią jest RAG (Retrieval-Augmented Generation): architektura, w której model odpowiada nie z „wiedzy z internetu", lecz wyłącznie na podstawie wskazanych, firmowych dokumentów — z możliwością sprawdzenia źródła każdej odpowiedzi.

Żeby nie poprzestać na deklaracjach, zbudowaliśmy realny system RAG i przetestowaliśmy go na danych fikcyjnej firmy budowlanej „Smart-Bud". Zadaliśmy mu 12 pytań o różnym stopniu trudności i sprawdziliśmy, jak radzą sobie z nimi różne modele — lokalne i chmurowe — oraz różne strategie wyszukiwania. Łącznie wykonaliśmy 294 pomiary. Nowy raport AGIDOT przedstawia ich wyniki i płynące z nich wnioski.

Pobierz pełny raport

Raport jest teraz dostępny bezpłatnie dla wszystkich. Osoby zapisane do newslettera dostają go 2 tygodnie wcześniej niż premiera publiczna.

Pobierz PDF raportu „RAG na danych firmowych"

Smaczek z raportu: rozmiar nie decyduje

Skoro model RAG może działać w całości lokalnie (bez wysyłania danych na zewnątrz), pojawia się bardzo praktyczne pytanie: który model wybrać? Intuicja podpowiada „największy, na jaki nas stać". Nasze testy pokazują, że to intuicja myląca.

Przepuściliśmy te same 12 pytań przez 10 różnych modeli open-weight (do ok. 24B parametrów — czyli takich, które realnie uruchomisz na własnym sprzęcie). Wyniki układają się wbrew intuicji o rozmiarze:

Trzy rzeczy, które widać na pierwszy rzut oka:

• Największy model w stawce (24B) zajął dopiero 5. miejsce (75%), przegrywając z mniejszymi modelami 8B, 12B i 14B.
• Dwa modele tej samej wielkości (8B) dzieli przepaść — 96% kontra 58%. O jakości decyduje rodzina modelu i sposób treningu, a nie liczba parametrów.
• Nawet model 3B osiąga 50% — wystarcza do prostych wyszukań, choć zawodzi w rozumowaniu.

Wniosek dla firmy jest praktyczny i oszczędny: nie trzeba kupować najcięższego sprzętu. Trzeba dobrać właściwy model — a najlepiej zmierzyć go na własnych danych, bo modele open-weight zmieniają się co kilka tygodni i ogólne rankingi szybko się dezaktualizują.

Co jeszcze znajdziesz w środku

• Czym RAG różni się od zwykłego chatbota i dlaczego to różnica fundamentalna, a nie kosmetyczna.
• Obrona przed halucynacją — jak, warstwami, ograniczyć zmyślanie, poparte wynikami testów.
• Modele lokalne — czy własna infrastruktura wystarcza i który model wybrać na start.
• Duże pliki — co robić, gdy dokument ma tysiące stron, a szukany fakt pojawia się w nim tylko raz.
• Metodyka i granice — jak dokładnie testowaliśmy oraz gdzie RAG jeszcze dziś zawodzi.

Chcesz dostawać kolejne raporty wcześniej?

Pełny raport „RAG na danych firmowych" - ze wszystkimi 294 pomiarami, kompletem wykresów, rekomendacjami doboru modelu oraz częścią techniczną dla zespołów IT - jest teraz dostępny bezpłatnie dla wszystkich.

Zapisz się do newslettera, żeby dostawać kolejne raporty 2 tygodnie przed premierą publiczną - a jeśli myślisz o wdrożeniu RAG na własnych dokumentach, napisz do nas i pokażemy, jak to działa w praktyce.