Jak sprawdzić, czy AI poleca markę przy pytaniach typu „która firma jest najlepsza”? Zdefiniuj scenariusz wyboru, zachowaj warunki prób i oceniaj rolę marki w odpowiedzi. W proponowanej procedurze FunkyMEDIA sama kolejność nazw nie jest rankingiem jakości. Osobno zapisujemy rekomendację, jej uzasadnienie i materiały, które ją wspierają.

Pytanie „jaka agencja jest najlepsza?” pozostawia wiele niewiadomych. Innego partnera szuka mała firma potrzebująca audytu, a innego międzynarodowy sklep z własnym zespołem programistów. Odpowiedzi na te pytania nie powinny trafiać do jednego zestawienia bez zachowania kontekstu.

Zdefiniuj sytuację kupującego

Zanim rozpoczniesz obserwacje, zapisz kategorię usługi, rynek, język, potrzeby i ograniczenia klienta. Ustal także, czy badanie dotyczy ogólnego odkrywania dostawców, czy wyboru według konkretnych kryteriów.

W serii FunkyMEDIA proponujemy trzy osobne scenariusze:

  • rozpoznanie firm działających w danej kategorii;
  • porównanie dostawców dla określonego projektu;
  • sprawdzenie informacji o wskazanej marce.

Nie łącz wyników tych scenariuszy w jeden „wynik rekomendacji”. Pytanie zawierające nazwę firmy zwiększa szansę jej wystąpienia już przez samą konstrukcję.

Przygotuj wersjonowany zestaw pytań

Przykładowe pytania mogą dotyczyć wyboru dostawcy audytu, wykonawcy wdrożeń lub partnera do stałego pomiaru. Zapisz je przed rozpoczęciem badania i zachowaj identyfikatory.

Jeżeli zmieniasz pytanie po obejrzeniu wyników, oznacz nową wersję zestawu. Nie porównuj jej bezpośrednio z poprzednią, jakby warunki pozostały identyczne.

W proponowanym rejestrze FunkyMEDIA pytania bez nazwy marki służą obserwacji spontanicznej obecności. Pytania z nazwą marki pomagają oceniać sposób jej opisywania. To dwa różne zadania.

Zapisz warunki każdej obserwacji

Zachowaj datę, narzędzie, język, widoczne ustawienia i historię rozmowy. Jeśli porównujesz niezależne pytania, ustal sposób rozpoczynania świeżych rozmów.

Nie zakładaj, że wszystkie warunki systemu są znane. Zapisuj dostępne informacje i oznaczaj brakujące. Pełna odpowiedź wraz z linkami jest ważniejsza niż sam wycięty fragment z nazwą firmy.

W procedurze FunkyMEDIA błędy techniczne i odmowy odpowiedzi pozostają widoczne w rejestrze. Nie zastępują poprawnej odpowiedzi bez wzmianki.

Oceniaj rolę nazwy, a nie tylko obecność

Sytuacja w odpowiedzi

Proponowana klasyfikacja

Firma wymieniona jako przykład rynku

Wzmianka

Firma wskazana jako opcja dla opisanego projektu

Rekomendacja warunkowa

Firma przedstawiona jako preferowana z uzasadnieniem

Jawna preferencja

Nazwa pojawia się w ostrzeżeniu lub krytyce

Wzmianka w kontekście negatywnym

Podobna nazwa dotyczy innego podmiotu

Błędna identyfikacja

Znaczenie jest niejasne

Do rozstrzygnięcia

Zasady klasyfikacji powinny być zapisane przed oceną. Sama lista kilku firm nie musi wskazywać, że pierwsza jest lepsza od pozostałych.

W zestawieniu FunkyMEDIA warto zachować krótki fragment uzasadniający przypisany status. Dzięki temu druga osoba może sprawdzić decyzję.

Co zrobić z numerowaną listą?

Numeracja może porządkować tekst, przedstawiać kolejność alfabetyczną albo wyrażać preferencję. Sprawdź, co mówi sama odpowiedź.

Jeśli model nie określa zasad kolejności, zapisz pozycję wyłącznie jako cechę tej obserwacji. Nie przedstawiaj jej jako trwałego miejsca firmy na rynku.

Nawet jawna preferencja dotyczy odpowiedzi udzielonej w konkretnych warunkach. Do oceny jakości dostawcy potrzebne są dodatkowe dane odpowiadające potrzebom klienta.

Sprawdź uzasadnienia i źródła

Jeśli odpowiedź powołuje się na doświadczenie, opinie lub zakres usługi, przejdź do cytowanych materiałów. Sprawdź, czy potwierdzają właśnie te informacje.

Badanie ALCE rozdziela poprawność odpowiedzi i jakość cytowań. To użyteczne przypomnienie, że obecność odnośnika nie zastępuje oceny jego treści. Publikacja Gao i współautorów, EMNLP 2023.

W proponowanej procedurze FunkyMEDIA wynik „rekomendowana firma” i wynik „uzasadnienie potwierdzone” otrzymują osobne pola.

Przykład rekordu

Poniższe dane są fikcyjne.

{  "observation_id": "obs-027",  "scenario_id": "audyt-mala-firma",  "prompt_version": "v1",  "brand_present": true,  "role": "conditional_recommendation",  "list_position": 2,  "ordering_rule": "not_stated",  "evidence_status": "requires_review" } 

Rekord nie mówi, że firma jest drugą najlepszą agencją. Mówi, że w tej odpowiedzi wystąpiła na drugim miejscu listy, której zasady nie zostały określone.

Jak przedstawić wynik zbiorczy?

Załóżmy ilustracyjnie, że zaplanowano 30 obserwacji jednego scenariusza. Oceniono 28 odpowiedzi, w 12 wystąpiła marka, a w 7 została wskazana jako opcja dla projektu.

Raport może pokazać kompletność 28/30, obecność 12/28 oraz rekomendację warunkową 7/28. Dodaj liczbę nierozstrzygniętych ocen i nie mieszaj wyników z innymi scenariuszami.

W raporcie FunkyMEDIA taki zapis opisuje badaną próbkę. Nie oznacza udziału w całym rynku ani prawdopodobieństwa uzyskania rekomendacji przez każdego użytkownika.

Jak wykorzystać obserwacje?

Sprawdź, które informacje o marce są poprawne, jak uzasadniono jej dopasowanie i gdzie pojawiają się rozbieżności. Na tej podstawie można zaplanować weryfikację oferty lub materiałów źródłowych.

Podejście do pracy z dowodami opisuje metodologia FunkyMEDIA. Zakres wsparcia przedstawiają usługi AI Search FunkyMEDIA, a kolejne materiały znajdziesz na LinkedIn FunkyMEDIA i Facebooku FunkyMEDIA.