Koniec magii? AI nie radzi sobie z prostą logiką sudoku

Naukowcy ustalili, że liczbowym łamigłówkom, takim jak sudoku, sztuczna inteligencja (AI) wciąż nie daje w pełni rady. Jeszcze gorzej idzie jej uzasadnianie kroków prowadzących do rozwiązania.

Łamigłówki liczbowe to rozrywka znana od tysiącleci: pierwsze powstały w starożytnych Chinach, a w prasie zaczęto je publikować pod koniec XIX w. Około 20 lat temu globalną popularność zdobyło sudoku — po raz pierwszy wydrukowane w 1986 r. w japońskim piśmie „Nicoli”. Dziś gra ma miliony fanów; same aplikacje mobilne w różnych wersjach pobrano ok. 200 mln razy.

W klasycznym sudoku uzupełnia się puste pola na planszy 9×9 cyframi od 1 do 9 tak, by w każdym wierszu, kolumnie i w każdym z dziewięciu kwadratów 3×3 żadna cyfra się nie powtarzała. W 2005 r. matematycy z Uniwersytetu w Sheffield wyliczyli, że istnieje ok. 6 tryliardów (6 × 10^21) poprawnych plansz. Popularne są też warianty, np. siatka 6×6 z cyframi 1–6.

Mimo ogromnych postępów AI w analizie danych, generowaniu tekstów, obrazów i filmów czy tłumaczeniach, zadania wymagające ścisłego, krok-po-kroku rozumowania pozostają dla niej trudne. Potwierdza to praca badaczy z Uniwersytetu Kolorado w Boulder, opublikowana w „Antologii ACL” (zbiorze ponad 110 tys. publikacji Stowarzyszenia Lingwistyki Komputerowej).

Jak tłumaczy główny autor, informatyk i ekspert uczenia maszynowego Anirudh Maiya, skuteczne rozwiązywanie sudoku wymaga metodycznego działania: konsekwentnego stosowania zasad i ciągłej, iteracyjnej oceny możliwych wpisów. To, zdaniem badaczy, czyni sudoku doskonałym „mikrokosmosem” do badania podejmowania decyzji przez modele.

Zespół Maiyi przygotował 2300 plansz 6×6 o zróżnicowanej trudności i zlecił ich rozwiązanie kilku dużym modelom językowym (LLM), m.in. o1, Llama-3.1, Gemma-2 i Mistral. Dla większości modeli zadanie okazało się za trudne — łącznie rozwiązały zaledwie ok. 0,4 proc. plansz, co badacze wiążą z tym, że LLM-y nie rozumują logicznie, lecz przewidują kolejne symbole na podstawie prawdopodobieństwa. Najlepiej wypadł model o1, osiągając ok. 65 proc. skuteczności, jednak wraz ze wzrostem trudności także jego wyniki spadały.

Jeszcze gorzej było z wyjaśnianiem rozwiązań. Gdy poproszono modele o uzasadnienie wpisów, poprawne wytłumaczenia pojawiały się jedynie w ok. 5 proc. przypadków. Często odpowiedzi były nieprecyzyjne lub błędne — np. stwierdzały, że „tu nie może być dwójki, bo w wierszu już jest dwójka”, choć w rzeczywistości jej nie było. Zdarzały się też zupełnie chybione reakcje: w jednej z rozmów model nagle… podał prognozę pogody.

Wnioski autorów są jednoznaczne: mimo imponujących osiągnięć, na AI nie można w pełni polegać w zadaniach wymagających ścisłego, regułowego rozumowania. Jak podsumowuje Anirudh Maiya, wiele mówi się o „nowych umiejętnościach” modeli, ale w szeregu zadań nadal radzą sobie one słabo.

red./PAP