Поединок разумов

В недавнем эксперименте ChatGPT, мощная языковая модель, проиграла в шахматной партии консоли Atari 2600, на которой была запущена простая шахматная программа 1977 года. ChatGPT разработан для выполнения задач, связанных с языком и его игра в шахматы оказалась значительно слабее по сравнению со старой, но специализированной программой. 

Для контекста стоит привести технические характеристики консоли Atari 2600:

• MOS Technology 6507, 8-битный
• Тактовая частота: 1.19 МГц
• Ограниченная версия популярного процессора MOS 6502

• Чип: TIA (Television Interface Adapter)
• Разрешение: примерно 160 x 192 пикселей (в реальности — ниже, из-за чересстрочной развертки и ограничений NTSC)
• Цветов: 128 возможных оттенков, но на экране может быть показано только 4 цвета на строку без хака
• Нет видеопамяти — изображение формируется в реальном времени, по строкам, процессором

• Встроенная RAM: 128 байт
• Программы (игры) загружались с картриджей (обычно от 2 КБ до 4 КБ, позже — до 32 КБ с банкингом)
• Ни ПЗУ, ни энергонезависимой памяти внутри самой консоли нет

Инженер Роберт Карузо организовал шахматную партию между ChatGPT и шахматной программой Atari 2600. Целью было проверить, насколько хорошо ChatGPT, известный своей способностью понимать и генерировать человекоподобный текст, справится с шахматной партией.

Модель испытывала сложности с базовыми шахматными понятиями: путала ладьи и слонов, не замечала простейших вилок пешками и постоянно теряла отслеживание своих фигур. Также ей было сложно интерпретировать абстрактное визуальное представление фигур в шахматной игре Atari.

Шахматная программа на Atari 2600, несмотря на простоту и возраст, оказалась серьёзным соперником. Она уверенно выполняла базовые ходы и стратегические приёмы, которые ChatGPT не смог воспроизвести.

Эксперимент демонстрирует, что даже мощные ИИ-модели вроде ChatGPT не являются универсальными решателями задач. Они обучаются для выполнения конкретных функций, и при попытке решать задачи вне их обучающего контекста могут проигрывать даже простым, но специализированным системам.

Это весьма показательный эксперимент, который разрушает распространённый миф о том, что большие языковые модели являются универсальными «искусственными интеллектами». ChatGPT — это в первую очередь инструмент для работы с языком, и его "понимание" шахмат (и не только шахмат) носит поверхностный, вероятностно-лексический характер, а не стратегический или позиционный.

Программа Atari, пусть и примитивная, была написана для одной-единственной цели — играть в шахматы. Её логика — алгоритмична и эффективна в узком контексте. А ChatGPT не «думает» о шахматах как игрок: он оперирует последовательностями текста, не имея встроенного представления о доске, фигурах или правилах. 

Эксперимент подчёркивает: "общий интеллект" пока что не достигнут. Современные ИИ — это мощные узкоспециализированные инструменты, но далеко не универсальные разумные агенты. И это напоминает нам, как важно не переоценивать сегодняшнее состояние и потенциал LLM — особенно в задачах, требующих чёткого моделирования мира, пространственных или логических рассуждений.

Источники:
https://futurism.com/atari-beats-chatgpt-chess

https://www.techspot.com/news/108248-chatgpt-gets-crushed-chess-1-mhz-atari-2600.html