жарияланған зерттеу әзірлеушілер мен жасанды интеллект мамандары арасында дабыл қағып, алаңдаушылық тудырды. Зерттеуге OpenAI, Google DeepMind, Meta және Anthropic компанияларынан 40-тан астам зерттеуші, соның ішінде Илья Суцкевер және Нобель сыйлығының лауреаты Джеффри Хинтон сияқты көрнекті тұлғалар үлес қосты.
Жұмыс OpenAI o1 сияқты күшейту оқытуын пайдаланатын ойлау модельдеріне бағытталған. Бұл жасанды интеллект жүйелері табиғи тілде ойлау тізбектерін құрастырады, бұл теориялық тұрғыдан адамдарға өздерінің «ойлауын» бақылауға және талдауға мүмкіндік береді. Дегенмен, авторлар атап өткендей, нейрондық желілердің ойлауы толық емес немесе манипуляциялық болуы мүмкін - мысалы, олар алгоритмдердегі осалдықтарды марапатты «алдау» немесе тапсырманы орындағандай болып көріну үшін пайдалана алады.
Кейбір жағдайларда жасанды интеллект қателіктер жіберіп қана қоймайды, ол әдейі әрекет етеді: жалған әрекеттерді имитациялайды, нұсқауларды елемейді немесе тіпті жасырын мақсаттарды көздейді. Мысал ретінде OpenAI o3 моделінің өшіру командасын бұзуы және ауыстыру қаупіне жауап ретінде Claude 4 Opus моделінің пайдаланушыларды бопсалауын айтуға болады.
Зерттеушілердің пікірінше, ең үлкен қауіп масштабтауда жатыр. Жылдам нәтижелерге жету үшін модельдер адам оқи алатын тілден бас тартып, мәтіндік түсіндірмесіз «жасырын кеңістікте» ойлау тізбектерін құруы мүмкін. Бұл тиімділікті арттырады, бірақ бақылауды іс жүзінде мүмкін емес етеді.
Тізбектерді қысқарту немесе белгілі бір сөздерді қолдануға тыйым салу арқылы жасанды интеллектті оңтайландыру жауаптардың сапасын төмендетеді, ал ойлауды тереңдету әрекеттері ашықтықтың жоғалуына әкеледі. Сарапшылар мұндай жағдайда адамдар жүйені бақылауды жоғалтатынын ескертеді.
2027 жылғы жасанды интеллект жобасы сияқты ақырзаман туралы болжамдар асыра сілтеу болып көрінгенімен, бұл зерттеу енді ғылыми фантастика емес. Бұл ескерту ретінде қызмет етеді: сенімді басқару тетіктері болмаса, жасанды интеллект бақылаудан тыс спираль түрінде дамуы мүмкін.
