2022: ИИ-системы Tencent и Alibaba понимают речь на китайском лучше людей
28 ноября 2022 года были обнародованы результаты тестирования языковых моделей компаний Tencent и Alibaba Group на основе искусственного интеллекта (ИИ). Как сообщается, умные алгоритмы способны понимать китайский язык лучше, чем это делают люди.
Речь идёт об оценке возможностей ИИ по методике CLUE (Chinese Language Understanding Evaluation — оценка понимания китайского языка). Тесты показали, что конкурирующие модели Hunyuan разработки Tencent и AliceMind разработки Alibaba в ряде задач впервые набрали больше баллов, нежели обычные граждане. Так, система Hunyuan показала результат в 86,918 балла. На втором месте с незначительным отставанием находится AliceMind — 86,685 балла. Для сравнения: люди в среднем получают оценку в 86,678 балла. На четвёртой и пятой позициях в рейтинге расположились ИИ-системы производителя смартфонов Oppo и компании по доставке продуктов Meituan.
Эксперты говорят, что полученные результаты свидетельствуют о качественно новом уровне развития языковых моделей на основе ИИ. К примеру, ранее в 2022 году китайский интернет-гигант Baidu сообщил, что его бот Du Xiaoxiao написал статью, которая набрала больше баллов, чем работы большинства абитуриентов, сдававших всекитайские государственные вступительные экзамены в вузы (гаокао).
С другой стороны, исследователи подчёркивают, что большинству моделей ИИ ещё предстоит пройти долгий путь, прежде чем они смогут по-настоящему понимать тонкости языков. В 2021 году учёные из Алабамского политехнического института (США) и исследовательского подразделения американской компании Adobe обнаружили, что многие ИИ-системы, которые справлялись с некоторыми задачами на понимание языка лучше, чем люди, не могли дать качественные результаты, когда слова в предложении переставлялись случайным образом. [1]
Примечания
