Большие модели идут в длинные тексты, 400000 токенов — это только начало
Большие модели стремительно улучшают свои способности к обработке длинных текстов. С первоначальных 4000 токенов до текущих 400000 токенов, способность к обработке длинных текстов стала новым стандартом для компаний, разрабатывающих большие модели, демонстрирующих свои технические возможности.
На международной арене такие ведущие игроки, как OpenAI и Anthropic, начали увеличивать длину контекста своих моделей. В стране некоторые новые компании также стремятся догнать их в этом направлении. Согласно имеющимся данным, в настоящее время большое количество ведущих компаний по разработке крупных моделей и исследовательских учреждений делают расширение длины контекста своим приоритетом в техническом обновлении.
Эти компании пользуются большим вниманием со стороны капитала. OpenAI привлекла почти 12 миллиардов долларов финансирования, оценка Anthropic может достичь 30 миллиардов долларов, а оценка новой отечественной компании "Тёмная сторона Луны" за короткие полгода уже превысила 300 миллионов долларов.
Почему компании, занимающиеся большими моделями, так стремятся овладеть технологиями длинного текста? На первый взгляд, это означает, что модели могут обрабатывать более длинные входные тексты, а их способность к чтению значительно возрастает. Более глубокая причина заключается в том, что технологии длинного текста могут способствовать внедрению больших моделей в таких профессиональных областях, как финансы, право и научные исследования.
Однако не всегда более длинный текст означает лучшее качество модели. Исследования показывают, что ключевое значение имеет то, как эффективно модель использует контекстную информацию. На данный момент исследования длины текста в индустрии еще далеки от "критической точки", 400000 токенов могут быть только началом.
Прорыв в технологии длинных текстов может решить некоторые проблемы, с которыми сталкивались большие модели на ранних этапах, такие как забывание информации виртуальными персонажами и недостаточный анализ в специализированных областях. Это также одна из ключевых технологий, способствующих внедрению промышленных приложений, что знаменует переход больших моделей от LLM к Long LLM.
Технология длинного текста позволяет чат-ботам реализовывать более специализированные, индивидуализированные и глубокие функции, такие как анализ сверхдлинных текстов, генерация кода, ролевые игры и т. д. Это открывает возможности для разработки следующего поколения супер-приложений.
Однако, технологии длинных текстов сталкиваются с "треугольником невозможного": трудно учесть длину текста, внимание и вычислительную мощность одновременно. Основная причина этого заключается в том, что объем вычислений механизма самовнимания в структуре Transformer возрастает квадратично с длиной контекста.
В настоящее время в отрасли в основном используются три решения: использование внешних инструментов для поддержки обработки, оптимизация вычислений самовнимания и оптимизация модели. У каждого решения есть свои преимущества и недостатки, и компаниям с большими моделями необходимо найти баланс между ними.
В целом, прорыв в технологии длинных текстов открыл новые направления для развития больших моделей, но по-прежнему сталкивается с множеством вызовов. Будущее развитие будет сосредоточено на том, как эффективно обрабатывать сверхдлинные тексты, обеспечивая при этом производительность модели.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
3
Поделиться
комментарий
0/400
¯\_(ツ)_/¯
· 08-05 02:36
Текст стал длиннее, и ИИ тоже стал более уверенным.
Способности больших моделей к обработке длинных текстов возросли до 400 тысяч токенов, что может изменить ландшафт AI-приложений.
Большие модели идут в длинные тексты, 400000 токенов — это только начало
Большие модели стремительно улучшают свои способности к обработке длинных текстов. С первоначальных 4000 токенов до текущих 400000 токенов, способность к обработке длинных текстов стала новым стандартом для компаний, разрабатывающих большие модели, демонстрирующих свои технические возможности.
На международной арене такие ведущие игроки, как OpenAI и Anthropic, начали увеличивать длину контекста своих моделей. В стране некоторые новые компании также стремятся догнать их в этом направлении. Согласно имеющимся данным, в настоящее время большое количество ведущих компаний по разработке крупных моделей и исследовательских учреждений делают расширение длины контекста своим приоритетом в техническом обновлении.
Эти компании пользуются большим вниманием со стороны капитала. OpenAI привлекла почти 12 миллиардов долларов финансирования, оценка Anthropic может достичь 30 миллиардов долларов, а оценка новой отечественной компании "Тёмная сторона Луны" за короткие полгода уже превысила 300 миллионов долларов.
Почему компании, занимающиеся большими моделями, так стремятся овладеть технологиями длинного текста? На первый взгляд, это означает, что модели могут обрабатывать более длинные входные тексты, а их способность к чтению значительно возрастает. Более глубокая причина заключается в том, что технологии длинного текста могут способствовать внедрению больших моделей в таких профессиональных областях, как финансы, право и научные исследования.
Однако не всегда более длинный текст означает лучшее качество модели. Исследования показывают, что ключевое значение имеет то, как эффективно модель использует контекстную информацию. На данный момент исследования длины текста в индустрии еще далеки от "критической точки", 400000 токенов могут быть только началом.
Прорыв в технологии длинных текстов может решить некоторые проблемы, с которыми сталкивались большие модели на ранних этапах, такие как забывание информации виртуальными персонажами и недостаточный анализ в специализированных областях. Это также одна из ключевых технологий, способствующих внедрению промышленных приложений, что знаменует переход больших моделей от LLM к Long LLM.
Технология длинного текста позволяет чат-ботам реализовывать более специализированные, индивидуализированные и глубокие функции, такие как анализ сверхдлинных текстов, генерация кода, ролевые игры и т. д. Это открывает возможности для разработки следующего поколения супер-приложений.
Однако, технологии длинных текстов сталкиваются с "треугольником невозможного": трудно учесть длину текста, внимание и вычислительную мощность одновременно. Основная причина этого заключается в том, что объем вычислений механизма самовнимания в структуре Transformer возрастает квадратично с длиной контекста.
В настоящее время в отрасли в основном используются три решения: использование внешних инструментов для поддержки обработки, оптимизация вычислений самовнимания и оптимизация модели. У каждого решения есть свои преимущества и недостатки, и компаниям с большими моделями необходимо найти баланс между ними.
В целом, прорыв в технологии длинных текстов открыл новые направления для развития больших моделей, но по-прежнему сталкивается с множеством вызовов. Будущее развитие будет сосредоточено на том, как эффективно обрабатывать сверхдлинные тексты, обеспечивая при этом производительность модели.