xAI 推出首款多模式模型 Grok-1.5V

来源: OSCHINA
2024-04-13 11:03:00

xAI 宣布推出 Grok-1.5V —— 第一代多模式模型,用于连接数字世界和物理世界。

除了强大的文本功能之外,Grok 现在可以处理各种视觉信息,包括文档、图表、屏幕截图和照片,预计该版本很快就会向早期测试者和现有 Grok 用户推出。

公告指出,Grok-1.5V 在多个领域(从多学科推理到理解文档、科学图表、图表、屏幕截图和照片)与现有的前沿多模态模型相比都具有很强的竞争力。在 RealWorldQA 基准测试中的表现也要优于同类产品。

RealWorldQA 是由 xAI 新推出的一个基准测试,旨在评估多模态模型的基本真实世界空间理解能力。

RealWorldQA 的初始版本包含 700 多张图像,每张图像都有一个问题和易于验证的答案。除了其他真实世界的图像之外,该数据集还包含从车辆拍摄的匿名图像。后续还将随着多模式模型的改进而进行扩展,RealWorldQA 在CC BY-ND 4.0 下发布。现已可供下载 (677MB)

示例:看图写代码

用户:你能把它翻译成 Python 代码吗?

Grok:当然可以!您提供的流程图描述了一个简单的猜谜游戏:计算机生成一个随机数,用户必须猜出它。下面是表示流程图中逻辑的 Python 代码:

import random

def guess_number(): # Generate a random number between 1 and 10

    target = random.randint(1, 10)

    while True:
        guess = int(input("Guess a number between 1 and 10: "))

        if guess == target:
            print("You won!")
            break
        else:
            print("Wrong guess, try again!")

if __name__ == "__main__":
    guess_number()

在接下来的几个月中,Grok 预计将在图像、音频和视频等各种模式中对这两种功能进行重大改进。与此同时,该公司还在进行招聘

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
4 收藏
分享
返回顶部
顶部