Skip to content

CPT 预训练提问 #1252

@kakaxisisan

Description

@kakaxisisan

internvl3.5-pretrained模型已经具备chat能力,请问在预训练的时候是否是以SFT的形式训练的?

  • 如果是以SFT的形式训练的,交织数据是如何引入的呢?
  • 如果是以正常PT的形式训练的,那为什么会有chat能力呢?

能够举一些预训练阶段数据格式的例子?
另外预训练的时候是否引入了思考QA?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions