<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="yan-etal-2023-ji-zuo">
    <titleInfo>
        <title>基座模型训练中的数据与模型架构(Data and Model Architecture in Base Model Training)</title>
    </titleInfo>
    <name type="personal">
        <namePart type="given">Hang</namePart>
        <namePart type="family">Yan</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Yang</namePart>
        <namePart type="family">Gao</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Chaoye</namePart>
        <namePart type="family">Fei</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Xiaopeng</namePart>
        <namePart type="family">Yang</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Xipeng</namePart>
        <namePart type="family">Qiu</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <originInfo>
        <dateIssued>2023-08</dateIssued>
    </originInfo>
    <typeOfResource>text</typeOfResource>
    <language>
        <languageTerm type="text">Chinese</languageTerm>
        <languageTerm type="code" authority="iso639-2b">chi</languageTerm>
    </language>
    <relatedItem type="host">
        <titleInfo>
            <title>Proceedings of the 22nd Chinese National Conference on Computational Linguistics (Volume 2: Frontier Forum)</title>
        </titleInfo>
        <name type="personal">
            <namePart type="given">Jiajun</namePart>
            <namePart type="family">Zhang</namePart>
            <role>
                <roleTerm authority="marcrelator" type="text">editor</roleTerm>
            </role>
        </name>
        <originInfo>
            <publisher>Chinese Information Processing Society of China</publisher>
            <place>
                <placeTerm type="text">Harbin, China</placeTerm>
            </place>
        </originInfo>
        <genre authority="marcgt">conference publication</genre>
    </relatedItem>
    <abstract>“ChatGPT以对话形式的交互方式,降低了使用大模型的门槛,因此迅速在全球范围内流行起来。尽管OpenAI并未公开ChatGPT的技术路线,但一些后续的工作宣称已经在开源的基座模型上复现了ChatGPT的性能。然而,尽管这些模型在某些评测上表现出与ChatGPT相似的性能,但在实际的知识量和推理能力上,它们仍然不如ChatGPT。为了更接近ChatGPT甚至GPT4的性能,我们需要对基座模型的训练进行更深入的研究。本文针对基座模型训练的数据以及模型架构进行讨论,首先总结了当前预训练数据的来源以及基本处理流程,并针对目前关注较少的代码预训练数据和中文预训练数据进行了分析;然后对当前已有基座模型的网络架构进行了回顾,并针对这些架构调整背后的动机进行了阐述。”</abstract>
    <identifier type="citekey">yan-etal-2023-ji-zuo</identifier>
    <location>
        <url>https://aclanthology.org/2023.ccl-2.1</url>
    </location>
    <part>
        <date>2023-08</date>
        <extent unit="page">
            <start>1</start>
            <end>15</end>
        </extent>
    </part>
</mods>
</modsCollection>

%0 Conference Proceedings
%T 基座模型训练中的数据与模型架构(Data and Model Architecture in Base Model Training)
%A Yan, Hang
%A Gao, Yang
%A Fei, Chaoye
%A Yang, Xiaopeng
%A Qiu, Xipeng
%Y Zhang, Jiajun
%S Proceedings of the 22nd Chinese National Conference on Computational Linguistics (Volume 2: Frontier Forum)
%D 2023
%8 August
%I Chinese Information Processing Society of China
%C Harbin, China
%G Chinese
%F yan-etal-2023-ji-zuo
%X “ChatGPT以对话形式的交互方式,降低了使用大模型的门槛,因此迅速在全球范围内流行起来。尽管OpenAI并未公开ChatGPT的技术路线,但一些后续的工作宣称已经在开源的基座模型上复现了ChatGPT的性能。然而,尽管这些模型在某些评测上表现出与ChatGPT相似的性能,但在实际的知识量和推理能力上,它们仍然不如ChatGPT。为了更接近ChatGPT甚至GPT4的性能,我们需要对基座模型的训练进行更深入的研究。本文针对基座模型训练的数据以及模型架构进行讨论,首先总结了当前预训练数据的来源以及基本处理流程,并针对目前关注较少的代码预训练数据和中文预训练数据进行了分析;然后对当前已有基座模型的网络架构进行了回顾,并针对这些架构调整背后的动机进行了阐述。”
%U https://aclanthology.org/2023.ccl-2.1
%P 1-15

Markdown (Informal)

[基座模型训练中的数据与模型架构(Data and Model Architecture in Base Model Training)](https://aclanthology.org/2023.ccl-2.1) (Yan et al., CCL 2023)

• 基座模型训练中的数据与模型架构(Data and Model Architecture in Base Model Training) (Yan et al., CCL 2023)

ACL

• Hang Yan, Yang Gao, Chaoye Fei, Xiaopeng Yang, and Xipeng Qiu. 2023. 基座模型训练中的数据与模型架构(Data and Model Architecture in Base Model Training). In Proceedings of the 22nd Chinese National Conference on Computational Linguistics (Volume 2: Frontier Forum), pages 1–15, Harbin, China. Chinese Information Processing Society of China.