欢迎访问学术月刊,今天是

整体事实还是有偏样本——基于大语言模型生成数据的测量

龚为纲 ,  黄思源

引用本文: 龚为纲, 黄思源. 整体事实还是有偏样本——基于大语言模型生成数据的测量[J]. 学术月刊, 2025, 57(6): 123-136. shu
Citation:  GONG Weigang,  HUANG Siyuan. Approximating Facts or Reproducing Bias——Evaluating LLMs in Social Research[J]. Academic Monthly, 2025, 57(6): 123-136. shu

整体事实还是有偏样本——基于大语言模型生成数据的测量

    作者简介: 龚为纲,武汉大学社会学院/人工智能学院教授(湖北武汉 430072);黄思源,武汉大学社会学院博士研究生(湖北武汉 430072)。
  • 基金项目: 本文系国家社会科学基金项目“基于大数据的社会情绪风险与网络集群事件治理研究”(22BSH024)、武汉大学社会科学数智创新研究团队项目“大国竞争背景下的战略情报分析"的阶段性成果

  • 中图分类号: C91

Approximating Facts or Reproducing Bias——Evaluating LLMs in Social Research

  • CLC number: C91

  • 摘要: 大语言模型 (LLM)在社会科学中的应用日益广泛,其生成数据是否能反映真实社会图景仍存争议。以中国综合社会调查(CGSS2021)为基准,构建多模型对比实验框架,系统评估不同LLM生成“硅基样本”的拟合度与偏差特征,可发现,主流模型可较好复现宏观变量间的统计关系,但存在表征偏差,易强化主流话语、忽略边缘声音。通过引入思维链(Chain-of-Thought)分析,发现模型在生成评分理由时呈现出标准化的因果推理结构,反映其潜在的社会观念建构路径。此外,提示策略与微调机制可能无形中影响模型对公共议题的认知方式。LLM在社会测量中既存在潜能也有局限,建议未来应提升数据多样性、模型可解释性,并推动社会科学领域的专用大模型发展。
    1. [1]

      郁建兴 , 刘宇轩 . 超越外部视角:大语言模型时代社会科学的角色定位. 学术月刊, 2026, 58(7): 77-89.

    2. [2]

      张翼 . 人工智能时代史学研究的认知转型——以大语言模型识读外交手稿中的“流畅化遮蔽”为例. 学术月刊, 2026, 58(8): 29-40.

    3. [3]

      何大安 , 李怀政 . 通用人工智能技术应用下的数字调节机制. 学术月刊, 2026, 58(7): 54-63.

    4. [4]

      周沐君 . 在理论与经验事实之间:哈贝马斯与公共领域研究的社会学论辩. 学术月刊, 2026, 58(8): 157-170.

    5. [5]

      冉高苒 . 财产制度的演化与博弈——兼论数据财产的模式选择. 学术月刊, 2026, 58(7): 117-128.

    6. [6]

      尤洋 . 人工智能何以理解语言意义. 学术月刊, 2026, 58(8): 16-28.

    7. [7]

      谢岳 . 国家能力如何在运作中生成——国家治理的动态均衡模型. 学术月刊, 2026, 58(8): 106-117.

  • 加载中
计量
  • PDF下载量:  21
  • 文章访问数:  3652
  • HTML全文浏览量:  557
文章相关
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

整体事实还是有偏样本——基于大语言模型生成数据的测量

    作者简介:龚为纲,武汉大学社会学院/人工智能学院教授(湖北武汉 430072);黄思源,武汉大学社会学院博士研究生(湖北武汉 430072)。
基金项目:  本文系国家社会科学基金项目“基于大数据的社会情绪风险与网络集群事件治理研究”(22BSH024)、武汉大学社会科学数智创新研究团队项目“大国竞争背景下的战略情报分析"的阶段性成果

摘要: 大语言模型 (LLM)在社会科学中的应用日益广泛,其生成数据是否能反映真实社会图景仍存争议。以中国综合社会调查(CGSS2021)为基准,构建多模型对比实验框架,系统评估不同LLM生成“硅基样本”的拟合度与偏差特征,可发现,主流模型可较好复现宏观变量间的统计关系,但存在表征偏差,易强化主流话语、忽略边缘声音。通过引入思维链(Chain-of-Thought)分析,发现模型在生成评分理由时呈现出标准化的因果推理结构,反映其潜在的社会观念建构路径。此外,提示策略与微调机制可能无形中影响模型对公共议题的认知方式。LLM在社会测量中既存在潜能也有局限,建议未来应提升数据多样性、模型可解释性,并推动社会科学领域的专用大模型发展。

English Abstract

    全文HTML

相关文章 (7)

目录

/

返回文章