989 lines
17 KiB
Markdown
989 lines
17 KiB
Markdown
# Copious
|
||
|
||
## 概述
|
||
|
||
Copious 语料库是一个用于生物多样性实体识别的黄金标准语料库，包含从生物多样性遗产图书馆（Biodiversity Heritage Library）下载的 668 篇文档，涵盖超过 26,000 个句子和 28,000 多个实体，内容涉及分类学和生态学信息。
|
||
|
||
## 任务描述
|
||
|
||
- **任务类型**：生物多样性命名实体识别（NER）
|
||
- **输入**：生物多样性文献文本
|
||
- **输出**：识别出的生物多样性实体片段
|
||
- **领域**：生物多样性、生态学、分类学
|
||
|
||
## 主要特点
|
||
|
||
- 来自生物多样性遗产图书馆的 668 篇文档
|
||
- 超过 26,000 个句子
|
||
- 超过 28,000 个实体标注
|
||
- 五种生物多样性专用实体类型
|
||
- 生物多样性 NLP 的黄金标准
|
||
|
||
## 评估说明
|
||
|
||
- 默认配置使用 **5-shot** 评估
|
||
- 评估指标：精确率（Precision）、召回率（Recall）、F1 分数（F1-Score）、准确率（Accuracy）
|
||
- 实体类型：TAXON（分类单元）、GEOGRAPHICAL_LOCATION（地理位置）、HABITAT（栖息地）、PERSON（人物）、TEMPORAL_EXPRESSION（时间表达）
|
||
|
||
## 属性
|
||
|
||
| 属性 | 值 |
|
||
|----------|-------|
|
||
| **基准测试名称** | `copious` |
|
||
| **数据集 ID** | [extraordinarylab/copious](https://modelscope.cn/datasets/extraordinarylab/copious/summary) |
|
||
| **论文** | N/A |
|
||
| **标签** | `Knowledge`, `NER` |
|
||
| **指标** | `precision`, `recall`, `f1_score`, `accuracy` |
|
||
| **默认示例数** | 5-shot |
|
||
| **评估集** | `test` |
|
||
| **训练集** | `train` |
|
||
|
||
|
||
## 数据统计
|
||
|
||
*统计数据不可用。*
|
||
|
||
## 样例示例
|
||
|
||
**子集**: `default`
|
||
|
||
```json
|
||
{
|
||
"input": [
|
||
{
|
||
"id": "a4f5bffd",
|
||
"content": "Here are some examples of named entity recognition:\n\nInput:\nFAMILY SERRANIDAE — SCHULTZ 363 Genus PLECTROPOMUS Oken Plectropomus Oken, Isis, p. 1182] 1782 (on \"Les Plectropomes\" Cuvier, Rgne animal, vol. 2, p. 277, 1817). (Genotype, Bodianus ... [TRUNCATED] ... 9276, Sp. Blancoanae 787, Phil. PL 126, Elmer 18216, 16818, 164-17, 9570, B. S. 12036, 13334, 32736, 14746 Ramos. India to southern China and Formosa through Malaya to Samoa. Local names: Banana (Sub); bacilli (C. Bis); balisibis (Iv) ; baud\n"
|
||
}
|
||
],
|
||
"target": "<response>Vo] l <taxon>GRAMINEAE</taxon> 53 23. <taxon>THYSANOLAENA Nees</taxon> <taxon>THYSANOLAENA MAXIMA (Roxb) O. Kuntze</taxon> Rev. Gen. PI. (1891) 794; Pilger in Perk. Frag. Fl. Philip. (1904) 141; Merr. in Philip. Journ. Si. 1 (1906) ... [TRUNCATED] ... aphical_location>Malaya</geographical_location> to <geographical_location>Samoa.</geographical_location> Local names: <taxon>Banana</taxon> (Sub); <taxon>bacilli</taxon> (C. Bis); <taxon>balisibis</taxon> (Iv) ; <taxon>baud</taxon></response>",
|
||
"id": 0,
|
||
"group_id": 0,
|
||
"metadata": {
|
||
"tokens": [
|
||
"Vo]",
|
||
"l",
|
||
"GRAMINEAE",
|
||
"53",
|
||
"23.",
|
||
"THYSANOLAENA",
|
||
"Nees",
|
||
"THYSANOLAENA",
|
||
"MAXIMA",
|
||
"(Roxb)",
|
||
"O.",
|
||
"Kuntze",
|
||
"Rev.",
|
||
"Gen.",
|
||
"PI.",
|
||
"(1891)",
|
||
"794;",
|
||
"Pilger",
|
||
"in",
|
||
"Perk.",
|
||
"Frag.",
|
||
"Fl.",
|
||
"Philip.",
|
||
"(1904)",
|
||
"141;",
|
||
"Merr.",
|
||
"in",
|
||
"Philip.",
|
||
"Journ.",
|
||
"Si.",
|
||
"1",
|
||
"(1906)",
|
||
"Suppl.",
|
||
"343.",
|
||
"Agrostis",
|
||
"maxima",
|
||
"Roxb.",
|
||
"Fl.",
|
||
"Ind.",
|
||
"1",
|
||
"(1820)",
|
||
"319.",
|
||
"Thysanolaena",
|
||
"agrostis",
|
||
"Nees",
|
||
"in",
|
||
"Edinb.",
|
||
"New",
|
||
"Philos.",
|
||
"Journ.",
|
||
"18",
|
||
"(1835)",
|
||
"180.",
|
||
"Thysanolaena",
|
||
"acarifera",
|
||
"Arn.",
|
||
"&",
|
||
"Nees",
|
||
"in",
|
||
"Nov.",
|
||
"Act.",
|
||
"Acad.",
|
||
"Nat.",
|
||
"Cur.",
|
||
"1",
|
||
"9",
|
||
"(1843)",
|
||
"Suppl.",
|
||
"1:",
|
||
"181,",
|
||
"Vidal",
|
||
"Rev.",
|
||
"PI.",
|
||
"Vase.",
|
||
"Filip.",
|
||
"(1886)",
|
||
"289.",
|
||
"Luzon",
|
||
"(Ilocos",
|
||
"Norte,",
|
||
"Apayao,",
|
||
"Bontoc,",
|
||
"Benguet,",
|
||
"Nueva",
|
||
"Vizcaya,",
|
||
"Nueva",
|
||
"Ecija,",
|
||
"Bulacan,",
|
||
"Zambales,",
|
||
"Bataan,",
|
||
"Laguna,",
|
||
"Tayabas,",
|
||
"Sorsogon),",
|
||
"Mindoro,",
|
||
"Palawan,",
|
||
"Mindanao.",
|
||
"On",
|
||
"banks",
|
||
"of",
|
||
"ravines,",
|
||
"slopes,",
|
||
"about",
|
||
"cliffs,",
|
||
"etc,",
|
||
"at",
|
||
"low",
|
||
"and",
|
||
"\"medium,",
|
||
"altitudes,",
|
||
"ascending",
|
||
"to",
|
||
"1,600",
|
||
"m.",
|
||
"India",
|
||
"through",
|
||
"Malaya",
|
||
"to",
|
||
"New",
|
||
"Guinea.",
|
||
"Local",
|
||
"names:",
|
||
"Bugubui",
|
||
"(Pamp)",
|
||
";",
|
||
"buybui",
|
||
"(Ilk);",
|
||
"eagadu",
|
||
"(Bon);",
|
||
"gatbo",
|
||
"(Bik)",
|
||
";",
|
||
"lasa",
|
||
"(Tag);",
|
||
"tagadeu",
|
||
"(Bon)",
|
||
",",
|
||
"tagisa",
|
||
"(Sub);",
|
||
"tambu",
|
||
"(Tag);",
|
||
"talankaran",
|
||
"(Ig).",
|
||
"24.",
|
||
"DIGITARIA",
|
||
"Scopoli",
|
||
"DIGITARIA",
|
||
"CHINENSIS",
|
||
"Nees",
|
||
"in",
|
||
"Hook.",
|
||
"&",
|
||
"Arn.",
|
||
"Bot.",
|
||
"Beechey",
|
||
"Voy.",
|
||
"(1841)",
|
||
"231.",
|
||
"Paspalum",
|
||
"ftlicidme",
|
||
"Nees",
|
||
"ex",
|
||
"Thwaites",
|
||
"Enum.",
|
||
"PL",
|
||
"Zeyl.",
|
||
"(1859-64)",
|
||
"358.",
|
||
"Digitaria",
|
||
"violascens",
|
||
"Merr.",
|
||
"in",
|
||
"Philip.",
|
||
"Journ.",
|
||
"Sci.",
|
||
"1",
|
||
"(1906)",
|
||
"Suppl.",
|
||
"347,",
|
||
"3",
|
||
"(1908)",
|
||
"Bot.",
|
||
"396,",
|
||
"Fl.",
|
||
"Manila",
|
||
"(1912)",
|
||
"88,",
|
||
"non",
|
||
"Link.",
|
||
"Batan",
|
||
"Islands",
|
||
"and",
|
||
"northern",
|
||
"Luzon",
|
||
"to",
|
||
"Palawan",
|
||
"and",
|
||
"Mindanao,",
|
||
"in",
|
||
"most",
|
||
"islands",
|
||
"and",
|
||
"provinces,",
|
||
"Merrill",
|
||
"4148,",
|
||
"9388,",
|
||
"7107,",
|
||
"7677,",
|
||
"4788,",
|
||
"Phil.",
|
||
"PL",
|
||
"17",
|
||
"U,",
|
||
"B.",
|
||
"S.",
|
||
"21715,",
|
||
"14524,",
|
||
"13939,",
|
||
"8250",
|
||
"Ramos.",
|
||
"In",
|
||
"open",
|
||
"grasslands",
|
||
"at",
|
||
"low",
|
||
"and",
|
||
"medium",
|
||
"altitudes.",
|
||
"India",
|
||
"to",
|
||
"China",
|
||
"and",
|
||
"Malaya.",
|
||
"Local",
|
||
"names:",
|
||
"Timi",
|
||
"(Bon);",
|
||
"tumi",
|
||
"(Bon);",
|
||
"ualisibis",
|
||
"(Iv).",
|
||
"DIGITARIA",
|
||
"CORYMBOSA",
|
||
"(Roxb)",
|
||
"comb.",
|
||
"nov.",
|
||
"Panicum",
|
||
"co-rymbosum",
|
||
"Roxb.",
|
||
"Hort.",
|
||
"Beng.",
|
||
"(1814)",
|
||
"7,",
|
||
"nomen",
|
||
"nudum,",
|
||
"Fl.",
|
||
"Ind.",
|
||
"1",
|
||
"(1820)",
|
||
"292.",
|
||
"Panicum",
|
||
"microbachne",
|
||
"Presl",
|
||
"Rel.",
|
||
"Haenk.",
|
||
"1",
|
||
"(1828)",
|
||
"298;",
|
||
"Kunth",
|
||
"Enum.",
|
||
"1",
|
||
"(1833)",
|
||
"81.",
|
||
"Digitaria",
|
||
"consanguinea",
|
||
"Merr.",
|
||
"in",
|
||
"Philip.",
|
||
"Journ.",
|
||
"Sci.",
|
||
"1",
|
||
"(1906)",
|
||
"Suppl.",
|
||
"347,",
|
||
"3",
|
||
"(1908)",
|
||
"Bot.",
|
||
"396,",
|
||
"Fl.",
|
||
"Manila",
|
||
"(1912)",
|
||
"88,",
|
||
"Sp.",
|
||
"Blancoanae",
|
||
"(1918)",
|
||
"64,",
|
||
"non",
|
||
"Gaudich.",
|
||
"Panicum",
|
||
"sanguinale",
|
||
"Rolfe",
|
||
"in",
|
||
"Journ.",
|
||
"Bot.",
|
||
"23",
|
||
"(1885)",
|
||
"216;",
|
||
"Vidal",
|
||
"Phan.",
|
||
"Cuming.",
|
||
"Philip.",
|
||
"(1885)",
|
||
"157,",
|
||
"non",
|
||
"Linn.",
|
||
"Digitaria",
|
||
"lanosa",
|
||
"Llanos",
|
||
"Frag.",
|
||
"PI.",
|
||
"Filip.",
|
||
"(1851)",
|
||
"28;",
|
||
"F-vill.",
|
||
"&",
|
||
"Naves",
|
||
"in",
|
||
"Blanco",
|
||
"Fl.",
|
||
"Filip.",
|
||
"ed.",
|
||
"3,",
|
||
"4",
|
||
"1",
|
||
"(1880)",
|
||
"19.",
|
||
"Panicum",
|
||
"gaudichaudii",
|
||
"F-vill.",
|
||
"Novis.",
|
||
"App.",
|
||
"(1882)",
|
||
"311,",
|
||
"non",
|
||
"Kunth.",
|
||
"Panicum",
|
||
"pruriens",
|
||
"Trin.",
|
||
"var.",
|
||
"glabrum",
|
||
"Nees",
|
||
"in",
|
||
"Hook.",
|
||
"Journ.",
|
||
"Bot.",
|
||
"Kew",
|
||
"Miscel.",
|
||
"2",
|
||
"(1850)",
|
||
"97.",
|
||
"Throughout",
|
||
"the",
|
||
"Philippines",
|
||
"at",
|
||
"low",
|
||
"and",
|
||
"medium",
|
||
"altitudes",
|
||
"in",
|
||
"open",
|
||
"waste",
|
||
"places,",
|
||
"old",
|
||
"clearings,",
|
||
"etc,",
|
||
"usually",
|
||
"common,",
|
||
"Merrill",
|
||
"4-230,",
|
||
"5347,",
|
||
"7368,",
|
||
"9276,",
|
||
"Sp.",
|
||
"Blancoanae",
|
||
"787,",
|
||
"Phil.",
|
||
"PL",
|
||
"126,",
|
||
"Elmer",
|
||
"18216,",
|
||
"16818,",
|
||
"164-17,",
|
||
"9570,",
|
||
"B.",
|
||
"S.",
|
||
"12036,",
|
||
"13334,",
|
||
"32736,",
|
||
"14746",
|
||
"Ramos.",
|
||
"India",
|
||
"to",
|
||
"southern",
|
||
"China",
|
||
"and",
|
||
"Formosa",
|
||
"through",
|
||
"Malaya",
|
||
"to",
|
||
"Samoa.",
|
||
"Local",
|
||
"names:",
|
||
"Banana",
|
||
"(Sub);",
|
||
"bacilli",
|
||
"(C.",
|
||
"Bis);",
|
||
"balisibis",
|
||
"(Iv)",
|
||
";",
|
||
"baud"
|
||
],
|
||
"ner_tags": [
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-HABITAT",
|
||
"I-HABITAT",
|
||
"I-HABITAT",
|
||
"B-HABITAT",
|
||
"O",
|
||
"B-HABITAT",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-HABITAT",
|
||
"I-HABITAT",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"I-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-HABITAT",
|
||
"I-HABITAT",
|
||
"I-HABITAT",
|
||
"B-HABITAT",
|
||
"I-HABITAT",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"I-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"B-GEOGRAPHICAL_LOCATION",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON",
|
||
"O",
|
||
"O",
|
||
"B-TAXON"
|
||
]
|
||
}
|
||
}
|
||
```
|
||
|
||
*注：部分内容因展示需要已被截断。*
|
||
|
||
## 提示模板
|
||
|
||
**提示模板：**
|
||
```text
|
||
你是一个命名实体识别系统，能够识别以下类型的实体：
|
||
{entities}
|
||
|
||
请处理提供的文本，并使用 XML 风格的标签标记所有命名实体。
|
||
|
||
例如：
|
||
<person>John Smith</person> works at <organization>Google</organization> in <location>Mountain View</location>.
|
||
|
||
可用的实体标签：{entity_list}
|
||
|
||
说明：
|
||
1. 将你的完整回复用 <response>...</response> 标签包裹。
|
||
2. 在这些标签内，插入带有实体标签的原始文本。
|
||
3. 不得以任何方式修改原始文本（保留空格、标点、大小写等）。
|
||
4. 使用提供的确切标签名称标记所有你能识别的实体。
|
||
5. 不要包含解释，仅返回带标签的文本。
|
||
6. 如果实体范围重叠，请选择最具体的实体类型。
|
||
7. 确保每个开始标签都有对应的结束标签。
|
||
|
||
待处理文本：
|
||
{text}
|
||
|
||
```
|
||
|
||
<details>
|
||
<summary>少样本（Few-shot）模板</summary>
|
||
|
||
```text
|
||
以下是命名实体识别的一些示例：
|
||
|
||
{fewshot}
|
||
|
||
你是一个命名实体识别系统，能够识别以下类型的实体：
|
||
{entities}
|
||
|
||
请处理提供的文本，并使用 XML 风格的标签标记所有命名实体。
|
||
|
||
例如：
|
||
<person>John Smith</person> works at <organization>Google</organization> in <location>Mountain View</location>.
|
||
|
||
可用的实体标签：{entity_list}
|
||
|
||
说明：
|
||
1. 将你的完整回复用 <response>...</response> 标签包裹。
|
||
2. 在这些标签内，插入带有实体标签的原始文本。
|
||
3. 不得以任何方式修改原始文本（保留空格、标点、大小写等）。
|
||
4. 使用提供的确切标签名称标记所有你能识别的实体。
|
||
5. 不要包含解释，仅返回带标签的文本。
|
||
6. 如果实体范围重叠，请选择最具体的实体类型。
|
||
7. 确保每个开始标签都有对应的结束标签。
|
||
|
||
待处理文本：
|
||
{text}
|
||
|
||
```
|
||
|
||
</details>
|
||
|
||
## 使用方法
|
||
|
||
### 使用 CLI
|
||
|
||
```bash
|
||
evalscope eval \
|
||
--model YOUR_MODEL \
|
||
--api-url OPENAI_API_COMPAT_URL \
|
||
--api-key EMPTY_TOKEN \
|
||
--datasets copious \
|
||
--limit 10 # 正式评估时请删除此行
|
||
```
|
||
|
||
### 使用 Python
|
||
|
||
```python
|
||
from evalscope import run_task
|
||
from evalscope.config import TaskConfig
|
||
|
||
task_cfg = TaskConfig(
|
||
model='YOUR_MODEL',
|
||
api_url='OPENAI_API_COMPAT_URL',
|
||
api_key='EMPTY_TOKEN',
|
||
datasets=['copious'],
|
||
limit=10, # 正式评估时请删除此行
|
||
)
|
||
|
||
run_task(task_cfg=task_cfg)
|
||
``` |