# 人工评价指引


## 快速开始

1. 输入annotation id, 然后点击`Start`按钮开始评价.
1. 给出三个评分, 然后点击`Submit`按钮.
1. 如果因为图片内容问题你不能确定评分, 比如全黑的图片, 点击`Skip`按钮.

## VTT任务简介

**视觉变化描述:** 给定一系列状态(图片), 机器需要描述每两个相邻状态之间发生了什么(变化).

## 评价标准

人工评价中考虑了三个层次的文本质量. 第一个层次只考虑文本自身的**流畅性**.


| 评分 | 标准                                                          |
|-------|-------------------------------------------------------------------|
| 5     | 所有句子都流畅.                                         |
| 4     | 大多数句子都流畅, 只有少数句子有问题.                  |
| 3     | 大约一半的句子都流畅.                           |
| 2     | 大多数句子都难以阅读, 只有少数句子可以阅读. |
| 1     | 所有句子都难以阅读.                                   |


第二个层次考虑每个单独的变化描述与前后图片的**相关性**.

常见的不相关，程度从强到弱举例：
1. （极度）出现与整个主题完全不相关的变化，如图片描述的是做饭，但是变化描述中出现卸轮胎。
2. （非常）出现变化的对象与图片严重不符，如橘子描述为鸡蛋。
3. （非常）变化的动作与图片严重不符，切苹果描述为洗苹果。
4. （一般）变化与整个主题一致，但是前后图片无法直接判断出变化，比如种树的某一个变化描述为浇水，但是图片中没有看到任何水的痕迹。

| 评分 | 标准                                                                             |
|-------|--------------------------------------------------------------------------------------|
| 5     | 所有变化描述都与对应的前后图片相关.       |
| 4     | 存在个别一般性不相关描述。       |
| 3     | 一般性不相关描述较多，或者有个别非常不相关描述。 |
| 2     | 出现多个非常不相关的描述。 |
| 1     | 出现极度不相关描述，或者大部分描述非常不相关。         |

*注：标注界面最上方提供了当前样本的分类和主题信息，可以帮助你理解图片内容。*


第三个层次考虑变化描述之间的**逻辑一致性**.

常见的逻辑问题：
1. 句子流畅性较差，导致无法判断逻辑。（句子流畅存在问题，但能够感受到大致意思，并且逻辑正确的可以酌情加分）
2. 存在不相关描述，导致整体逻辑出现瑕疵。
3. 不合理的变化顺序，比如先切菜再洗菜。
4. 不合理的重复变化，比如一般性不相关导致的重复问题，生成的描述与主题虽然一致，但是和前后图片相关性较差。（合理的重复：比如滑雪的重复跃起，下落）


| 评分 | 标准                                                                                                          |
|-------|-------------------------------------------------------------------------------------------------------------------|
| 5     | 变化前后的逻辑完全符合常识。                                |
| 4     | 整体逻辑符合常识，存在细微瑕疵。                                       |
| 3     | 存在个别明显的逻辑问题，比如不合理的重复变化。                                       |
| 2     | 存在明显的逻辑问题，比如变化顺序上明显不符合常识。                               |
| 1     | 因为流畅性极差或变化过于不相关，无法判断逻辑或者逻辑与主题不一致         |
