Calcul de MOS et analyse statistique

Soit $S=\{\sigma_1, \sigma_2, \sigma_s\}$ l'ensemble des échantillons, et désignons par $N$ le nombre de sujets dans la méthode subjective choisie et par $u_{is}$ l'évaluation de l'échantillon $\sigma_s$ faite par l'utilisateur $i$. L'ensemble de valeurs $(u_{is})_{i = 1,\cdots,N}$ présenterait probablement des variations dues aux différences dans le jugement entre les sujets. D'ailleurs, il est possible que quelques sujets ne fassent pas assez attention pendant l'essai. Ceci peut mener à des données contradictoires pour la phase d'apprentissage de RN. Le filtrage statistique est ainsi nécessaire sur l'ensemble de données brutes. La référence la plus largement répandue en la matière est la recommandation UIT-R BT.500-10 [67]. Le procédé décrit permet d'enlever les estimations de ces sujets qui ne pourraient pas conduire à notes conformes. D'abord, désignons par $\bar{u}_s$ la moyenne des évaluations de l'échantillon $\sigma_s$ sur l'ensemble de sujets, c.-à-d.,

$$\bar{u}_s=\frac{1}{N}\displaystyle \sum_{i=1}^{N}u_{is}.$$ (11)

Désignons par $[\bar{u}_s-\Delta_s,\bar{u}_s+\Delta_s]$ l'intervalle de confiance à 95% obtenu à partir de $(u_{is})$, c.-à-d., $\Delta_s = 1.96 \delta_s / \sqrt{N}$, où

$$\delta_s = \sqrt{\displaystyle \sum_{i=1}^{N} {\frac{(u_{is} - \ \bar{u}_s)^2}{N-1}}}.$$

Comme indiqué dans [67], on doit établir si cette distribution de notes est normale ou pas, en utilisant l'essai $\beta_2$ (en calculant le coefficient de kurtosis). Si $\beta_2$ est entre 2 et 4, la distribution peut être considéré normale. Dénotant par $\beta_{2s} = m_{4s}/m^2_{2s}$ où

$$m_{xs} = \frac{1}{N} \sum_{i=1}^{N} (u_{is}-\bar{u}_s)^x,$$

si $2 \leq \beta_{2s} \leq 4$ alors on peut supposer que la distribution $(u_{is})_{i = 1,\cdots,N}$ est normale. Pour chaque sujet $i$, nous devons calculer deux valeurs de nombre entier $L_i$ et $R_i$, d'après le procédé suivant :

 ifff yyyy xxxx zzzz uuuu 
				 soit $L_i = 0$ et $R_i = 0$


pour chaque échantillon $\sigma_s \in {\cal S} = \{ \sigma_1,\cdots,\sigma_S\}$


si $2 \leq \beta_{2s} \leq 4$, alors


si $u_{is} \geq \bar{u}_s + 2 \, \delta_s$ alors $R_i=R_i+1$


si $u_{is} \leq \bar{u}_s - 2 \, \delta_s$ alors $L_i=L_i+1$


sinon 


si $u_{is} \geq \bar{u}_s + \sqrt{20} \, \delta_s$ alors $R_i=R_i+1$ 


si $u_{is} \leq \bar{u}_s - \sqrt{20} \, \delta_s$ alors $L_i=L_i+1$ 

Enfin, si $(L_i + R_i)/S > 0,05$ et $\vert(L_i - R_i)/(L_i + R_i)\vert < 0,3$ alors les notes du sujet $i$ doivent être supprimées. Pour plus de détails à ce sujet et d'autres méthodes d'essai subjectifs, voir [67]. Après l'élimination des notes de ces sujets qui ne pourraient pas conduire des estimations cohérentes en utilisant la technique ci-dessus, les notes moyennes devraient être calculées en utilisant (1). Ceci constituera la BD de MOS que nous emploierons pour entraîner et pour valider le RN.