Paris, le 13 juillet 2011 - Quelle application iPad de chaîne de télévision est la plus fiable ? Laquelle présente la meilleure qualité vidéo ? Le Journal du Net et Witbe ont mesuré la qualité d'expérience des applications iPad de BFMTV, France 24, France Télévisions, i>Télé, M6, NRJ12 et TF1.

L'application NRJ12 obtient la meilleure note de qualité d'expérience avec un indice global de 72 sur 100. Cette application offre le meilleur rapport entre disponibilité (capacité de l'application à se lancer et afficher un flux vidéo), rapidité de lancement et qualité de la vidéo. TF1 et BFMTV obtiennent les notes les moins satisfaisantes avec respectivement 53 et 51 sur 100.

Indice de qualité d'expérience des applications iPad de chaînes de télévision

Rang	Application	Indice global (sur 100)	Disponibilité (en %)	Rapidité (en secondes)	Qualité vidéo (sur 5)
1	NRJ12	72	96,0	8,9	2,9
2	i>Télé	66	92,3	7,6	3,0
3	France24	65	95,1	8,0	2,5
4	France Télévisions	61	94,7	16,4	2,7
5	M6	57	94,9	18,2	2,5
6	TF1	53	88,5	8,4	2,8
7	BFMTV	51	91,4	13,3	2,4
	Moyenne	61	93,3	11,5	2,7

Disponibilité décevante du flux vidéo

Les résultats de disponibilité sont décevants. L'ensemble des applications affiche un taux moyen de disponibilité de 93,3 %. A titre de comparaison, la disponibilité des mêmes chaînes sur la télévision (ADSL, câble, TNT ou satellite) oscille entre 97 % et 99,5 %. La disponibilité du flux vidéo reste le point le plus problématique pour toutes les applications testées. La majorité d'entre elles font face de manière récurrente à des problèmes de perte de flux en cours de lecture, de durée de mise en cache (buffering) du flux de plus de 30 secondes, d'image figée (freeze) de plus de 5 secondes ou d'absence totale de flux.

Qualité vidéo : l'iPad encore loin de la télévision

La qualité des flux vidéo diffusés sur les applications iPad de chaînes TV laisse également à désirer. Sur une échelle allant de 1 à 5, i>Télé obtient la meilleure note (3), suivie de NRJ12 (2,9). France24, M6 et BFMTV offrent les qualités d'image les plus médiocres. Sur la même période d'étude, la qualité vidéo de ces chaînes sur la télévision étaient comprise entre 3,3 et 3,9 sur 5. Cette qualité plus faible qu'en télévision se manifeste par des figements d'image fréquents, une pixellisation plus importante sur tout l'écran ainsi qu'un manque de netteté de l'image et des contours flous.

L'application de NRJ12, deux fois plus rapide que celle de M6

Les applications d'i>Télé et de France24 sont les plus rapides à se lancer avec une moyenne de l'ordre de 8,5 secondes. Celles de France Télévisions et de M6 sont au contraire les plus lentes, avec des temps de chargement moyens de 16,4 et 18,2 secondes. Cette durée de lancement de l'application dépend d'un ensemble de facteurs à la fois techniques, marketing (présence d'écrans publicitaires au lancement par exemple) et de stratégie de contenus. L'application de France Télévisions propose notamment l'accès au direct et aux contenus de rattrapage pour l'ensemble de ses chaînes du groupe (France2, France3, France4, France5 et FranceO), multipliant ainsi les volumes à télécharger avant d'afficher son interface.

Méthodologie

Cette étude a été réalisée du 29 juin au 8 juillet au moyen d'un robot QoE Witbe interfacé avec un iPad connecté en Wifi. Le robot interagit avec les applications au travers de l'iPad suivant les scénarios préalablement définis. Toutes les 20 minutes entre 7 heures et 23 heures, le robot a exécuté le parcours utilisateur suivant sur chaque application :

1. Clic sur l'icône de l'application
2. Validation du lancement de l'application par reconnaissance de l'interface utilisateur
3. Navigation pour accéder au Direct (pour TF1, France Télévisions, M6 et NRJ 12)
4. Attente de l'arrivée du flux audio-vidéo
5. Lecture du contenu en plein écran durant 30 secondes
6. Fermeture de l'application

Lors de chaque test, le robot juge ainsi du service délivré en fonction de ce qu'il voit sur 3 critères essentiels en termes de Qualité d'Expérience Utilisateur.

La disponibilité du service :
  - La capacité de l'application à se lancer (dans un délai maximal de 25 secondes)
  - L'apparition du flux vidéo et audio (dans un délai maximal de 30 secondes)
  - La continuité du flux : présence du son, pas d'écran noir, pas d'écran d'erreur, pas d'image figée durant les 30 secondes de visualisation
  - La robustesse de l'application : absence de crash de l'application

Les temps de réponse de l'application et tout particulièrement le temps nécessaire à l'initialisation de l'application après avoir cliqué sur son icône

La qualité vidéo au travers de l'iPad, mesurée grâce aux algorithmes uniques de Witbe qui jugent de ce qui est véritablement vu (pixellisation, saccades, flous)

 

Méthode de notation des applications

La méthode de notation globale du Journal du Net est basée sur un indice sur 100 dont :

60 % de l'indice dépend de la disponibilité du service

30 % dépend de la qualité vidéo (note Witbe VideoMOS)

10 % dépend de la rapidité (relative) du temps de lancement