These are chat archives for Waateur/wikiRoom

11th
Apr 2016
Parcollet Titouan
@moktar84
Apr 11 2016 10:18
Avis aux C++iens . Je fais exp(-30) + 1.0 et ca me fait 1. Sauf que ca fait pas 1. Ca doit faire un truc du style 1.0000000000000000000000125 mais ca fait pas 1 !!! Une idée ?
waat
@Waateur
Apr 11 2016 11:37
ouaip
c'est "encore" le problem des floating points
En gros ta valeur est trop petite pourqu'il fasse la différence avec 1
( Je dis encore parce que tout les langages ont ce probléme mais quand il s'en sont rendu compte en début d'année ils l'ont mis sur le dos a Python ><' )
jonalbertini
@jonalbertini
Apr 11 2016 11:39
ya pas moyend de récup la valeur en machin IEEE ?
waat
@Waateur
Apr 11 2016 11:40
Justement non elle n'existe pas
CF le chapitre Accuracy problem
jonalbertini
@jonalbertini
Apr 11 2016 11:56
c'est quoi la valeur max de précision que l'on peut donner ?
Parcollet Titouan
@moktar84
Apr 11 2016 12:17
C'est triste toussah
Mais merci
des infos
Sinon puisque c'est déguolasse de faire des exponentielles de valeurs de oufs genre 100 - 200 - 300 voir plus, une idée de comment bypass ca ? C'est au moment du calcul de la Sigmoid dans la propagation avant.
waat
@Waateur
Apr 11 2016 12:40
pas de tetes mais il doit y avoir des astuces genre travailler avec en log entre autre ...
mais la tu va t'amusé
Parcollet Titouan
@moktar84
Apr 11 2016 12:43
Bein ui mais bien obligé quand y'a un gros nombres de neurones cachés :/
Parcollet Titouan
@moktar84
Apr 11 2016 13:12
Parce que si tu fais une somme de 500 neurones cachés en ajoutant le biais et en multipliant par le poids, t'as de fortes chances de devoir faire l'exponentielle d'une valeur de ouf ...
waat
@Waateur
Apr 11 2016 14:50
alors 1 Comment tu initialise ?
Il faut que ton initialisation soit plus "petit"
tu peux aussi faire de la L2-normalisation pour réduire la taille de tes poids
Parcollet Titouan
@moktar84
Apr 11 2016 17:17
L'initialisation est en random entre 0 et 1. Je crois que mohammed va se pencher sur le problème .
waat
@Waateur
Apr 11 2016 20:16
regarde l'initialisation de Xavier Glorot
il propose une méthodes qui reduit la taille de l'intervale en fonction du nombre de neurones
waat
@Waateur
Apr 11 2016 20:26
la L2norm pénalise les couches en fonction de leur somme ça permet de conservé de petit coefficient
ça fait une piste de recherche
Si mohamed trouve un raison
un solution pardons
je suis interessé :)