These are chat archives for Waateur/wikiRoom

10th
Mar 2016
Parcollet Titouan
@moktar84
Mar 10 2016 08:46
Tout est passé en Tensorflow, j'ai bien gagné un max de rapidité, mais c'est encore trop lent.
Parcollet Titouan
@moktar84
Mar 10 2016 09:50
Et pour info : Sur IRIS avec une topologie de type 1 - 4 - 3, le fait d'utiliser un GPU ca ralenti de 100% par rapport à l'utilisation unique du CPU (sur galactica) .
waat
@Waateur
Mar 10 2016 10:20
1-4-3
c'est "normal"
on parle de changement de contexte
faut prendre un cas plus réaliste
( changement contexte <-> transfert de mémoire etc ... )
Ce que tu peux faire histoire d'être plus réaliste c'est
C'est de faire un réseaux de taille réaliste
Du coup en faisant attention au conso mémoire
mais un Truc de Taille 5000-500-3
La question c'est qu'est ce qu'on met en data
J'ai un corpus de données si tu veux je te l'envoie il est dans ces dimension la
sinon tu peux juste concat tes values
on s'en fout qu'il aprennent
on veut voir si il tourne :)
Parcollet Titouan
@moktar84
Mar 10 2016 10:29
Faut déja que je l'adapte pour :p L'autre soucis c'est que j'ai pas mal de For ... Plus je vais batcher plus je vais faire péter la complexité. Y'a une sacré optimisation à faire derrière encore.
Mais envoi le corpus pour voir, autant je tente tout ca
waat
@Waateur
Mar 10 2016 10:43
pegasus : /home/laboinfo/janod/WorkingDir/rbm/data
newsgroup_raw_train = dict avec les données brutes
la clef [target] du dict -> ma classe
la* classe
ordonné
pareil pour newsgroup_raw_test
/home/laboinfo/janod/WorkingDir/rbm/output_v4/newsgroup_oneHot_train.pk
Pour les donnée
( remplacer train par test pour le test ofc )
toutes ces données sont pickle
donc pickle.load(open("PATH")) pour les chargés
Parcollet Titouan
@moktar84
Mar 10 2016 10:58
Jviens de tester for fun du 1 | 100 | 3
Toujours CPU largement plus rapide
faut que j'optimise grave
Ok cool merci je vais regarder ca
waat
@Waateur
Mar 10 2016 11:07
L'écart ce réduit il ?
parce qu'un réseaux 1 - 100 - 3 c'est toujours assez loin d'un cas réel au final :)
Parcollet Titouan
@moktar84
Mar 10 2016 11:10
Le réseau de mohamed a plusieurs bases de Test dont une où il galère en 440 - 8 - 8. Je vais essayer de voir car malheureusement le nombre de neurones cachés casse royalement al vitesse d'execution du mien (Plusieurs petites matmul). Alors que si les inputs sont nombreux c'est l'inverse ( UNE GROOOOOOSSSEE matmul ).
waat
@Waateur
Mar 10 2016 11:33
Faut vraiment qu'on creuse cette histoire
si on regarde l'implémentation Deep learning des NN par exemple :
http://www.deeplearning.net/tutorial/dA.html
On voit que pour obtenir un hidden input ils font dot(X,W) au lieu de (W,X) dans la formule.
sachant que dot() c'est l'équivalent de matmul TF
http://www.deeplearning.net/software/theano/library/tensor/basic.html#theano.tensor.dot
soit il y a une raison
qui permet la commutativité
soit on est nul :)
Parce que çe changement change grandement la donne quand même
Parcollet Titouan
@moktar84
Mar 10 2016 11:43
je compte bien le creuser de toute façon si il me laisse le temps :smile:
Parcollet Titouan
@moktar84
Mar 10 2016 14:53
Wow, bon de toute facon le modèle est encore trop lent. Je pense qu'on peut arriver à faire quelque chose de finalement plus performant que le sien, sous certaines conditions du modèles (Matrices suffisantes) et surtout après tout refait en pensant GPU ... (Utilisation des towers de tensorflow)
waat
@Waateur
Mar 10 2016 15:00
towers ?
Parcollet Titouan
@moktar84
Mar 10 2016 15:19
Pour parallèliser les calculs. Mais bon, il m'a dit de mettre le passage GPU en pause, je passe en expérimentation à partir du sien pour comparer l'utilisation des Quaterions vs Simple réels
Il est histoire de dates butoirs si j'ai bien compris, donc on fait ce qu'on peut faire directement et on balancera tout sur GPU une fois le(s) papier(s) rédigé(s)