by

Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
  • Oct 21 2017 10:22
    @agibsonccc banned @ShionAt
  • Sep 25 2017 00:17
    @agibsonccc banned @Jamees234_twitter
  • Aug 17 2017 09:24
    @agibsonccc banned @Khalid-Usman
杨彬
@titainic
自己折腾了很久,很多spark运行DL4J环境都是自己的开发电脑。没有集群分布式部署运行。可以只用拷贝特定的几个jar到spark/jars目录下,然后在运行的时候底层会调用opebBlas这个张量计算库。就在用户目录/.javacpp目录下。所以请问下这个是怎么编译出来的,我是linux开发环境.so,Windows是.dll。谢谢
AllenWGX
@AllenWGX
@titainic 你这个是maven在本地运行的时候自动生成的,不是编译的
集群上应该不存在这个问题
fzxs8
@fzxs8
?
杨彬
@titainic
不行,集群上面如果直接运行,是没有.javacpp这个的
我的办法是构建集群的时候,每台机器上面运行下dl4j的代码,就有了。如果你是一个纯净的系统,直接部署spark集群,然后spark在运行dl4j的代码,会报错说找不到.javacpp//xx/xx/xx/openblas的什么文件。
jmx
@alg-jmx
Error:(103, 11) overloaded method value fitMultiDataSet with alternatives:
(x$1: String)org.deeplearning4j.nn.graph.ComputationGraph <and>
(x$1: org.apache.spark.api.java.JavaRDD[org.nd4j.linalg.dataset.api.MultiDataSet])org.deeplearning4j.nn.graph.ComputationGraph <and>
(x$1: org.apache.spark.rdd.RDD[org.nd4j.linalg.dataset.api.MultiDataSet])org.deeplearning4j.nn.graph.ComputationGraph
cannot be applied to (org.apache.spark.rdd.RDD[org.nd4j.linalg.dataset.MultiDataSet])
net.fitMultiDataSet(data)
^
这个错有人遇见过吗
Estelle
@sunshine0123
keras 训练的模型加了BN层,deeplearning4j一直报错:Exception in thread "main" java.lang.ClassCastException: java.util.ArrayList cannot be cast to java.lang.Integer
at org.deeplearning4j.nn.modelimport.keras.layers.normalization.KerasBatchNormalization.getBatchNormAxis(KerasBatchNormalization.java:355)
at org.deeplearning4j.nn.modelimport.keras.layers.normalization.KerasBatchNormalization.<init>(KerasBatchNormalization.java:119)
at org.deeplearning4j.nn.modelimport.keras.utils.KerasLayerUtils.getKerasLayerFromConfig(KerasLayerUtils.java:259)
at org.deeplearning4j.nn.modelimport.keras.KerasModel.prepareLayers(KerasModel.java:218)
at org.deeplearning4j.nn.modelimport.keras.KerasSequentialModel.<init>(KerasSequentialModel.java:111)
at org.deeplearning4j.nn.modelimport.keras.KerasSequentialModel.<init>(KerasSequentialModel.java:58)
at org.deeplearning4j.nn.modelimport.keras.utils.KerasModelBuilder.buildSequential(KerasModelBuilder.java:322)
at org.deeplearning4j.nn.modelimport.keras.KerasModelImport.importKerasSequentialModelAndWeights(KerasModelImport.java:208)
at org.deeplearning4j.examples.modelimport.keras.test.main(test.java:23)
杨彬
@titainic
你这一看就是数据类型转换异常。List里面的泛型,转换不对
arthurdais
@arthurdais
DL4J支持Flink吗?中文版网站首页写了支持,但所有其他地方提到分布式,都只提到spark和hadoop,不提flink。
CCHong
@CCH0124
image.png
各位大大,不知為何這樣會出錯 ?
AllenWGX
@AllenWGX
@arthurdais 你说的是在flink上训练?还是做预测
PragueJoker
@PragueJoker
我想知道怎么能用dl4j 提取图片的特征向量 然后通过 相似度匹配算法 找出一个图片最相似的图片
目前一直在研究 opencv
希望能得到帮助
wangfeng
@wangfeng-skymind
你可以使用余弦相似度去比较
当然算法种类很多,你可以选择一个你喜欢的
1750771057
@1750771057
flink 上可以跑 dl4j 了??
arthurdais
@arthurdais
@AllenWGX 都问,难道是支持预测不支持训练?
AllenWGX
@AllenWGX
目前我看到的是这样
预测实际是把dl4j
的依赖打进来
训练的话,其实和spark类似,要重新基于flink的数据模型写下训练逻辑
arthurdais
@arthurdais
哦,还是希望训练也支持
AllenWGX
@AllenWGX
我觉得可以参考spark的训练方式,自己实现下
应该可以的
arthurdais
@arthurdais
嗯,看来还是要自己动手
AllenWGX
@AllenWGX
如果只是离线训练的话
flink没有太大必要
除非做在线学习
arthurdais
@arthurdais
大数据,还是要分布式加速啊
AllenWGX
@AllenWGX
那就用spark呗
arthurdais
@arthurdais
spark也可以,只是个人偏爱flink些,感觉更优雅
JF Chen
@darouwan
最近flink很流行啊
但如果spark吸收了flink的有点, 不知道后面会怎么样
有点-》优点
justingyym
@justingyym
请问有办法把deeplearing4j训练的模型转成onnx马
TRSK-CONMI
@TRSK-CONMI
诸君,我想问问DL4J支持ROCm了吗?我比较支持AMD的...
老黄的刀法不敢恭维,老黄的显卡越卖越贵,感觉消受不起了~
bhxzl
@bhxzl
配置好uiserver后 能打开localhost:9000,但是看不到模型和训练过程,也没有报错,这会是什么原因呢?各位有遇到过吗
wangfeng
@wangfeng-skymind
等待一会儿
bhxzl
@bhxzl
应该不是等待时间的问题,半天没有
jingzhi93
@jingzhi93
@bhxzl 请问你用的dl4j版本是什么?
bhxzl
@bhxzl
dl4j和ui都是beta6的版本 是参照官网的配置
justingyym
@justingyym
请问各位有没有 deeplearning4j的运行性能的分析表格资料~~~ 求一个链接
narutojian
@narutojian
请问如果我只想用word2vec的功能 我应该导入哪几个包?
就导入包含class的哪些package