Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    westgatepark
    @westgatepark
    table api
    Rofi
    @yyw105
    我看FE默认的垃圾回收器是CMS,而不是G1。向大牛们请教下为什么不用G1?我有看到过其他开源组件也存在这类情况,一直不得其解
    Mingyu Chen
    @morningman
    因为 FE 并没有太多重计算的逻辑,通常情况下CMS运行良好,当然在某些高负载场景下,比如导入特别多的情况下,元数据修改会比较多,这时用G1会更好。
    renzhimin7
    @renzhimin7
    大家知道前缀索引是怎么实现的吗?
    Hao Tan
    @e0c9
    B+ tree
    jay chang
    @jaychang:matrix.org
    [m]
    be 用odbc mysql 来链接一个mysql外表,查询的时候会报以上错误
    songqiwei
    @songqiwei

    刚刚接触Doris, 有些问题请教,谢谢
    部署的版本 0.14.0,
    docker-compose 搭建了 1 leader+1 Follower+1 Observer + 3 BE (自己笔记本上10代 I5 , 32G内存),

    创建了个简单表(3 aggregate column, 2 value column),

    写了个程序单线程 往FE Leader 批量插入(5000条数据), 大概需要 4秒,平均 每秒 1000
    通过Navicat, 对已有的数据(大概20万),简单的sum, count, max, 大概在 100毫秒

    在我这样的环境下, 不知道这个性能是不是正常?
    每秒1000条记录
    查询 100毫秒

    因为不太清楚一些性能配置优化,所以基本都是默认配置

    但是当持续批量插入数据时(每次5000条记录),大概过了10分钟,程序就抛出Exception, 同时FE Leader无响应。
    异常所以:
    rpc failed, host: 172.24.0.7] with root cause

    同时看到FE Leader的Log
    2021-09-05 16:47:30,293 WARN (replayer|57) [BDBEnvironment.openDatabase():255] get exception when try to close previously opened bdb database. ignore it
    com.sleepycat.je.rep.DatabasePreemptedException: (JE 7.3.7) (JE 7.3.7) Database 1 has been forcibly closed in order to apply a replicated remove operation. This Database and all associated Cursors must be closed. All associated Transactions must be aborted.
    at com.sleepycat.je.rep.DatabasePreemptedException.wrapSelf(DatabasePreemptedException.java:113) ~[je-7.3.7.jar:7.3.7]
    at com.sleepycat.je.Database.checkOpen(Database.java:2274) ~[je-7.3.7.jar:7.3.7]
    at com.sleepycat.je.Database.getDatabaseName(Database.java:2046) ~[je-7.3.7.jar:7.3.7]
    at org.apache.doris.journal.bdbje.BDBEnvironment.openDatabase(BDBEnvironment.java:231) [palo-fe.jar:3.4.0]
    at org.apache.doris.journal.bdbje.BDBJEJournal.getMaxJournalId(BDBJEJournal.java:269) [palo-fe.jar:3.4.0]
    at org.apache.doris.persist.EditLog.getMaxJournalId(EditLog.java:95) [palo-fe.jar:3.4.0]
    at org.apache.doris.catalog.Catalog.getMaxJournalId(Catalog.java:4808) [palo-fe.jar:3.4.0]
    at org.apache.doris.catalog.Catalog.replayJournal(Catalog.java:2422) [palo-fe.jar:3.4.0]
    at org.apache.doris.catalog.Catalog$3.runOneCycle(Catalog.java:2227) [palo-fe.jar:3.4.0]
    at org.apache.doris.common.util.Daemon.run(Daemon.java:116) [palo-fe.jar:3.4.0]

    请问这可能什么原因,是某个BE不可访问,有什么建议,如果需要具体更多的信息。

    songzhifei
    @songzhifei
    datax 同步mysql数据到doris报错:Parse json data for JsonDoc failed. code = 2, error-info:The document root must not be followed by other values.. doris版本是0.14,谁知道这是什么问题吗?
    xiaokangroot
    @xiaokangroot
    单独编译FE,Could not resolve dependencies for project org.apache:fe-core:jar:3.4.0: Failure to find org.apache:spark-dpp:jar:1.0.0 in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates are forced
    这事啥原因呢
    [INFO] doris-fe ........................................... SUCCESS [ 0.002 s]
    [INFO] fe-common .......................................... SUCCESS [ 1.061 s]
    [INFO] spark-dpp .......................................... SUCCESS [ 0.694 s]
    [INFO] fe-core ............................................ FAILURE [ 0.917 s]
    求教一下各位大佬们
    moutains
    @moutains
    @FreeOnePlus 报错日志里会有,MD5希望是。。。。实际是。。。。,找到这个替换掉原来的; 原来的MD5注释掉,不要直接删掉,只是个习惯;
    monk
    @alenfive
    请问一下doris的bitmap字段,大家是怎样更新的,准备用来用人物画像标签的存储更新
    cooltnt
    @cooltnt

    说下我遇到的问题(调研阶段, 各种使用测试), 不熟悉, 可以说乱用, 哈哈哈哈. 如果说副本有如下提示: 是不是代表"无药可救", 只能重建表, 重新导入数据???
    ERROR 78 [ReportHandler.deleteFromMeta():554] backend [11001] invalid situation. tablet[14876] has few replica[1], replica num setting is [1]
    大概操作步骤( 因为操作过多次, 不一定准确):
    在本机,用vmware测试
    1、单虚拟机,1 fe, 1be
    2、建表,设置 "replication_num" = "1"
    3、增加1台be虚拟机, 设置 "replication_num" = "2", select 正常
    4、再增加1台be虚拟机,设置 "replication_num" = "3", select 正常
    但是某日,最后增加的虚拟机出现问题,无法启动,日志中出现,头部提到的error信息。 其中出现9个不健康副本, 且状态全部为dead

    想请教的问题是:
    这种情况有没有可能修复? 怎么修复?

    tinkerrrr
    @tinkerrrr
    请教一下,Hadoop Broker 不支持导入 snappy 文件吗
    hanfengcan
    @hanfengcan
    请问一下,我用官方docker 1.2版本编译了tag 0.14.0的源码, 在启动fe的时候, 提示 很多行 bin/start_fe.sh: 56: [[: not found 之后, 提示bin/start_fe.sh: 85: Syntax error: word unexpected (expecting ")"). 请问这个要如何解决了. 我是指启动了be, 是可以启动的
    请问有遇过类似问题的朋友吗
    hanfengcan
    @hanfengcan
    解决了, 不能使用 sh /bin/start_fe, 改用 ./bin/start_fe 就可以了
    Dragonwarrior
    @dragonwarrior01
    请问有没有flink1.13 doris的connector
    1 reply
    提供的jar连上去报错
    yangmingjie
    @yangmingjie
    终于找到组织,我遇到一个问题:使用外联表然后insert into,从mysql导入到doris(有5千万的数据),数据总是导入不全,也没有报错。、
    xiaobidong
    @xiaobidong
    请问java.sql.SQLSyntaxErrorException: errCode = 2, detailMessage = The size of a row (3276744) exceed the maximal row size: 100000怎么解决
    z821193713
    @z821193713

    Failed to execute sql: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

    The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

    这个有遇到过吗
    版本0.14.13
    各位大神们
    安装fe后,在webui上包的错误
    ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0
    客户端链接包的这个错误
    Yun Tang
    @Myasuka
    这个聊天室居然是中文的,我按照官网的步骤一步步走,还以为是英文的 hahahaha
    haocean
    @Wahno
    请问java.sql.SQLSyntaxErrorException: errCode = 2, detailMessage = The size of a row (3276744) exceed the maximal row size: 100000怎么解决
    表里列长度长了,所有列的总字节长度不能超过100K
    S59592
    @S59592
    苹果M1是不能装doris吗?
    skylines
    @rookiegao
    官网有arm编译 指南
    huangjun
    @huangjunAAAA
    请问 http://192.68.4.11:9031/rest/v1/system?path=//backends 这个接口一直超时是怎么回事? http://192.168.4.11:9031/system?path=//backends 这个图形化界面是没问题的
    我使用 doris-flink-connector一直连不上
    huangjun
    @huangjunAAAA
    2021-10-25 19:05:06,215 ERROR (nioEventLoopGroup-3-8|155) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static/css?res=DataTables-1.10.21/css/dataTables.bootstrap.css
    2021-10-25 19:05:06,216 ERROR (nioEventLoopGroup-3-7|154) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/jquery.dataTables.js
    2021-10-25 19:05:06,216 ERROR (nioEventLoopGroup-3-6|153) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/dataTables.bootstrap.js
    2021-10-25 19:05:06,225 ERROR (nioEventLoopGroup-3-6|153) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/jquery.dataTables.js
    2021-10-25 19:05:06,228 ERROR (nioEventLoopGroup-3-6|153) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/dataTables.bootstrap.js
    2021-10-25 19:05:13,895 ERROR (nioEventLoopGroup-3-6|153) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static/css?res=DataTables-1.10.21/css/dataTables.bootstrap.css
    2021-10-25 19:05:13,895 ERROR (nioEventLoopGroup-3-7|154) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/jquery.dataTables.js
    2021-10-25 19:05:13,895 ERROR (nioEventLoopGroup-3-8|155) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/dataTables.bootstrap.js
    2021-10-25 19:05:13,904 ERROR (nioEventLoopGroup-3-8|155) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/jquery.dataTables.js
    2021-10-25 19:05:13,907 ERROR (nioEventLoopGroup-3-8|155) [StaticResourceAction.executeGet():160] Request with wrong path. url: /static?res=DataTables-1.10.21/js/dataTables.bootstrap.js
    日志还一直报这个
    是不是我编译有问题?
    moonsphere
    @moonsphere
    同问个编译环境问题 https://github.com/apache/incubator-doris/discussions/6907 - - 难道大家都是用 docker 开发吗~ :)
    wangxucumt
    @wangxucumt
    [ 98%] Built target rpc_replay
    [ 98%] Running C++ protocol buffer compiler on view.proto
    /bin/sh: --cpp_out: command not found
    make[2]: [tools/rpc_view/view.pb.cc] Error 127
    make[1]:
    [tools/rpc_view/CMakeFiles/rpc_view.dir/all] Error 2
    编译DORIS的时候,报错了,GCC使用的是7.5版本,有同学遇到过这个问题嘛,是否跟GCC版本有关系
    King0513
    @King0513
    看上去是代码换行了
    Mongolian1
    @Mongolian1
    请问doris有helm chart吗?
    kubernetes上的部署有官方文档可看吗?
    官方推荐部署在kubernetes上吗?然后存储挂ceph
    这样子
    Babaya111
    @Babaya111
    image.png
    创建集群的操作为啥是无效的呢