by

Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    kojix2
    @kojix2
    @kou GR.rb の日本語表示が文字化けした理由は、既定のフォントをComputerModern Serif Romanに設定しているためでした。(これはクヌースが作ったフォントだそうですね。) GR.jlに合わせる方針ですが、私は日本語のヘビーユーザーのため、フォントの設定は解除しました。
    Sutou Kouhei
    @kou
    なるほど!後でまた試してみます!
    Kazuaki Ishizaki
    @kiszk
    archery benchmarkコマンドがうまく動かない。dockerではなく、自分の開発環境で実行すると、find_packageでエラーになってしまう。x86_64/s390xともに同じ。
    apt install libgtest-devしたり、いろいろ見ているけどどうしてもわからない...
    archery benchmark diff --output=diff.json --suite-filter=parquet-encoding-benchmark --benchmark-filter=PM_PlainDecodingBoolean --repetitions=1 origin/master --preserve
    ...
    Selected GCC installation: /usr/bin/../lib/gcc/s390x-linux-gnu/7.5.0
    Candidate multilib: .;@m64
    Candidate multilib: 32;@m32
    Selected multilib: .;@m64
    
    Selected compiler clang 8.0
    Running without a controlling terminal or in a dumb terminal
    Using ld linker
    CMake Error at cmake_modules/FindGTest.cmake:78 (message):
      Could not find the GTest library.  Looked in in
      /tmp/arrow-archery-rfd8rp5u/origin_master/arrow/cpp/thirdparty/googletest-release-1.7.0.
    Call Stack (most recent call first):
      CMakeLists.txt:374 (find_package)
    ...
    Sutou Kouhei
    @kou
    --cmake-extras="-DGTest_SOURCE=BUNDLED"を足してみてください!
    あぁ、origin/masterがすごく古いのかも。
    Kazuaki Ishizaki
    @kiszk
    あ、origin/masterからとっているんだった... ふだんはupstream使っているので、そっち向けてみます
    Kazuaki Ishizaki
    @kiszk
    http://github.com/kiszk/arrow 更新しても、--cmake-extras="-DGTest_SOURCE=BUNDLED しても同じエラーです。 preserveしているので、/tmp/foo/origin_master/arrow の下で、git logすると 先頭にFeb. とかでてくるので、古いのを掴んでいるのは間違いないようです
    Sutou Kouhei
    @kou
    ローカルのorigin/masterは新しくなっていますか!?
    Kazuaki Ishizaki
    @kiszk
    はい、これは15:19のコメントを書いたときから下記のとおりです
    $ git log | head -3
    commit d7f6e9f5a5e7cdbe4646a19a9a8ad7c2a253a7eb
    Author: Joris Van den Bossche <jorisvandenbossche@gmail.com>
    Date:   Wed Sep 9 14:47:19 2020 +0200
    Sutou Kouhei
    @kou
    archery benchmark diff masterだけだとどうなりますか!?
    あるいはarchery benchmark diffだけとか!
    Kazuaki Ishizaki
    @kiszk
    どちらもだめでした。前者は、同じ結果です。
    % archery benchmark diff  --preserve
    ...
    Selected compiler clang 8.0
    Running without a controlling terminal or in a dumb terminal
    Using ld linker
    CMake Error at cmake_modules/FindGTest.cmake:78 (message):
      Could not find the GTest library.  Looked in in
      /tmp/arrow-archery-6kulo91o/origin_master/arrow/cpp/thirdparty/googletest-release-1.7.0.
    Call Stack (most recent call first):
      CMakeLists.txt:374 (find_package)
    
    ...
    % pushd /tmp/arrow-archery-6kulo91o/origin_master/arrow/ && git log | head -3
    /tmp/arrow-archery-6kulo91o/origin_master/arrow ~/Arrow/arrow/cpp/src/arrow/testing
    commit e6905effbb9383afd2423a4f86cf9a33ca680b9d
    Author: proflin <proflin.me@gmail.com>
    Date:   Sat Feb 20 15:50:45 2016 +0800
    後者は、別のエラーです
    % archery benchmark diff
    ...
    -- Configuring done
    -- Generating done
    -- Build files have been written to: /home/ishizaki/Arrow/arrow/cpp
    Traceback (most recent call last):
      File "/home/ishizaki/.local/bin/archery", line 11, in <module>
        load_entry_point('archery', 'console_scripts', 'archery')()
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 829, in __call__
        return self.main(*args, **kwargs)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 782, in main
        rv = self.invoke(ctx)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
        return _process_result(sub_ctx.command.invoke(sub_ctx))
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
        return _process_result(sub_ctx.command.invoke(sub_ctx))
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 1066, in invoke
        return ctx.invoke(self.callback, **ctx.params)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 610, in invoke
        return callback(*args, **kwargs)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/decorators.py", line 21, in new_func
        return f(get_current_context(), *args, **kwargs)
      File "/home/ishizaki/Arrow/arrow/dev/archery/archery/cli.py", line 564, in benchmark_diff
        benchmark_filter=benchmark_filter)
      File "/home/ishizaki/Arrow/arrow/dev/archery/archery/benchmark/runner.py", line 86, in from_rev_or_path
        return CppBenchmarkRunner(cmake_def.build(build_dir), **kwargs)
      File "/home/ishizaki/Arrow/arrow/dev/archery/archery/utils/cmake.py", line 116, in build
        **kwargs)
      File "/home/ishizaki/Arrow/arrow/dev/archery/archery/utils/cmake.py", line 144, in __init__
        assert CMakeBuild.is_build_dir(build_dir)
    AssertionError
    Sutou Kouhei
    @kou
    archery --debug benchmark diff masterで実際に実行しているgitのコマンドラインを確認してもらえますか!?
    Kazuaki Ishizaki
    @kiszk
    ありがとうございます、こんな感じです
    $ archery --debug benchmark diff master --preserve
    DEBUG:archery:Executing `['git', '-C', '/home/ishizaki/Arrow/arrow-flight/cpp/src/arrow', 'rev-parse', '--show-toplevel']`
    DEBUG:archery:Comparing master (contender) with origin/master (baseline)
    DEBUG:archery:Executing `['git', 'clone', '--shared', PosixPath('/home/ishizaki/Arrow/arrow'), '/tmp/arrow-archery-fd73en9e/master/arrow']`
    Cloning into '/tmp/arrow-archery-fd73en9e/master/arrow'...
    done.
    DEBUG:archery:Executing `['git', 'rev-parse', 'master']`
    DEBUG:archery:Executing `['git', '-C', '/tmp/arrow-archery-fd73en9e/master/arrow', 'checkout', b'd7f6e9f5a5e7cdbe4646a19a9a8ad7c2a253a7eb']`
    Note: checking out 'd7f6e9f5a5e7cdbe4646a19a9a8ad7c2a253a7eb'.
    
    You are in 'detached HEAD' state. You can look around, make experimental
    changes and commit them, and you can discard any commits you make in this
    state without impacting any branches by performing another checkout.
    
    If you want to create a new branch to retain commits you create, you may
    do so (now or later) by using -b with the checkout command again. Example:
    
      git checkout -b <new-branch-name>
    
    HEAD is now at d7f6e9f5a ARROW-9936: [Python] Fix / test relative file paths in pyarrow.parquet
    ...
    $ pwd
    /home/ishizaki/Arrow/arrow/cpp/src/arrow
    $ git branch
      ARROW-8797
      flight
    * master
    $ git log | head -3
    commit d7f6e9f5a5e7cdbe4646a19a9a8ad7c2a253a7eb
    Author: Joris Van den Bossche <jorisvandenbossche@gmail.com>
    Date:   Wed Sep 9 14:47:19 2020 +0200
    $ ls -al ~/Arrow/
    total 9928
    drwxrwxr-x 14 ishizaki ishizaki    4096 Aug 14 07:02 .
    drwxr-xr-x 12 ishizaki ishizaki    4096 Sep 14 07:35 ..
    lrwxrwxrwx  1 ishizaki ishizaki      12 Jul 26 06:20 arrow -> arrow-flight
    Sutou Kouhei
    @kou
    $ cd ~/Arrow/arrow
    $ git log -n1 origin/master
    $ git fetch --all --prune --tags --force -j$(nproc)
    $ git log -n1 origin/master
    これでどんなもんですか!?
    masterは更新されていると思うんですが、remotes/origin/master(というかremotes/origin/HEAD)が更新されていない気がします。
    Kazuaki Ishizaki
    @kiszk
    たしかに、そのとおりでした... ちゃんと理解しきっていなかった、ありがとうございます
    $ git log -n1 origin/master 
    commit e6905effbb9383afd2423a4f86cf9a33ca680b9d (origin/master, origin/HEAD)
    Author: proflin <proflin.me@gmail.com>
    Date:   Sat Feb 20 15:50:45 2016 +0800
    
        ARROW-9: Replace straggler references to Drill
    
        - Renaming drill to arrow for TestBaseAllocator
        - Fix ArrowBuffer as ArrowBuf
        - Replace Drill with Arrow for ValueHolder
    
        This closes #2.
    Sutou Kouhei
    @kou
    よかったです!
    Kazuaki Ishizaki
    @kiszk
    configure は抜けて、別エラーにうつりました。これならなんとかなりそうです。
    --   Outputting build configuration summary to /tmp/arrow-archery-dk05wu17/origin_master/build/cmake_summary.json
    -- Configuring done
    -- Generating done
    -- Build files have been written to: /tmp/arrow-archery-dk05wu17/origin_master/build
    Traceback (most recent call last):
      File "/home/ishizaki/.local/bin/archery", line 11, in <module>
        load_entry_point('archery', 'console_scripts', 'archery')()
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 829, in __call__
        return self.main(*args, **kwargs)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 782, in main
        rv = self.invoke(ctx)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
        return _process_result(sub_ctx.command.invoke(sub_ctx))
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
        return _process_result(sub_ctx.command.invoke(sub_ctx))
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 1066, in invoke
        return ctx.invoke(self.callback, **ctx.params)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/core.py", line 610, in invoke
        return callback(*args, **kwargs)
      File "/home/ishizaki/.local/lib/python3.6/site-packages/click/decorators.py", line 21, in new_func
        return f(get_current_context(), *args, **kwargs)
      File "/home/ishizaki/Arrow/arrow/dev/archery/archery/cli.py", line 569, in benchmark_diff
        benchmark_filter=benchmark_filter)
      File "/home/ishizaki/Arrow/arrow/dev/archery/archery/benchmark/runner.py", line 78, in from_rev_or_path
        os.mkdir(root_rev)
    FileExistsError: [Errno 17] File exists: '/tmp/arrow-archery-dk05wu17/origin_master'
    kojix2
    @kojix2
    @kou homebrew の libgr の場所を .pc ファイルで検出できるようにしたいと思いますが、どうするのがおすすめですか?
    Sutou Kouhei
    @kou
    pkg-config 1.4.3をインストールしてこんな感じです!(ENV['GRDIR']が定義されていたらそっちを優先するとかもう少しゴニョゴニョする必要があります。)
    require "pkg-config"
    begin
      libgr_so = PKGConfig.variable("gr", "sopath")
    rescue PackageConfig::Error
      libgr_so = search_shared_library('libGR.so')
    end
    kojix2
    @kojix2
    PKGConfig.variable("gr","sopath")/usr/local/Cellar/libgr/0.52.0/lib/libGR.so が取得できるのを確認しました!
    おいおいやってきます。
    Shoichi Kagawa
    @kanga333
    fluent-plugin-s3-arrowなんですが、ベンチのデータを1MBサイズ以上にすると table.readの箇所で、Invalid: straddling object straddles two block boundaries (try to increase block size?) (Arrow::Error::Invalid)というエラーに遭遇するようになりました。
    19 replies
    Kenta Murata
    @mrkn
    enumerable-statistics の JRuby 対応を至急やらねばならなくなりました
    がんばろう
    Sutou Kouhei
    @kou
    JRubyってRubyとして書いても十分に速くなるんでしたっけ?それともJavaで書かないと速くならないんでしたっけ?
    Kenta Murata
    @mrkn
    とりあえずピュアルビー実装を入れて JRuby はピュアルビーを使うようにするつもりです
    遅いかどうかはその後で考えようかと
    Sutou Kouhei
    @kou
    なるほど!
    Kenta Murata
    @mrkn
    unicode_plot の依存関係をシンプルに保つためには、まずはそれでいいかなと思ってます。
    Sutou Kouhei
    @kou
    そうですね!
    kojix2
    @kojix2
    UnicodePlot ベースのCLIツール、便利だけどクラスを増やしたりしてたらだんだん起動がモッサリしてきてた気がする。週末にどこで時間とってるか測定してみたいです。https://github.com/kojix2/uplot
    1 reply
    Kenta Murata
    @mrkn
    xyxy って何をやってるんですか?
    kojix2
    @kojix2
    xyxy は colのheaderが、x1, y1, x2, y2, x3, y3
    みたいに並んでいる場合、
    xyy は colのheaderが、x, y1, y2, y3
    みたいに並んでいる場合という意味です。
    Kazuaki Ishizaki
    @kiszk
    archery benchmark、一日clickと戯れてなんとなく分かってきたので、早いうちにfeedbackがもらえる期待をこめてDraftを apache/arrow#8210
    Sutou Kouhei
    @kou
    さすがです!
    kojix2
    @kojix2
    @kou GR.rbのgtkのexampleでUbuntuでcairo context を使おうとするとlibfreetypeと書かれたエラーが発生することがあって、原因がよくわかりません。私の環境だけで起きるものかも知れません。gtkやcairo、あるいはUbuntuを20.04にアップデートしたら改善するかなと暫く様子をみていたのですが解決しなそうなので、今度時間があるときに見てくださると助かります。red-data-tools/GR.rb#32
    今のexampleはcairoで文字を出さずにGR.textで文字を出すようにしてエラーを回避しています。
    Sutou Kouhei
    @kou
    わかりました!
    たしかにDebian GNU/Linux sidだと動くのでUbuntuのなにかに問題がありそうですね。
    あとでUbuntuで確認してみます。
    18 replies
    Kenta Murata
    @mrkn
    freetype でどんなエラーが起きたかっていう情報は出してくれないんですね
    gtk.rb:31:in `show_text': error occurred in libfreetype
    kojix2
    @kojix2
    ありがとうございます。最近のgtkはエラーがスッキリして見やすくなってとても良いと思ってるのですが、詳細がわかりにくい時もあるのかも。
    Sutou Kouhei
    @kou
    これはcairoが出しているやつなんですが、cairoはステータスコードでだけエラーを表現していて、文字列では表現していないので、大雑把な情報しかわからないのです。。。
    kojix2
    @kojix2
    そうなんですね。(何もわからないのでこれぐらいしか言えない…)
    Kazuaki Ishizaki
    @kiszk

    私のPRだけ、condaのdockerの中のcmakeのconfigでaws-cpp-sdk-mainが見つからない。これが原因なのか、cmakeに失敗してテストがfailしてしまう...
    masterにrebaseしてみても同じ、なぜだろう???
    https://github.com/apache/arrow/pull/8210/checks?check_run_id=1136775267#step:8:3631
    https://github.com/apache/arrow/pull/7507/checks?check_run_id=1136863307#step:8:3579

    他のPRはうまくいっているようなのに
    https://github.com/apache/arrow/pull/8201/checks?check_run_id=1128390548#step:8:3651

    Sutou Kouhei
    @kou
    masterだと失敗している https://github.com/apache/arrow/runs/1131824712?check_suite_focus=true#step:8:3700 ので、Condaのaws-sdk-cppのパッケージが aws-sdk-cpp-1.7.164-hba45d7a_2 から aws-sdk-cpp-1.7.164-h46d4169_3 に更新されたのが原因だと思います!nightlyももろもろ失敗していますし!
    Kazuaki Ishizaki
    @kiszk
    ありがとうございます。masterにrebaseする前からfailしていたので、私の環境の問題かと思ってしまいました。
    Sutou Kouhei
    @kou
    masterでは直った気がします!
    Kazuaki Ishizaki
    @kiszk
    ありがとうございます、rebaseして私のPRでも直ったことを確認しました。
    apache/arrow#8210