はてなブックマーク

結果は、上の表のとおりで、Numba を使う効果は大いにあることがわかります。Numba JIT は高速化したい関数に@njit とデコレータを付けるだけでなのですが、それだけで約900ms となって AC にできてしまいます。 このケースでは、JITする関数がそれほど複雑でないためコンパイル時間が約250msなので、それで十分なのですが、コードが複雑になるとコンパイル時間が長くなってしまいます。その場合には、キャッシュ又は AOT が使えます。 キャッシュを使った場合は、約630msで PyPy の実行時間と同じ程度になります。キャッシュを使う場合には、Numpy と Numba の読み込みが必要で最低でも約500msが必要になります。「AtCoderはJavaで2倍の余裕があるようにしています」というルールだそうなので、Java よりも処理は高速になる場合が多いので、ほぼ問題なく AC

マイクロソフトが Excel に Python を搭載することを検討しているというニュースが流れたのは1年前のことで、結構話題になりました。昨年の Python Advent Calendar 2017 では、ExcelにPythonが搭載されることを期待して「ExcelにPythonが搭載?」という記事を書きましたが、今回は、その続編を書きます。 そのニュースというのは、マイクロソフトが Excel に Python を搭載するかどうかを検討するためアンケートを実施したということなのですが、詳しく知りたい方は、Publickeyの「ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中」という記事がわかりやすいので、そちらをみてください。 その後どうなったかというと、マイクロソフトが運営しているコミュニティサイト「Excel’s Suggestion Box」に投稿されて

Python の環境構築についての記事は Qiita でも非常に多く今更とは思うのですが、Python を本格的に使い始めて2年間、いろいろと試行錯誤したので、この機会に纏めてみました。「決定版」と書いてある記事が結構多いのですが、現実に使われているものにはそれぞれに存在価値があると思うし、ベストプラクティスはどういう使い方をするかによって変わってくるものだと思うので、Python Developers Survey の調査結果を参照しながら書いてみました。なお、Python Developers Survey 2018 の結果は概要しか公表されていないので、詳細なデータは Python Developers Survey 2017 の調査結果の方から引用しています。また、以下ではこれらを単に「調査結果」と省略して記載しています。 (このページは、Windows用にして、Linuxは Py

matplotlibで日本語を扱う場合の問題点をまとめてみます。 matplotlibでは既定のフォントが DejaVu Serif になっており、日本語は豆腐になってしまう。英語フォントの足りない部分を日本語フォントにリンクする機能がないので、日本語を表示しようと思ったら、日本語フォントを指定する必要があります。 日本語用フォントの殆どがttcフォントファイルであるが、matplotlibではttcフォントファイルに対応していない。例えば、Windowsの場合だと、MSゴシック、MS明朝、メイリオ、游ゴシックというよく使われているフォントがttcである。 ver 3.1.0 から、ttcフォントファイルに対応したので PC だと新しくフォントをインストールする必要はなくなりました。ただし、次の問題は残っています。(2019年4月29日 5/19 修正、以下についても大幅に修正しています。)

Linqが遅い理由 Linqが遅い理由は、通常のRDBで使用される行ストア、すなわち行と列を含むテーブルとして論理的に編成され行方向のデータ形式で物理的に格納されている場合は、個別のデータを取り出すのは速いのですが集計や列の計算をするのは遅いのです。MicrosoftがSQL Serverの宣伝でいっている「インメモリにして列ストア インデックスを使うと従来より100倍以上高速な分析ができる」というものです。C#において、最近Span<T>が導入されたのも、現在のListやArrayではこうした処理を遅いためです。単純に言うとList<T>だと、Tのメンバーxの列を取り出すのにループ処理をするしかないというのが問題なのです。 一方のPythonの方は、Pythonそのものは死ぬほど処理が遅いですが、Pythonから呼び出しているNumPyはC言語で書かれていてガリガリにチューニングされてい

Webアプリ用のデータをExcelを使って作っている関係で、Python、C#でExcelファイルを読み込むためのライブラリーを比較してみました。(.NET Core 2.1、Python3.7 が公開されたので記載内容を修正 2018年7月3日) Excelファイルを読み込むための方法として、Microsoft.Office.Interop.Excelを使ったCOM参照による方法を紹介している記事も多いですが、それを使うのは処理が遅いし、問題も多いし、そもそも Excel が必要なので Linux サーバーだと動作しません。以下に紹介する OSS のライブラリーはかなり改善されていて、少し注意すれば問題なくかつ高速に処理することができます。 パフォーマンス比較 Excelのファイルを読み込みTSV形式で出力するコンソールアプリケーションを作成し、それの起動から終了までの時間を測定しました

ASP.NET Advent Calendar 2015 で書いた「ASP.NET 5、.NET Core への移行作業をしてみた感想」の続きです。統計メモ帳と CreativeWeb の .NET Core 及び ASP.NET Core 1.0 への移行が完了したので、今年(2016年)の4月から Ubuntu サーバーで公開しています。実際に運用してみて Ubuntu サーバーでも特に問題はない状況なので、今後は Linux サーバーを使って ASP.NET アプリを運用していきたいと思っています。(5月16日にRC2(ツールについてはプレビュー1)が公開され、アプリもRC2に移行したので、記述を大幅に修正 2016年5月25日、6月27日にRTM(ツールについてはプレビュー2)が公開されたので修正 2016年7月1日) Ubuntu サーバーを使おうと思った理由 個人的な理由で、B

Python 3.8 が公開されました。Ubuntu 18.04 の場合、Python 3.8 のパッケージが用意されることはないので、Ubuntu の LTS で Python 3.8 を使おうとしたら来年の4月に公開される Ubuntu 20.04 まで待つ必要があります。 Python の場合は、それほどバージョンアップを急ぐ必要はないのですが、テスト等のために Ubuntu 18.04 で Python 3.8 を利用しようと思ったら、最も基本的なインストールの方法はソースを python.org からダウンロードしてきて自分でコンパイルすることです。それ以外には、データサイエンス系であれば Anaconda がお勧めですが、使えるようになるまでにはかなり時間が必要です。また、ppa の deadsnakes を使ってインストールする方法もあります。 ソースからビルドする場合の基本

自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにします。自分は、ExcelはデータのためのGUIツールとしては便利で役に立つツールだと思っています。ただ、VBAの方が長年放置されていて最近の言語としては落第なのでPythonが搭載されることを期待したいと思っています。急遽テーマを変更したので、時間がなくて以下は「Excel VBA Advent Calendar 2017 20日目」の記事と同じにしてしまいました。 「ExcelにPythonが搭