はてなブックマーク

はじめに Verylとは現在開発中の新しいハードウェア記述言語です。 最近Model Context Protocol(MCP)なるものが流行っているようで「Verylでも対応すると面白いかな」などと思っていたところ、lsmcpというツールが登場しました。これはMCP経由でLanguage Serverに対してリクエストを投げられるもので、LSPに対応した任意の言語で利用することができます。(原理的には。実際にはLSP実装毎の挙動差などで苦労されているようです...) 今回VerylのLSP実装であるveryl-lsをlsmcpから呼ぶことができたので、Claude CodeにVerylのコードを書かせてみました。 準備 現在のリリースされているveryl-lsのv0.16.3にはバグがあってlsmcpと連携させることができません。手元でビルドするか、(2025年08月16日以降の)最新のnig

自己紹介 高校:理系選択、数学はそこそこ得意だった。 大学:数学とは無縁の日々(行列、統計、微積の応用すらほぼナシ)で部活三昧。 社会人:未経験スタートでデータサイエンティストとして働いている。業務を重ねるにつれて数学の再学習の必要性を感じることが増えた。 アクチュアリー数学とは 日本アクチュアリー会の一次試験の1科目 主な出題範囲:確率、統計、金融工学など 日程:2024年12月11日(←私の誕生日でした( ́;ω;`)) 難易度:統計検定1級よりも難しいとされる。「大学数学+実務の応用力」が問われる 試験時間:3時間/記述式ではなくマークシートだが、途中計算の量が尋常じゃない。 →私は解いてる時、気持ち悪くなりました(笑) 合格率:約10〜20%程度(年によって上下) アクチュアリー数学を受けようとした理由 日々の業務でデータ分析をしている中で、「この分析は本当に正しいのか?」「このモデル

個人のプロダクトで Claude Code を導入していますが、ガンガン成果をあげてくれています。現在はほぼ Claude Code のみに実装してもらっています。 そんな中で、そもそもこれやっておかないと Claude Code を使い始めるスタートラインにも立ててないのでは......という項目がいくつかあったのであげてみます。 開発者ができることを全部できるようにしてあげる Claude Code は所詮 AI です。どれだけ CLAUDE.md を充実させても、どれだけうまいプロンプトの書き方をしたところで完璧な作業をしてくれるわけではありません。 そんな中で、開発者はちゃんとした完成度のものを commit するまで何をやっているかを思い返してみてください。 エディタ上でエラーや警告が出ていたら修正する 保存した時フォーマッタを実行する 最低限アプリケーションが動いていて動作確認できるこ

1 はじめに 初めまして。データアナリティクスラボ株式会社データソリューション事業部の池田と申します。 今回は社内活動の一環として、大規模言語モデルにファインチューニングで知識付与を行う検証をしたので、その結果について紹介します。 以前、社内の勉強会で大規模言語モデルにファインチューニングでドメイン知識を付与することは難しいのでRAG(Retrieval Augmented Generation)を使うことが望ましいという内容の論文を目にすることがあり、本当にファインチューニングでの知識付与は難しいのか?と疑問に思ったことがきっかけでこの検証を始めることにしました。 2 要約 弊社(データアナリティクスラボ株式会社)のHPの情報をQ&A形式に整形した上で、大規模言語モデル(Swallow-MS-7b-instruct-v0.1)にInstruction Tuningによって学習させました。

はじめに はじめまして。データアナリティクスラボの力岡です。 私は日頃、テーブルデータの分析業務において、LightGBMをはじめとする勾配ブースティング系アルゴリズムを活用しています。ただし、その仕組みを十分に理解したうえで使いこなせているかというと、まだ自信が持てない部分もあります。そこで本記事では、自分自身の理解を深めるとともに、これから学ぶ方々にも役立つよう、勾配ブースティング決定木(GBDT)について体系的に解説していきます。 1. 勾配ブースティング決定木 勾配ブースティング決定木(Gradient Boosting Decision Trees、GBDT) は、複数の決定木(弱学習器)を組み合わせて高い予測精度を実現する、アンサンブル学習の一手法です。その名の通り、「勾配降下法」「ブースティング」「決定木」という3つの要素を組み合わせて構成されており、実務やKaggleなどの

はじめに オープンソースソフトウェアを公開するときに書くLICENSEファイルには Copyright (c) 2000 Naoya Hattaのように年度と著作権者を示す行があることがあります。 新年早々この行の年度を更新するプルリクエストが大量に発生する、という事案があったので情報共有のため記録に残しておきます。 何が起こったか 1/1の21時ごろ、"Update LICENSE, fix copyright license year" というタイトルで、Copyright行の年度を2025に変更するプルリクエストが https://github.com/dalance/procs に対して作成されました。 README.mdに対するtypoの修正などは時々来るのでこれもそういった感じのものだろうと思ったのですが、PR作成者のプロフィールを見に行ったところ(どういう分野の方が自分のソフ

はじめに 技術スタックというと使用しているプログラミング言語やフレームワークをまとめたもので、最近はWeb系を中心にこれを公開する会社が増えているようです。 しかしASIC開発の分野で技術スタックを公開しているという話は聞いたことがないな、と思ったので自社の技術スタックを書いてみることにしました。 PEZY Computingの技術スタック というわけで私の所属している株式会社PEZY ComputingのASIC開発チームの技術スタックが以下です。 もちろんASIC開発をするのにはこれだけでは足りず、本来は利用しているファウンドリ(LSIの製造会社、TSMCなど)やEDAツールベンダ(ASIC開発におけるコンパイラ相当のツール群を提供している会社、SynopsysやCadenceなど)も入ってくるはずなのですが、そのあたりはNDAなどあるので省略しています。 以下では各項目について簡単に

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の平野です。 私は社内のラボチームに所属しており、生成AIに関する研究・勉強に取り組んでいます。 目的 昨今自分のローカルなPCやサーバー上で動かせるオープンソースのLLM(Large Language Model:大規模言語モデル)として様々なLLMがリリースされており、現状LLMで最高峰の性能であるChatGPTやGeminiに匹敵するほど性能が高いオープンソースのLLMも徐々に出てきています。 それに伴って、今後個人あるいは企業でオープンソースのLLMを利用したLLMシステム構築の需要が高まってくることが考えられます。 そこで、本記事ではオープンソースのLLM(以後ローカルLLM)を用いて一般的かつ簡易的なLLMシステムであるChatbot構築の手順をおさらいするものになります。 ※(注記)詳細記事 ・ローカ

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の力岡と申します。普段はデータサイエンティストとして、データ分析や機械学習モデルの構築、生成AIアプリの開発などを行っています。 今回は、社内で実施した「LLMファインチューニング勉強企画」についてご紹介します。本記事では、企画を主導した立場から、新技術を学ぶために工夫した点や企画の進め方について紹介していきたいと思います。データアナリティクスラボ株式会社に興味のある方や、これからLLMのファインチューニングを勉強してみたいという方はぜひご覧いただければと思います。 企画概要 目的 本企画の目的は、LLM(大規模言語モデル)のファインチューニング技術を習得することで、社員のスキル向上や会社全体の技術力向上を図ることです。また、普段は異なるクライアント先で業務を行う社員が多いため、本企画を通じて交流し、技術知

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の力岡と申します。普段はデータサイエンティストとして、データ分析や機械学習モデルの構築、生成AIアプリの開発などを行っています。 近年、AIの発展に伴い、自律的にさまざまなタスクを遂行するAIエージェントが注目を集めています。生成AIに関するシンポジウムやセミナーに参加すると、この「AIエージェント」という言葉を聞く機会が増えており、RAGに続いて次にバズる技術になるのではないかと感じ、今回キャッチアップしてみることにしました。 AIエージェントとは AIエージェントは技術分野によって定義が多少異なることがありますが、一般的には、環境と対話し、データを収集し、そのデータをもとに自律的にタスクを実行することで、特定の目標を達成するためのソフトウェアを指します。特に、今回焦点とするのは、LLM(大規模言語モデル

はじめに データソリューション事業部の宮澤です。 昨日Xにてポストされていた以下の記事を理解しようと思い、読んでみました。 概要 GPUメモリ節約のためによく使われる gradient_accumulation_steps の挙動にバグがあったとのこと。unslothおよびtransformersのライブラリでは修正されたと報告されています。 バグについて 事象 unslothの記事を見ると、gradient accumulationを使用すると、フルバッチトレーニングを使用する場合よりも損失が大きくなったことが示されたとのことです。実際に以下の図を見ると、バッチサイズ*勾配累積=16で固定したときに、勾配累積が大きいほうが損失が大きくなっています。 https://unsloth.ai/blog/gradient より引用 原因 原因として、1累積ステップで数値エラーが発生している 2損

はじめに 2024年07月25日 にリリースされた Rust 1.80.0 にて Rust by Example の日本語版が公式に公開されました。画面右上にある地球儀のアイコンから日本語を選択可能になっています。 この取り組みを始めたのは2023年の10月頃だったのですが、さまざまなレビュー待ちやRustにおけるドキュメント公開フローをよく分かっていなかったことによる失敗もあり、最終的には1年近くかかってしまいました。 Rustはコンパイラの開発などかなり良くドキュメント化されている(Rust Compiler Development Guide)のですが、ドキュメントの管理についてはほとんど資料がなく、Zulip で聞かないと分からないようなこともありました。 この記事ではこの1年でやってきたことを時系列で書いていきます。Rustのドキュメントに貢献したい人には参考になる部分があるかもし

はじめに はじめまして。データアナリティクスラボ株式会社データソリューション事業部の関田です。 私は普段の業務で量子コンピューティングを用いた最適化や数理最適化、そして深層学習などを扱っています。この業務経験をきっかけに、量子コンピューティングに興味を持ち勉強するようになりました。 そして先日、日本量子コンピューティング協会が実施する量子エンジニア資格検定に合格しました! 今回は、量子エンジニア資格についての紹介をさせていただきます。 ※(注記)こちらの記事で紹介している内容は、2024年7月時点での情報です。講座や資格検定の内容は変更となる可能性があるため、興味を持たれた方は公式HP等で最新の情報を参照してください。 量子エンジニア資格検定とは 量子エンジニア資格検定とは日本量子コンピューティング協会が実施する資格検定で、ゲート式とアニーリング式の2種類あります。 ゲート式やアニーリング式という

はじめに デバッグというとデバッガを使ったりprint文を挿入するのが一般的です。しかし、現実にはそういった手法を取れない環境でデバッグする必要があることもあります。 例えば私の仕事はLSIの設計ですが、製造されたLSIの動作中に内部を見ることは当然できません。もし何らかの不具合が発生した場合、内部を観測することなくデバッグする必要があります。 こういったデバッグ手法をここではブラックボックステストにならって「ブラックボックスデバッグ」と呼ぶことにします。ブラックボックスデバッグはLSI固有の技法ではありません。例えばソフトウェアでもデバッガのアタッチやprint文の挿入で状態が変わってバグが再現しなくなることはあります。また大規模なネットワークインフラのデバッグでは対象が大きすぎて、実質的に詳細を観測できないこともあるかもしれません。 このようなブラックボックスデバッグは(おそらくドメイ

ChatGPTのAPIをNext.jsに組み込んでAIがレシピを作ってくれるサービスの作り方を解説します。

はじめに 以下の記事に書いたとおり新しいハードウェア記述言語を作ることにしました。 1週間ほど作業したところでなんとなく動く感じになってきたのと、構文や機能のアイデアをメモしたり議論したりする場所が欲しいと思ったので、作りかけの状態ですが公開することにしました。 Veryl 新言語の名前は "Veryl" です。よくある宝石系プログラミング言語にならって「beryl(緑柱石) + VerilogのV = Veryl」となっています。ソースコードの拡張子は ".vl" です。 追加してほしい機能などがあれば Issue にてお願いします。自分の趣味的な部分もあるので必ず取り入れるわけではありませんが、なるべく検討します。 できること 現時点ではビルド済みバイナリの公開などはしていないので Rust がビルドできる環境で としてください。 veryl コマンドが各種処理を実行するコマンドです。

はじめに HDL (ハードウェア記述言語)は ASIC や FPGA を開発するための言語です。一般的には昔からある Verilog/VHDL/SystemVerilog がよく使われており、私自身は SystemVerilog を主に使っています。 最近はこれらを代替する言語として Chisel が RISC-V のエコシステムを中心にある程度使われるようになってきました。Chisel については SystemVerilog を置き換えられる言語になるのではないかと期待していた部分もあったのですが、現時点で ASIC 開発用言語として使用できる状態には至っていないと思っています。 というわけで当面は SystemVerilog を使い続けるしかない状況ですが、そうはいってもいろいろと不便な言語ではあるのでもう少し何とかしたいところです。 ちょうど parol というパーサジェネレータの記

Unity であればゲームを作っている方であれば誰でも知っていると思いますが、今回は Godot というゲームエンジンでゲームを作り、Android, iOS のマルチプラットフォームでゲームをリリースしてみました。 Godot とは? Godot は、オープンソースとして開発されている、クロスプラットフォームのゲームエンジンです。 Godot の何が良いのか? オープンソースのため、ライセンス料を気にする必要がありません。最初から最後まで自由にゲームを作ることができます。 また、Unity や Unreal Engine と違って、実行ファイルを一つダウンロードしてそれを実行するだけですぐにゲーム開発が始められます。ゲーム作りが初めての方にも敷居が低いでしょう。よくあるゲームエンジンだとわりとゲームエンジンを使い始めるまでの準備に時間が取られたりハマったりすることもあるため、この敷居の低

ポートフォリオを作りました。 https://www.alphabrend.co.jp 動機 といっても僕は駆け出しエンジニアではなく、10 年以上フリーの Web エンジニアとして活動しています。しかしほとんど昔からのお客様からの仕事をやっており、あまり周りとの繋がりが強くありません。 そのため日々「これじゃだめだ」という気持ちを抱えており、且つもっといろんな事をしてみたいという気持ちもあります。 さらに昨年末に三男が生まれたこともあり、家族を支えるためもっともっと色々なことにチャレンジしたいという気持ちが強まりました。 そんな折、うちは形態は法人ですので一応昔 WordPress で作った適当な会社のサイトがあるのですが、基本的にに放置状態でほとんどこの世に無いも同然の状態で放置されています。まずはこれをちゃんと僕自信の事がわかってもらえ、問い合わせをしてもらえるちゃんとしたポートフォ

Next.jsとFirebaseを使って質問箱のようなサービスを作ってデプロイするまでを解説します。