开源 企业版 高校版 私有云 模力方舟 AI 队友
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
1 Star 0 Fork 0

tswsoft/llama-cpp-python

加入 Gitee
与超过 1400万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
已有帐号? 立即登录
文件
main
分支 (17)
标签 (335)
main
dependabot/github_actions/pypa/cibuildwheel-2.23.2
dependabot/pip/starlette-context-gte-0.3.6-and-lt-0.5
dependabot/github_actions/conda-incubator/setup-miniconda-3.1.1
add-paligemma-support
expose-libggml
patch-3
update-sampling-api
patch-1
docker
fix-windows-import-error
dev-add-rpc
remove-unwanted-bos
generic-vlm-chat-format
binary-wheels
fix-embeddings-for-non-embedding-models
batch-processing
v0.3.16
v0.3.16-cu121
v0.3.16-cu122
v0.3.16-cu123
v0.3.16-cu124
v0.3.16-metal
v0.3.15
v0.3.15-cu121
v0.3.15-cu122
v0.3.15-cu123
v0.3.15-cu124
v0.3.15-metal
v0.3.14
v0.3.14-cu124
v0.3.14-metal
v0.3.13
v0.3.13-cu121
v0.3.13-cu122
v0.3.13-cu123
v0.3.13-cu124
main
分支 (17)
标签 (335)
main
dependabot/github_actions/pypa/cibuildwheel-2.23.2
dependabot/pip/starlette-context-gte-0.3.6-and-lt-0.5
dependabot/github_actions/conda-incubator/setup-miniconda-3.1.1
add-paligemma-support
expose-libggml
patch-3
update-sampling-api
patch-1
docker
fix-windows-import-error
dev-add-rpc
remove-unwanted-bos
generic-vlm-chat-format
binary-wheels
fix-embeddings-for-non-embedding-models
batch-processing
v0.3.16
v0.3.16-cu121
v0.3.16-cu122
v0.3.16-cu123
v0.3.16-cu124
v0.3.16-metal
v0.3.15
v0.3.15-cu121
v0.3.15-cu122
v0.3.15-cu123
v0.3.15-cu124
v0.3.15-metal
v0.3.14
v0.3.14-cu124
v0.3.14-metal
v0.3.13
v0.3.13-cu121
v0.3.13-cu122
v0.3.13-cu123
v0.3.13-cu124
克隆/下载
克隆/下载
提示
下载代码请复制以下命令到终端执行
为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置
初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置
1 生成 RSA 密钥
2 获取 RSA 公钥内容,并配置到 SSH公钥
在 Gitee 上使用 SVN,请访问 使用指南
使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议 配置并使用私人令牌 替代登录密码进行克隆、推送等操作
Username for 'https://gitee.com': userName
Password for 'https://userName@gitee.com': # 私人令牌
main
分支 (17)
标签 (335)
main
dependabot/github_actions/pypa/cibuildwheel-2.23.2
dependabot/pip/starlette-context-gte-0.3.6-and-lt-0.5
dependabot/github_actions/conda-incubator/setup-miniconda-3.1.1
add-paligemma-support
expose-libggml
patch-3
update-sampling-api
patch-1
docker
fix-windows-import-error
dev-add-rpc
remove-unwanted-bos
generic-vlm-chat-format
binary-wheels
fix-embeddings-for-non-embedding-models
batch-processing
v0.3.16
v0.3.16-cu121
v0.3.16-cu122
v0.3.16-cu123
v0.3.16-cu124
v0.3.16-metal
v0.3.15
v0.3.15-cu121
v0.3.15-cu122
v0.3.15-cu123
v0.3.15-cu124
v0.3.15-metal
v0.3.14
v0.3.14-cu124
v0.3.14-metal
v0.3.13
v0.3.13-cu121
v0.3.13-cu122
v0.3.13-cu123
v0.3.13-cu124
llama-cpp-python
/
Makefile
llama-cpp-python
/
Makefile
Makefile 2.30 KB
一键复制 编辑 原始数据 按行查看 历史
Andrei Betlen 提交于 2024年12月06日 20:37 +08:00 . misc: Update run server command
update:
poetry install
git submodule update --init --recursive
update.vendor:
cd vendor/llama.cpp && git pull origin master
deps:
python3 -m pip install --upgrade pip
python3 -m pip install -e ".[all]"
build:
python3 -m pip install --verbose -e .
build.debug:
python3 -m pip install \
--verbose \
--config-settings=cmake.verbose=true \
--config-settings=logging.level=INFO \
--config-settings=install.strip=false \
--config-settings=cmake.args="-DCMAKE_BUILD_TYPE=Debug;-DCMAKE_C_FLAGS='-ggdb -O0';-DCMAKE_CXX_FLAGS='-ggdb -O0'" \
--editable .
build.debug.extra:
python3 -m pip install \
--verbose \
--config-settings=cmake.verbose=true \
--config-settings=logging.level=INFO \
--config-settings=install.strip=false \
--config-settings=cmake.args="-DCMAKE_BUILD_TYPE=Debug;-DCMAKE_C_FLAGS='-fsanitize=address -ggdb -O0';-DCMAKE_CXX_FLAGS='-fsanitize=address -ggdb -O0'" \
--editable .
build.cuda:
CMAKE_ARGS="-DGGML_CUDA=on" python3 -m pip install --verbose -e .
build.openblas:
CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" python3 -m pip install --verbose -e .
build.blis:
CMAKE_ARGS="-DGGML_BLAS=on -DGGML_BLAS_VENDOR=FLAME" python3 -m pip install --verbose -e .
build.metal:
CMAKE_ARGS="-DGGML_METAL=on" python3 -m pip install --verbose -e .
build.vulkan:
CMAKE_ARGS="-DGGML_VULKAN=on" python3 -m pip install --verbose -e .
build.kompute:
CMAKE_ARGS="-DGGML_KOMPUTE=on" python3 -m pip install --verbose -e .
build.sycl:
CMAKE_ARGS="-DGGML_SYCL=on" python3 -m pip install --verbose -e .
build.rpc:
CMAKE_ARGS="-DGGML_RPC=on" python3 -m pip install --verbose -e .
build.sdist:
python3 -m build --sdist --verbose
deploy.pypi:
python3 -m twine upload dist/*
deploy.gh-docs:
mkdocs build
mkdocs gh-deploy
test:
python3 -m pytest --full-trace -v
docker:
docker build -t llama-cpp-python:latest -f docker/simple/Dockerfile .
run-server:
python3 -m llama_cpp.server --model ${MODEL}
clean:
- cd vendor/llama.cpp && make clean
- cd vendor/llama.cpp && rm libllama.so
- rm -rf _skbuild
- rm llama_cpp/lib/*.so
- rm llama_cpp/lib/*.dylib
- rm llama_cpp/lib/*.metal
- rm llama_cpp/lib/*.dll
- rm llama_cpp/lib/*.lib
.PHONY: \
update \
update.vendor \
build \
build.cuda \
build.opencl \
build.openblas \
build.sdist \
deploy.pypi \
deploy.gh-docs \
docker \
clean
Loading...
举报
举报成功
我们将于2个工作日内通过站内信反馈结果给你!
请认真填写举报原因,尽可能描述详细。
请选择举报类型
取消
发送
误判申诉

此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。

如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。

取消
提交

简介

暂无描述
取消

发行版

暂无发行版

贡献者

全部

近期动态

不能加载更多了
编辑仓库简介
简介内容
主页
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/tswsoft/llama-cpp-python.git
git@gitee.com:tswsoft/llama-cpp-python.git
tswsoft
llama-cpp-python
llama-cpp-python
main
点此查找更多帮助

搜索帮助

评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册

AltStyle によって変換されたページ (->オリジナル) /