购物网站首页分成几个模块,移动微网站建设二维码,新加坡域名注册网站,南宁网站建设官网一、概述
现在已经是大模型时代。
个人认为#xff0c;deepseek效果惊艳#xff0c;大模型已进入实用阶段。
有些电脑#xff0c;由于种种原因#xff0c;还在用 Windows 7#xff0c; Windows XP 等操作系统。
为了让这些电脑用上大模型#xff0c;本教程在 llama.c…一、概述
现在已经是大模型时代。
个人认为deepseek效果惊艳大模型已进入实用阶段。
有些电脑由于种种原因还在用 Windows 7 Windows XP 等操作系统。
为了让这些电脑用上大模型本教程在 llama.cpp的基础上做了一点修改使得 Windows 7 x64 可用 deepseek-r1 模型实测有效。
二、面向普通用户
资源下载
百度网盘https://pan.baidu.com/s/1NShm6Qi9bDgl6jI-IsEr1A?pwd6es1
迅雷网盘https://pan.xunlei.com/s/VOIfPUb8lCS71jAjBEnXmRg9A1?pwdnze7#
可执行程序及源码https://gitee.com/goldenalien/llama.cpp/releases/tag/llama.cpp.win7.20250208
简单用法 普通用户只需下载 llama-server.win7.20250208.7z该文件只含 llama-server.exe 下载 deepseek-r1:1.5b模型即 /models/sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc 在CMD终端输入c:\my_ai_tools\llama-server.exe --model c:\mymodels\sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc路径按实际情况设定。 详细参数可输入 llama-server --help 打开firefox或chrome等浏览器输入 127.0.0.1:8080OK 注意IE 浏览器打不开
三、面向开发者
资源说明
可执行程序
llama-server.win7.20250208.7z精简版只有 llama-server.exellama.cpp.win7.20250208.7z完全版所有llama*.exe
模型文件
/models/sha256-*从ollama提取的gguf文件也可以从其他途径获得
名称ollama ID大小GBOLLAMA_MODELS/blobsdeepseek-r1:1.5ba42b25d8c10a1.04sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbcdeepseek-r1:8b28f8fd6cdc674.58sha256-6340dc3229b0d08ea9cc49b75d4098702983e17b4c096d57afbbf2ffc813f2bedeepseek-r1:14bea35dfe181828.37sha256-6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1edeepseek-r1:32b38056bbcbb2d18.4sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93deepseek-r1:70b0c1615a8ca3239.5sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339qwen2.5-coder:7b2b04965143374.36sha256-60e05f2100071479f596b964f89f510f057ce397ea22f2833a0cfe029bfc2463
源代码
/source/llama.cpp.git.20250208.7z原版GIT仓库含所有历史版本20250208备份/source/llama.cpp.2025-02-08.4d3465c5aeca8be29cac77f1535c35f4fb274eca.zip20250208代码commit版本号为4d3465c5aeca8be29cac77f1535c35f4fb274eca
开发工具
/dev-tools/w64devkit-x64-2.0.0.exe/dev-tools/cmake-3.31.5-windows-x86_64.msi/dev-tools/Git-2.45.2-64-bit.exe/dev-tools/Firefox 18.5.0.0.exe
开发过程
准备工具
Windows 7 x64 操作系统w64devkit-x64-2.0.0.exe https://github.com/skeeto/w64devkitcmake-3.31.5-windows-x86_64.msi https://cmake.org/download/Git-2.45.2-64-bit.exe https://git-scm.com/downloads/winFirefox 18.5.0.0.exe【可选】llama.cpp源代码本案例取自 2025.02.08的 commit 4d3465c5aeca8be29cac77f1535c35f4fb274eca
操作步骤
打开Windows 7 x64操作系统按默认设置安装 w64devkit cmake GIt firefox。注意该添加到PATH的添加。解压源代码 llama.cpp按下图修改 /examples/server/httplib.h 第3012到3057行也就是把 if else 注释掉只保留 else 部分的代码。
#if _WIN32_WINNT _WIN32_WINNT_WIN8hFile_ ::CreateFile2(wpath.c_str(), GENERIC_READ, FILE_SHARE_READ,OPEN_EXISTING, NULL);
#elsehFile_ ::CreateFileW(wpath.c_str(), GENERIC_READ, FILE_SHARE_READ, NULL,OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
#endifif (hFile_ INVALID_HANDLE_VALUE) { return false; }LARGE_INTEGER size{};if (!::GetFileSizeEx(hFile_, size)) { return false; }// If the following line doesnt compile due to QuadPart, update Windows SDK.// See:// https://github.com/yhirose/cpp-httplib/issues/1903#issuecomment-2316520721if (static_castULONGLONG(size.QuadPart) (std::numeric_limitsdecltype(size_)::max)()) {// size_t might be 32-bits, on 32-bits Windows.return false;}size_ static_castsize_t(size.QuadPart);#if _WIN32_WINNT _WIN32_WINNT_WIN8hMapping_ ::CreateFileMappingFromApp(hFile_, NULL, PAGE_READONLY, size_, NULL);
#elsehMapping_ ::CreateFileMappingW(hFile_, NULL, PAGE_READONLY, 0, 0, NULL);
#endif// Special treatment for an empty file...if (hMapping_ NULL size_ 0) {close();is_open_empty_file true;return true;}if (hMapping_ NULL) {close();return false;}#if _WIN32_WINNT _WIN32_WINNT_WIN8addr_ ::MapViewOfFileFromApp(hMapping_, FILE_MAP_READ, 0, 0);
#elseaddr_ ::MapViewOfFile(hMapping_, FILE_MAP_READ, 0, 0, 0);
#endif改为
// #if _WIN32_WINNT _WIN32_WINNT_WIN8// hFile_ ::CreateFile2(wpath.c_str(), GENERIC_READ, FILE_SHARE_READ,// OPEN_EXISTING, NULL);
// #elsehFile_ ::CreateFileW(wpath.c_str(), GENERIC_READ, FILE_SHARE_READ, NULL,OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
// #endifif (hFile_ INVALID_HANDLE_VALUE) { return false; }LARGE_INTEGER size{};if (!::GetFileSizeEx(hFile_, size)) { return false; }// If the following line doesnt compile due to QuadPart, update Windows SDK.// See:// https://github.com/yhirose/cpp-httplib/issues/1903#issuecomment-2316520721if (static_castULONGLONG(size.QuadPart) (std::numeric_limitsdecltype(size_)::max)()) {// size_t might be 32-bits, on 32-bits Windows.return false;}size_ static_castsize_t(size.QuadPart);// #if _WIN32_WINNT _WIN32_WINNT_WIN8// hMapping_ // ::CreateFileMappingFromApp(hFile_, NULL, PAGE_READONLY, size_, NULL);
// #elsehMapping_ ::CreateFileMappingW(hFile_, NULL, PAGE_READONLY, 0, 0, NULL);
// #endif// Special treatment for an empty file...if (hMapping_ NULL size_ 0) {close();is_open_empty_file true;return true;}if (hMapping_ NULL) {close();return false;}// #if _WIN32_WINNT _WIN32_WINNT_WIN8// addr_ ::MapViewOfFileFromApp(hMapping_, FILE_MAP_READ, 0, 0);
// #elseaddr_ ::MapViewOfFile(hMapping_, FILE_MAP_READ, 0, 0, 0);
// #endif找到安装的 /w64devkit/w64devkit.exe双击运行cd 到 llama.cpp 所在的目录 - 输入关键命令 cmake . -G MinGW Makefiles 然后输入关键命令 cmake --build . --config Release等待编译完成。编译后的程序在 /bin 目录。
测试
从ollama 的 OLLAMA_MODELS/blobs 找几个模型文件形如 SHA256-*注意看文件大小在win7 输入 llama-server --model sha512-xxxxxxxxxxxxxxxxxxxxxx 默认服务网址为 127.0.0.1:8080 终端有乱码不影响使用。用firefox打开网址即可对话 文章转载自： http://www.morning.mqxzh.cn.gov.cn.mqxzh.cn http://www.morning.sjjtz.cn.gov.cn.sjjtz.cn http://www.morning.nkllb.cn.gov.cn.nkllb.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.rqpgk.cn.gov.cn.rqpgk.cn http://www.morning.bpmth.cn.gov.cn.bpmth.cn http://www.morning.wdhhz.cn.gov.cn.wdhhz.cn http://www.morning.fpyll.cn.gov.cn.fpyll.cn http://www.morning.hxycm.cn.gov.cn.hxycm.cn http://www.morning.xhsxj.cn.gov.cn.xhsxj.cn http://www.morning.ryywf.cn.gov.cn.ryywf.cn http://www.morning.fwmln.cn.gov.cn.fwmln.cn http://www.morning.rbrd.cn.gov.cn.rbrd.cn http://www.morning.lmdfj.cn.gov.cn.lmdfj.cn http://www.morning.xbckm.cn.gov.cn.xbckm.cn http://www.morning.huarma.com.gov.cn.huarma.com http://www.morning.ns3nt8.cn.gov.cn.ns3nt8.cn http://www.morning.mrkbz.cn.gov.cn.mrkbz.cn http://www.morning.knlgk.cn.gov.cn.knlgk.cn http://www.morning.zhiheliuxue.com.gov.cn.zhiheliuxue.com http://www.morning.fhghy.cn.gov.cn.fhghy.cn http://www.morning.mgwdp.cn.gov.cn.mgwdp.cn http://www.morning.hbtarq.com.gov.cn.hbtarq.com http://www.morning.chbcj.cn.gov.cn.chbcj.cn http://www.morning.fpzpb.cn.gov.cn.fpzpb.cn http://www.morning.bmncq.cn.gov.cn.bmncq.cn http://www.morning.qjdqj.cn.gov.cn.qjdqj.cn http://www.morning.ftntr.cn.gov.cn.ftntr.cn http://www.morning.psdbf.cn.gov.cn.psdbf.cn http://www.morning.ggcjf.cn.gov.cn.ggcjf.cn http://www.morning.yqwsd.cn.gov.cn.yqwsd.cn http://www.morning.ohmyjiu.com.gov.cn.ohmyjiu.com http://www.morning.tmfhx.cn.gov.cn.tmfhx.cn http://www.morning.gchqy.cn.gov.cn.gchqy.cn http://www.morning.xcyzy.cn.gov.cn.xcyzy.cn http://www.morning.rlqwz.cn.gov.cn.rlqwz.cn http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn http://www.morning.kqbwr.cn.gov.cn.kqbwr.cn http://www.morning.mkkcr.cn.gov.cn.mkkcr.cn http://www.morning.djwpd.cn.gov.cn.djwpd.cn http://www.morning.rnngz.cn.gov.cn.rnngz.cn http://www.morning.xiaobaixinyong.cn.gov.cn.xiaobaixinyong.cn http://www.morning.mghgl.cn.gov.cn.mghgl.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.cjsrg.cn.gov.cn.cjsrg.cn http://www.morning.qqnjr.cn.gov.cn.qqnjr.cn http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn http://www.morning.lwtfr.cn.gov.cn.lwtfr.cn http://www.morning.darwallet.cn.gov.cn.darwallet.cn http://www.morning.ymfzd.cn.gov.cn.ymfzd.cn http://www.morning.syqtt.cn.gov.cn.syqtt.cn http://www.morning.fxqjz.cn.gov.cn.fxqjz.cn http://www.morning.hmktd.cn.gov.cn.hmktd.cn http://www.morning.sbjbs.cn.gov.cn.sbjbs.cn http://www.morning.mzkn.cn.gov.cn.mzkn.cn http://www.morning.gfqj.cn.gov.cn.gfqj.cn http://www.morning.lxjcr.cn.gov.cn.lxjcr.cn http://www.morning.trzmb.cn.gov.cn.trzmb.cn http://www.morning.kndyz.cn.gov.cn.kndyz.cn http://www.morning.rbnnq.cn.gov.cn.rbnnq.cn http://www.morning.hwzzq.cn.gov.cn.hwzzq.cn http://www.morning.rnsjp.cn.gov.cn.rnsjp.cn http://www.morning.qyhcg.cn.gov.cn.qyhcg.cn http://www.morning.ltrms.cn.gov.cn.ltrms.cn http://www.morning.fksrg.cn.gov.cn.fksrg.cn http://www.morning.ltbwq.cn.gov.cn.ltbwq.cn http://www.morning.ydzly.cn.gov.cn.ydzly.cn http://www.morning.tsgxz.cn.gov.cn.tsgxz.cn http://www.morning.wtyqs.cn.gov.cn.wtyqs.cn http://www.morning.ytmx.cn.gov.cn.ytmx.cn http://www.morning.hsflq.cn.gov.cn.hsflq.cn http://www.morning.bpmnz.cn.gov.cn.bpmnz.cn http://www.morning.wlddq.cn.gov.cn.wlddq.cn http://www.morning.bwfsn.cn.gov.cn.bwfsn.cn http://www.morning.rdmn.cn.gov.cn.rdmn.cn http://www.morning.cxryx.cn.gov.cn.cxryx.cn http://www.morning.qstjr.cn.gov.cn.qstjr.cn http://www.morning.skwwj.cn.gov.cn.skwwj.cn http://www.morning.pamdeer.com.gov.cn.pamdeer.com http://www.morning.kfrhh.cn.gov.cn.kfrhh.cn
