Ollama（4）模型生命周期
keep_alive 在工程化的项目中，往往需要根据请求的频率来设置，如果请求不频繁，可以使用默认值或较短的时间，以便在不使用时释放内存。而如果应用程序需要频繁调用模型，可以设置较长的keep_alive 时间，以减少加载时间。很关键，非常影响服务器的性能和应用程序的用户体验。大家一定要注意。
·
文章目录
1. 简介
默认情况下，通过Ollama run启动一个模型后，会将其在VRAM(显存)中保存5分钟。主要作用是为了做性能优化，通过保持模型在显存中，可以避免频繁的加载和卸载操作，从而提高响应速度，特别是在连续请求的情况下。
2. 模型内存中保活默认配置项
在上一章节博文中 Ollama（2）安装配置GPU运行，我们详细讲述了ollama.service中各个环境变量的配置。其中包括OLLAMA_KEEP_ALIVE 的配置
2.1 验证调用模型保活例子
（1）首先查看ollama运行的模型
没有任何模型运行
（2）其次调用模型
可以通过openwebui，你也可以命令运行，或者代码调用，发现首次调用会特别慢，等待很久，这是因为此时需要将模型加载到内存中
（3）查看后台模型加载失效
发现模型被激活加载，有效时间如下
（4）等待一段时间查看
在这期间，不要调用模型，继续 ollama ps会发现保活时间减少
（5）最终从内存卸载掉模型
(base) root@jinhu:/home/ollama# ollama list
NAME ID SIZE MODIFIED
deepseek-r1:1.5b a42b25d8c10a 1.1 GB 23 hours ago
deepseek-r1:70b 0c1615a8ca32 42 GB 23 hours ago
nomic-embed-text:latest 0a109f422b47 274 MB 23 hours ago
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU 4 minutes from now
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU 4 minutes from now
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU About a minute from now
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU 46 seconds from now
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU 41 seconds from now
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU 4 seconds from now
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:70b 0c1615a8ca32 53 GB 100% GPU Stopping...
(base) root@jinhu:/home/ollama# ollama ps
NAME ID SIZE PROCESSOR UNTIL
3. keep_alive详细讲解
keep_alive 参数类型
| 参数类型 | 示例 | 描述 |
|---|---|---|
| 持续时间字符串 | “10m” 或 “24h” | 表示保持模型在内存中的时间，单位可以是分钟（m）或小时（h）。 |
| 以秒为单位的数字 | 3600 | 表示保持模型在内存中的时间，单位为秒。 |
| 任何负数 | -1 或 “-1m” | 表示保持模型在内存中，负数值将使模型持续加载。 |
| ‘0’ | 0 | 表示在生成响应后立即卸载模型。 |
4.通过调用模型代码修改保活时效
（1）代码执行
import requests # type: ignore
import json
# 设置 API 端点
generate_url = "http://192.168.11.103:11434/api/generate"
# 示例数据
generate_payload = {
"model": "deepseek-r1:70b",
"prompt": "介绍下人工智能大模型学习的快乐。",
"stream": False,
"keep_alive": "10m", # 设置模型在请求后保持加载的时间
"options": {
"temperature": 0.6,
}
}
# 调用生成接口
response_generate = requests.post(generate_url, json=generate_payload)
if response_generate.status_code == 200:
generate_response = response_generate.json()
print("生成响应:", json.dumps(generate_response, ensure_ascii=False, indent=2))
else:
print("生成请求失败:", response_generate.status_code, response_generate.text)
if generate_response["eval_duration"] != 0:
tokens_per_second = generate_response["eval_count"] / generate_response["eval_duration"] * 10**9
print(f"Tokens per second: {tokens_per_second}")
else:
print("eval_duration is zero, cannot calculate tokens per second.")
（2）模型加载内存，时间改变
（3）最终相应结果
生成响应: {
"model": "deepseek-r1:70b",
"created_at": "2025-07-23T08:23:49.279337667Z",
"response": "<think>\n嗯，用户让我介绍一下人工智能大模型学习的快乐。首先，我得弄清楚用户是谁，可能是什么样的背景。也许他是个刚入门的学生，或者是对AI感兴趣的人，也可能是想深入了解大模型学习的人。\n\n接下来，我要分析“快乐”这个词在这里具体指什么。学习过程中的快乐体现在哪里？知识增长、解决问题的成就感，还是探索未知领域的兴奋？\n\n然后，我需要考虑人工智能大模型学习有哪些独特之处，比如它处理大量数据、模拟人类思维等方面，这可能带来不同的学习体验。比如，当训练一个模型时，看到它逐渐理解和生成内容，这种成就感是很大的。\n\n我还得思考用户可能没有明确说出来的需求。也许他们想了解为什么学习大模型会令人开心，或者是否有实际应用价值，从而激发他们的兴趣。\n\n再者，我应该分解快乐的来源，比如知识体系、解决问题、探索未知、实践创造、技术进步带来的可能性等。这样可以全面覆盖不同方面，让用户更好地理解学习大模型的乐趣所在。\n\n最后，总结一下，通过具体的例子和情感共鸣，帮助用户感受到人工智能大模型学习不仅是挑战，也充满了乐趣和回报。\n</think>\n\n人工智能大模型的学习过程是一种充满挑战、探索和成就感的体验，它能带来独特的快乐和满足感。以下是一些让人感到快乐的方面：\n\n### 1. **知识体系的构建**\n - **广泛的知识吸收**：大模型通过海量数据学习，能够理解和整合多领域的知识。这一过程就像在建一座巨大的知识库，随着时间推移，你会感到自己的认知边界不断扩展。\n - **深度与广度并行**：从基础概念到复杂理论，从科学技术到人文艺术，学习大模型让你能够以一种系统化、全面的方式理解世界。\n\n### 2. **解决问题的乐趣**\n - **多样化的应用场景**：通过学习，你可以将所学知识应用于实际问题，比如自然语言处理、图像识别或决策优化。每一次成功地解决问题，都会带来成就感。\n - **创造性的思考**：大模型不仅能解答已知问题，还能激发创新的思维方式，帮助你在面对复杂挑战时找到独特的解决方案。\n\n### 3. **探索未知领域**\n - **前沿科技的魅力**：人工智能大模型是当前科技领域的前沿之一。学习和研究它们让人感到参与到一场革命性的技术变革中，这种探索未知的过程充满了兴奋感。\n - **理论与实践结合**：从数学基础到工程实现，从算法设计到实际应用，每一次深入理解都能带来新的收获和乐趣。\n\n### 4. **人机协作的无限可能**\n - **工具与伙伴**：通过学习，你能够将大模型视为自己的工具或合作伙伴，共同完成任务。这一协作过程不仅提高效率，还能激发更多创造力。\n - **互动带来的乐趣**：与智能系统的对话和交互往往充满惊喜，比如看到模型生成有深度的文本、画出精美的图像，甚至展现出某种程度的情感理解。\n\n### 5. **技术进步的见证**\n - **推动科技发展**：参与人工智能大模型的学习和研究，你就成了推动这一领域发展的力量之一。看到自己的努力能够为科技进步贡献力量，内心充满自豪。\n - **未来可期**：每一次小成果都让人对未来的可能性充满期待，比如在医疗、教育、环保等领域带来积极影响。\n\n### 6. **学习过程中的乐趣**\n - **挑战与突破**：克服技术难题或理解复杂概念时的喜悦，是学习过程中独特的快乐源泉。\n - **持续进步的心态**：人工智能大模型的学习是一个无止境的过程，每一次进步都能带来新的满足感和动力。\n\n总之，人工智能大模型的学习不仅是一种智力的挑战，更是一场充满探索、创造和成就感的旅程。在这个过程中，你会不断发现新知识，解决实际问题，并见证技术如何改变世界。这种独特的体验使得学习成为一种快乐而有意义的事业。",
"done": true,
"done_reason": "stop",
"context": [
128011,
117814,
17297,
17792,
49792,
118034,
27384,
123123,
111478,
9554,
102395,
102264,
1811,
128012,
128013,
198,
116274,
3922,
20600,
126997,
117814,
111230,
17792,
49792,
118034,
27384,
123123,
111478,
9554,
102395,
102264,
1811,
61075,
61826,
101602,
50928,
119760,
120516,
20600,
21043,
112471,
3922,
88367,
119294,
119938,
124858,
1811,
75863,
104894,
43511,
123779,
107480,
17701,
65789,
9554,
106718,
3922,
108966,
21043,
33764,
15836,
99750,
106236,
110999,
104123,
104587,
88367,
21043,
101067,
102987,
17701,
114706,
27384,
123123,
111478,
104123,
3490,
30177,
113931,
101602,
31634,
106596,
2118,
102395,
102264,
863,
103624,
106015,
19000,
107599,
118789,
64467,
101879,
1811,
111478,
112696,
105363,
102395,
102264,
33014,
105456,
125011,
11571,
116658,
118556,
5486,
114914,
87219,
9554,
13153,
81258,
99750,
3922,
106302,
106767,
52084,
39442,
53283,
124177,
9554,
106236,
28194,
233,
27948,
109530,
101602,
86206,
124116,
17792,
49792,
118034,
27384,
123123,
111478,
19361,
106189,
98184,
106063,
66378,
55030,
45390,
126900,
30624,
103282,
55642,
122333,
20675,
5486,
54872,
114365,
124785,
91763,
104083,
50667,
108900,
103138,
88367,
103652,
37507,
126644,
111478,
33014,
42462,
1811,
57106,
30624,
119491,
109632,
112628,
48044,
123123,
13646,
3922,
110354,
103282,
114380,
119186,
113954,
34208,
45059,
44915,
103138,
87502,
13153,
81258,
99750,
21043,
101600,
108199,
3490,
37046,
98806,
50928,
125456,
20600,
88367,
81543,
31958,
35056,
37687,
106084,
9554,
119745,
1811,
75863,
104894,
104563,
101067,
114706,
113221,
111478,
27384,
123123,
38093,
127840,
30867,
64209,
3922,
108966,
65571,
19361,
115827,
109589,
121637,
113294,
69636,
106266,
29391,
104563,
9554,
106236,
110999,
3490,
88356,
30046,
101602,
107585,
17620,
50338,
102395,
102264,
9554,
90261,
126900,
30624,
116658,
124957,
5486,
114914,
87219,
5486,
106767,
52084,
39442,
53283,
5486,
41073,
124299,
104251,
67178,
5486,
104696,
42399,
65782,
103652,
110782,
125396,
50667,
1811,
104390,
74770,
123201,
117633,
113333,
107653,
108900,
114165,
20600,
34226,
53901,
30590,
113954,
111478,
27384,
123123,
9554,
102264,
110999,
32938,
19000,
3490,
112271,
3922,
60843,
37985,
111230,
3922,
68438,
118789,
9554,
27452,
45829,
34208,
40474,
99750,
55999,
106101,
96,
3922,
123725,
20600,
99750,
116576,
17792,
49792,
118034,
27384,
123123,
111478,
16937,
110395,
21043,
114099,
102778,
104587,
105843,
105483,
35287,
102264,
110999,
34208,
18904,
43378,
9174,
128014,
271,
17792,
49792,
118034,
27384,
123123,
9554,
111478,
112696,
107226,
87502,
105843,
105483,
114099,
102778,
5486,
106767,
52084,
34208,
13153,
81258,
99750,
9554,
33014,
42462,
115973,
27327,
103652,
37507,
106063,
66378,
9554,
102395,
102264,
34208,
105483,
102780,
99750,
1811,
88852,
107226,
98184,
102654,
17792,
117293,
102395,
102264,
9554,
108900,
49543,
14711,
220,
16,
13,
3146,
116658,
124957,
9554,
78935,
26892,
1035,
256,
482,
3146,
82042,
125276,
9554,
116658,
107246,
51109,
334,
5232,
27384,
123123,
68438,
56235,
33857,
20675,
111478,
3922,
113961,
113954,
34208,
64531,
40862,
43240,
124177,
9554,
116658,
110477,
15120,
112696,
81258,
66201,
19000,
26892,
15120,
103605,
109098,
108199,
116658,
46056,
3922,
106161,
100815,
21082,
84851,
60634,
104660,
38093,
117293,
107924,
30051,
53283,
103377,
98220,
124671,
119661,
77413,
9174,
256,
482,
3146,
102987,
27479,
58318,
82042,
27479,
64026,
23039,
334,
5232,
46281,
113879,
126067,
28037,
59464,
114223,
121050,
113294,
108396,
104696,
28037,
17792,
17161,
121463,
3922,
111478,
27384,
123123,
102654,
57668,
113961,
23897,
120143,
73548,
33208,
5486,
37087,
115070,
76868,
113954,
102616,
3490,
14711,
220,
17,
13,
3146,
114914,
87219,
9554,
102264,
110999,
1035,
256,
482,
3146,
43240,
91985,
33208,
9554,
109589,
83324,
86354,
334,
5232,
68438,
111478,
104660,
74770,
45163,
32938,
48864,
116658,
109589,
35304,
115827,
87219,
126900,
30624,
109683,
120074,
55642,
5486,
29129,
66201,
105388,
64022,
58291,
103912,
105226,
91272,
33208,
1811,
74257,
111573,
19653,
30590,
114914,
87219,
120241,
38093,
103652,
37507,
13153,
81258,
99750,
9174,
256,
482,
3146,
104251,
67178,
117332,
125456,
334,
5232,
27384,
123123,
16937,
110395,
27327,
50338,
103899,
37767,
53283,
87219,
110235,
27327,
106266,
29391,
104251,
116879,
91763,
104083,
76868,
3922,
123725,
57668,
19000,
28190,
33764,
59464,
114223,
114099,
102778,
13646,
125414,
106063,
66378,
9554,
114914,
112897,
3490,
14711,
220,
18,
13,
3146,
106767,
52084,
39442,
53283,
124177,
1035,
256,
482,
3146,
25580,
117989,
107015,
9554,
101523,
227,
48634,
334,
5232,
17792,
49792,
118034,
27384,
123123,
21043,
69049,
107015,
124177,
9554,
25580,
117989,
114554,
1811,
111478,
34208,
102473,
127150,
102654,
17792,
117293,
124080,
28037,
15120,
83324,
125981,
117332,
104696,
75140,
107804,
16325,
103138,
87502,
106767,
52084,
39442,
53283,
9554,
112696,
105843,
105483,
35287,
106236,
28194,
233,
99750,
9174,
256,
482,
3146,
121050,
58318,
41073,
124299,
126534,
334,
5232,
46281,
118687,
113879,
28037,
104010,
112026,
113294,
70203,
25333,
71600,
28037,
115827,
109589,
116255,
111573,
102987,
17701,
113954,
72368,
27327,
103652,
37507,
116879,
51109,
106366,
34208,
102264,
110999,
3490,
14711,
220,
19,
13,
3146,
17792,
33748,
107047,
19967,
9554,
43292,
48249,
88367,
1035,
256,
482,
3146,
114722,
58318,
111596,
112183,
334,
5232,
68438,
111478,
104660,
113961,
45163,
27384,
123123,
58552,
18184,
107924,
114722,
58291,
112355,
111596,
112183,
3922,
119046,
61648,
89902,
110477,
15120,
107047,
19967,
112696,
16937,
110395,
115890,
60455,
96455,
110235,
27327,
106266,
29391,
117724,
104251,
67178,
48634,
9174,
256,
482,
3146,
106483,
28833,
103652,
110782,
102264,
110999,
334,
5232,
58318,
118034,
73548,
9554,
33764,
58543,
34208,
39209,
106483,
104198,
104198,
105843,
105483,
112543,
104940,
126900,
30624,
110354,
123123,
45059,
19361,
102987,
27479,
9554,
17161,
22656,
5486,
55723,
20834,
102097,
58666,
9554,
29129,
66201,
3922,
115550,
77413,
47551,
20834,
107611,
87502,
113314,
126820,
99750,
113954,
3490,
14711,
220,
20,
13,
3146,
104696,
42399,
65782,
9554,
90070,
34577,
1035,
256,
482,
3146,
84851,
28833,
107015,
106246,
334,
5232,
124080,
17792,
49792,
118034,
27384,
123123,
9554,
111478,
34208,
102473,
104660,
81258,
123569,
84851,
28833,
113418,
124177,
106246,
9554,
120772,
114554,
1811,
110354,
107924,
121837,
113961,
18184,
107015,
42399,
65782,
13647,
94,
112500,
120772,
3922,
32943,
64209,
105843,
105483,
37026,
112318,
9174,
256,
482,
3146,
120987,
31540,
23538,
334,
5232,
74257,
111573,
31809,
13153,
28873,
72368,
102654,
17792,
33764,
39442,
110782,
125396,
105843,
105483,
125494,
126900,
30624,
19000,
125044,
5486,
104378,
5486,
87412,
33563,
50667,
124177,
103652,
37507,
106733,
106146,
109829,
3490,
14711,
220,
21,
13,
3146,
111478,
112696,
105363,
102264,
110999,
1035,
256,
482,
3146,
114099,
102778,
58318,
104584,
105150,
334,
5232,
101545,
44309,
104696,
105142,
34972,
58291,
113954,
59464,
114223,
126067,
13646,
9554,
104940,
101128,
99,
105187,
111478,
112696,
16325,
106063,
66378,
9554,
102395,
102264,
39084,
109026,
9174,
256,
482,
3146,
121915,
42399,
65782,
122935,
36343,
334,
5232,
17792,
49792,
118034,
27384,
123123,
9554,
111478,
122503,
43292,
82533,
103496,
9554,
112696,
116255,
111573,
42399,
65782,
72368,
27327,
103652,
37507,
116879,
105483,
102780,
99750,
34208,
28833,
48634,
3490,
60843,
55030,
3922,
17792,
49792,
118034,
27384,
123123,
9554,
111478,
16937,
110395,
107226,
87502,
105487,
126235,
114099,
102778,
127773,
107226,
83324,
105843,
105483,
106767,
52084,
5486,
104251,
67178,
34208,
13153,
81258,
99750,
9554,
104412,
39607,
107644,
103624,
112696,
16325,
104660,
38093,
124671,
109836,
17039,
116658,
3922,
114914,
115827,
87219,
91495,
90070,
34577,
104696,
109425,
125992,
102616,
1811,
106880,
106063,
66378,
9554,
33014,
42462,
33655,
50928,
111478,
112743,
120143,
102395,
102264,
69636,
19361,
126189,
107381,
42052,
1811
],
"total_duration": 226865005980,
"load_duration": 15548502853,
"prompt_eval_count": 15,
"prompt_eval_duration": 435005528,
"eval_count": 1090,
"eval_duration": 210880501801
}
Tokens per second: 5.168804089002937
3.总结
keep_alive 在工程化的项目中，往往需要根据请求的频率来设置，如果请求不频繁，可以使用默认值或较短的时间，以便在不使用时释放内存。而如果应用程序需要频繁调用模型，可以设置较长的keep_alive 时间，以减少加载时间。很关键，非常影响服务器的性能和应用程序的用户体验。大家一定要注意。
GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。
更多推荐
26
0- 0
已为社区贡献7条内容
所有评论(0)