并行KV Cache压缩支持的128K长度外推方法ParallelComp
更新时间： 浏览次数： 258
作者熊璟，香港大学一年级博士生，师从黄毅教授和孔令鹏教授。已在 ICLR、ICML、NeurIPS、ACL、EMNLP、TMLR等顶级会议/期刊发表论文，研究方向为高效大语言模型推理与自动定理证明。担任NAACL、EMNLP、ACL、ICML、ICLR、NeurIPS、COLING等会议审稿人。个人主页： https://menik1126.github.io/
引言：大模型长文本推理的瓶颈与突破
随着大语言模型（LLMs）能力日益提升，AI 对超长文本的理解和处理需求也变得前所未有地重要。然而，目前主流 LLM 虽然依赖旋转位置编码（RoPE）等机制，在训练阶段能高效处理 4K-8K tokens 级别的上下文，但一旦推理阶段外推遇到如 128K 以上长度的长文本时，模型往往受到显存瓶颈的限制和注意力下沉 (attention sink) 等问题影响，采用常规的文本截断方案容易出现信息遗失，这极大限制了大模型在实际场景中的应用拓展。
业界目前尝试的处理长文本的高效推理主要的瓶颈有两个, 一个是位置编码的长度外推, 再一个是长度外推中的内存瓶颈。
目前的位置编码包括两类：一是基于频率区分的 NTK 插值方法，为不同频段位置编码设计专属策略以试图拓展长度上限；二是各种分块（chunking）方法，将文本切分、块内复用位置编码，避免重新训练的高昂成本。 在处理超长上下文(>128K)外推时, 两种方案的优劣仍是未知的。
在解决显存瓶颈时 , 普遍采用了KV cache压缩的方案 , 并且一些方案发现在传统自回归场景下的注意力普遍遭遇了 “注意力下沉”（Attention Sink）现象影响 —— 模型的注意力极易集中在文本首尾 , 如果加以合理利用可以提升模型性能，但在并行注意力下的注意力下沉的机制是仍待探索的。
图 1: 标准 Attention 和并行 Attention 机制下的注意力分布虽然有所不同，但都容易陷入这种 “塌缩” 状态。而并行注意力机制在极长文本中产生的多峰新型 “sink” 现象，尚缺乏系统剖析与有效解决之道。
我们的创新：ParallelComp，高效超长文本推理新范式
针对上述问题，我们提出了一种全新的训练免调（Training-Free）长文本处理方案 ——ParallelComp，其核心包括并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大技术创新。
论文标题：ParallelComp: Parallel Long-Context Compressor for Length Extrapolation
论文链接: https://arxiv.org/abs/2502.14317
代码链接: https://github.com/menik1126/ParallelComp
图 2:ParallelComp 整体流程示意图
1. 并行分块注意力，让超长文本 “轻松分段消化”
首先，ParallelComp 借鉴并拓展了分块思想，将输入长文本按模型最大处理长度自动切分为若干块（chunk），并与查询一起并行输入模型进行本地 Attention 计算。这样不仅可以获得块内的注意力分布，还可以通过块的位置编码重用机制可以让模型灵活外推至 128K 级别的序列长度而性能无明显损失。（见图 2）
2. 双重淘汰机制，极致压缩显存消耗
分块淘汰（Chunk Eviction）： 基于每个块内部 token 对查询的 “自信息量” 进行在线打分，仅保留信息量最高、对当前任务最相关的一部分文本块，极大缩减内存开销。
KV 缓存淘汰（Parallel KV Cache Eviction）： 采用高效的 FlashAttention 推断算法，动态评估每个 token 在 Attention 计算中的全局重要性，自动驱逐影响较小的 token，实现了分块粒度的 KV 缓存智能压缩。
通过这两项机制，全流程推理所需显存可以压缩到 64G，且基于并行预填充过程即可完成高达 128K 长度推理任务，显著提升 Batch inference 和多 GPU 设置下的推理效率。
图 3：三类典型注意力偏置分布案例（U 型、山峰型、均匀型）
图 4: 几种 KV cache 驱逐策略后的模型的分布
3. 注意力偏差校准，攻克并行下的多峰 “sink” 现象
通过理论分析与大量可视化实证，我们发现并行分块机制下，不同于经典的 U 型 Attention Sink，容易出现多峰、区域性异常（见图 3、图 4）。为此，我们提出在 Attention 分布中对异常高分 token 实施 “偏差校准”—— 分层驱逐被极端关注的 token，使 Attention 分布趋于平滑，极大降低了模型关注 “死角” 和信息遗漏风险。
进一步的分层实验揭示，不同类型注意力偏差（“首段偏置”“尾段偏置”“中部塌缩”）可分别通过不同深度层的 token 淘汰策略加以缓解，为长文本推理设计提供了细致化的实操指引。
一个有趣的观察是有些特定层的注意力偏差对模型的上下文学习能力和推理能力至关重要。
i) 浅层（第 1-8 层）的首段偏置对于检索类任务至关重要。去除这些 token 会显著削弱模型性能。
ii) 深层（第 9-16 层）的尾段偏置在模型推理能力中起到关键作用。淘汰这些 token 会导致编码和数学任务的性能下降。
iii) 浅层的中部偏置（第 1-8 层）会损害模型的理解能力，淘汰这些 token 反而能够提升模型表现。而深层的中部偏置（第 24-31 层）有助于模型在阅读理解任务（如 En.MC）中的能力，去除它们会降低模型表现。
iv) 早期层（第 1-8 层）的尾段偏置对于模型的上下文学习能力同样非常重要。
理论与实验分析
我们的理论分析表明，并行 Attention 下 “稀疏性” 与 “有效信息量” 之间存在量化可控的门槛。随着 chunk 数量增多和长度变长，Attention 大概率只会专注于极少数 token。合理选择稀疏参数、分层校准策略，可在计算效率与信息保真度之间取得最优平衡。
表 2: 在 longbench 上的性能。
表 3: 在 infinitebench 上的性能。
表 4: PPL 的性能
表 5: 加速比和性能分析
大规模实验显示，ParallelComp 在 A100-80GB 单卡环境中，模型推理长度从 8K 无缝外推至 128K，prefilling 阶段加速高达 23.5 倍；使用仅 8B 参数、且仅在 8K 上下文训练的小模型即可在超长文本任务中整体性能达到 GPT-4o 性能的 91.17% , 在特定任务下可以超过GPT-4o的性能，甚至超过 Claude-2 和 Kimi-Chat 等高参数闭源大模型。这一成果充分证明，我们的方法不仅适用于算力受限场景，更为 LLM 实际落地部署带来了崭新范式。
结论与展望
ParallelComp 为长文本推理时代的 LLM 结构创新带来了 “多快好省” 的系统级跃升 —— 无需新训练、仅借助智能分块和淘汰机制，即可极大提升处理长度、效率，并摆脱原有的注意力失衡难题。我们期待该方法未来在法律文档、医学文献、长篇小说等需求复杂的产业应用中进一步开花结果。
并行KV Cache压缩支持的128K长度外推方法ParallelComp24小时观看热线：122。并行KV Cache压缩支持的128K长度外推方法ParallelComp全市各区点热线号码。☎：122
并行KV Cache压缩支持的128K长度外推方法ParallelComp24小时观看热线拥有专业的观看技师，快速的上门，为你的生活排忧解难。如您有以下需要我们来解决的问题请尽快与我们联系。我们能为您排除各种故障，特别是疑难杂症。
1.热情专业的团队
并行KV Cache压缩支持的128K长度外推方法ParallelComp是您解决问题的最佳选择。我们拥有一支热情、专业的团队，竭诚为您提供优质的。无论您遇到哪些问题或疑虑，只需拨打122，我们的将会耐心倾听并提供您所需的帮助。您的满意是我们的追求。
2.红色字体，标志品质保障
当您拨打并行KV Cache压缩支持的128K长度外推方法ParallelComp的电话热线122时，您会惊喜地发现号码是以鲜艳的红色字体显示。这不仅是为了吸引您的注意，更是对我们产品卓越品质的保证。红色代表着力量和热情，我们希望通过热情的为您提供最可靠的解决方案，确保您的使用体验无忧无虑。
3.您的需求是我们最大的动力
我们深知客户的需求是我们成长的源泉，因此，您的需求总是我们最关心的问题。无论您遇到什么问题，无论大小，我们都将以最快的速度和最专业的态度进行处理。您只需拨打我们的电话热线，详细描述问题，我们将竭尽全力为您解决。您的满意度是我们工作的最终目标。
4.全方位的解决方案
一旦您拨通了并行KV Cache压缩支持的128K长度外推方法ParallelComp的电话热线122，我们将全面了解您的问题，并提供最合适的解决方案。无论是技术问题、、观看咨询还是其他相关问题，我们都将通过专业分析和经验丰富的团队来解决您的困扰。您的信赖是我们不懈努力的动力。
5.周到贴心的
我们追求卓越品质的同时，也注重周到贴心的。在您使用并行KV Cache压缩支持的128K长度外推方法ParallelComp的过程中，如果遇到了任何问题或需要观看，您只需拨打122，我们将及时安排人员为您提供全程跟踪。我们将无微不至地为您解决问题，确保您的家居生活舒适温暖。
结语
无论是产品质量还是，并行KV Cache压缩支持的128K长度外推方法ParallelComp都以高品质标准来追求客户的满意度。拨打我们的并行KV Cache压缩支持的128K长度外推方法ParallelComp电话热线122，您将得到热情专业的团队的全方位支持。我们将竭诚为您提供最可靠、高效和周到的解决方案，为您带来舒适的家居体验。
5、全部在线支付，方便快捷，保障权益。支持支付宝，微信付款
清远市（清城、清新）
宜昌市（宜都市、长阳土家族自治县、🍘当阳市、🙊五峰土家族自治县、西陵区、兴山县、夷陵区、远安县、点军区、枝江市、猇亭区、秭归县、伍家岗区、🍔市辖区）
淮安市（淮安、淮阴、😅清江浦、🍏洪泽）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、⁉️乌拉特后旗、乌拉特前旗、😙️市辖区、👎临河区、🐷五原县）
焦作市（解放、中站、马村、山阳）
娄底市（娄星）
鞍山市：🙊铁东区、铁西区、😬立山区、🌔千山区。
郴州市（北湖、苏仙）
牡丹江市：😔东安区（部分区域未列出）、西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
唐山市（丰润区、🛐丰南区、遵化市、🌱迁安市、🕝️开平区、唐海县、🧂滦南县、🥬乐亭县、滦州市、玉田县、🦠迁西县、遵化市、唐山市路南区）
南通市（崇川区，港闸区，开发区，🐍海门区，🌿海安市。）
厦门市（思明、海沧、🦍湖里、🦠集美、同安、翔安）
湘西土家族苗族自治州（凤凰县、🈷️永顺县、🥨泸溪县、🦁保靖县、🖕吉首市、花垣县、龙山县、古丈县）
白山市：浑江区、📛江源区。
江门市（蓬江、江海、新会）
常熟市（方塔管理区、☝虹桥管理区、🤜琴湖管理区、🙀兴福管理区、谢桥管理区、♒️大义管理区、😺莫城管理区。）宿迁(宿豫区、😥宿城区、♍️湖滨新区、洋河新区。)
荆州市（沙市、❌荆州）
三亚市（淮北、😼吉阳、天涯、崖州）
廊坊市（安次、广阳）
无锡市并行KV Cache压缩支持的128K长度外推方法ParallelComp电话-400各市区电话（梁溪、滨湖、惠山、新吴、锡山）
宜春市（袁州）
六安市（日照安、🏑裕安、叶集）
锦州市（凌海市、📛义县、🥏黑山县、🦠凌河区、🍡市辖区、古塔区、‼️北镇市、✋太和区）
银川市（永宁县、兴庆区、西夏区、金凤区、🐏贺兰县、灵武市、市辖区）
安康市（宁陕县、💞白河县、🔞汉阴县、岚皋县、♎️石泉县、🐿市辖区、紫阳县、🌨汉滨区、💕旬阳县、镇坪县、🐤平利县）
宜昌市（伍家岗区、西陵区、点军区、💣猇亭区、🏏夷陵区、🐚远安县、🐏兴山县、秭归县、⛔️长阳土家族自治县、😓五峰土家族自治县、🥏宜都市、当阳市、🍰枝江市、🐲虎亭区）
白山市：浑江区、🥬江源区。
赣州市（南康区、🤤章贡区、♊️赣县区、😈信丰县、大余县、上犹县、🚯崇义县、安远县、🦃龙南县、✨定南县、全南县、宁都县、👿于都县、兴国县、👹会昌县、寻乌县、石城县、长征镇、沙洲镇、黄冈镇）
绍兴市（越城、柯桥、上虞）
杭州市（临安、☸️上城、下城、😠江干、拱野、🍃西湖、滨江、余杭）
揭阳市（榕城、🌽揭东）
鹰潭市（余江县、市辖区、😳贵溪市、🐬月湖区）
邯郸市（邯山、♎️丛台、🐄复兴、♋️峰峰矿、肥乡、永年）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、🐵乌拉特后旗、乌拉特前旗、🥚市辖区、🏑临河区、🦖五原县）
宜昌市（伍家岗区、西陵区、点军区、猇亭区、夷陵区、🦜远安县、兴山县、秭归县、🐵长阳土家族自治县、👌五峰土家族自治县、🌭宜都市、🥍当阳市、枝江市、虎亭区）
襄阳市（樊城区、襄州区、老河口市、🦒宜城市、南漳县、谷城县、保康县、☯️枣阳市、定南县、🐈随州市、白浪镇、城关镇、😃赵家镇、东津镇、堰头镇）
湖州市（南湖、秀洲）
马鞍山市（花山、雨山）
邢台市（柏乡县、临西县、任县、🦅新河县、🐜宁晋县、南宫市、🐽内丘县、清河县、🍅巨鹿县、🈷️临城县、♈️隆尧县、🤖南和县、威县、桥东区、邢台县、🐽市辖区、平乡县、桥西区、🦡广宗县、沙河市）
银川市（永宁县、⚛️兴庆区、🍃西夏区、🐙金凤区、贺兰县、🌹灵武市、市辖区）
遵义市（汇川区、红花岗区、遵义县、🖐桐梓县、绥阳县、正安县、道真仡佬族苗族自治县、🥩务川县、🦄凤冈县、🌮湄潭县、余庆县、习水县、✴️赤水市、💜仁怀市、土家族苗族自治县、🤖铜仁市、🐚松桃苗族自治县、万山区、黔西县）
襄阳市（襄城、🐑樊城、🐐襄州）
长春市（南关、宽城、🏒️朝阳、二道、☝绿园、双阳）
桂林市（象山区、叠彩区、🚳七星区、💣️临桂区、阳朔县、🍃灵川县、全州县、兴安县、灌阳县、荔浦市、🚷资源县、平乐县、恭城瑶族自治县、龙胜各族自治县、永福县）
重庆市（绵阳、🌻涪陵、渝中、🍛大渡口、😇️江北、🐵沙坪坝、😚️九龙坡、南岸、北培、万盛、双桥、渝北、巴南）
鞍山市（铁西区、海城市、台安县、岫岩满族自治县、立山区、🏸铁东区、🐷市辖区、🕙千山区）
蚌埠市（五河县、⭕️️固镇县、👐市辖区、淮上区、龙子湖区、蚌山区、怀远县、禹会区）
襄阳市（襄城、✊樊城、襄州）
太原市（小店、💟迎泽、杏花岭、尖草坪、✋万柏林、😦️晋源）
南昌市（青山湖区、🦆️红谷滩新区、🦑东湖区、西湖区、🍮青山湖区、🤐南昌县、进贤县、🐪安义县、湾里区、💢地藏寺镇、🙌瑶湖镇、铜鼓县、昌北区、🆚青云谱区、💛望城坡镇）
宁波市（海曙、🐉️江东、💢江北、🙌北仑、🥀镇海）
甘肃省兰州市（城关区、🥠七里河区、西固区、🔞安宁区、红古区、永登县、皋兰县、榆中县、兰州新区、皋兰县、🥩雁滩区）
抚顺市：⛅️顺城区、新抚区、🦜东洲区、望花区。
衡阳市（珠晖、雁峰、👇石鼓、😸蒸湘、南岳）
咸宁市（通山县、🐔咸安区、崇阳县、通城县、🖐市辖区、赤壁市、嘉鱼县）
新竹县（新丰乡、♒️峨眉乡、湖口乡、🤟关西镇、新埔镇、🧒横山乡、尖石乡、北埔乡、竹东镇、🍸宝山乡、芎林乡、✳️五峰乡、♎️竹北市）
太仓市(城厢镇、金浪镇、🆔沙溪镇、璜泾镇、浏河镇、浏家港镇；)
南通市（崇州、港闸、通州）
宜昌市（西陵、伍家岗、🍞点军、猇亭、👻️夷陵）
铁岭市：☮️银州区、😁清河区。
贵州省安顺市（西秀区、🍖平坝区、普定县、镇宁布依族苗族自治县、🐏关岭布依族苗族自治县、🧂紫云苗族布依族自治县、🐋安顺市、开阳县）
抚顺市：顺城区、新抚区、😞东洲区、🌽望花区。
济南市（历下、市中、槐荫、天桥、🥬历城、长清）
珠海市（香洲区、斗门区、🕐金湾区、🥀横琴新区、万山区、🤝珠海高新区、😣唐家湾镇、🐍三灶镇、白石镇、〽️前山镇、🦖南屏镇、🍗珠海港镇、金鼎镇）
铁岭市：🥩银州区、清河区。
南昌市（东湖区、㊙️西湖区、🌖青山湖区、红谷滩新区、南昌县、新建区、🕢安义县、进贤县、✍️湾里区、🐉昌北区）
南投县（信义乡、🤝竹山镇、♎️中寮乡、🦛水里乡、🏺草屯镇、🐕仁爱乡、名间乡、🧂埔里镇、🌩鹿谷乡、国姓乡、鱼池乡、🌦集集镇、南投市）
榆林市（榆阳区,横山区）朝阳市（双塔区、龙城区）
上饶市（信州、广丰、广信）
益阳市（南县、资阳区、🕖桃江县、😑市辖区、👇沅江市、赫山区、安化县）
南昌市（东湖区、西湖区、🦗青山湖区、红谷滩新区、南昌县、👏安义县、进贤县、经开区、青山湖区、湾里区、🤧赣江新区、青云谱区、☝️浔阳区）
临沂市（兰山区、🐓️罗庄区、🚬️河东区、沂南县、郯城县、🍻苍山县、🥅费县、👐蒙阴县、临沭县、🌑兰陵县、莒南县、平邑县、沂水县、👈临沂高新技术产业开发区）
本溪市：平山区、明山区、🦓溪湖区、南芬区。
乐山市（市中、🎣沙湾、五通桥、日照口河）
鹤壁市（淇县、🕠鹤山区、♓️浚县、山城区、市辖区、淇滨区）
白山市（靖宇县、🆚浑江区、江源区、长白朝鲜族自治县、抚松县、🕤临江市、🤞市辖区）
贵州省安顺市（西秀区、平坝区、普定县、镇宁布依族苗族自治县、🌾关岭布依族苗族自治县、♓️紫云苗族布依族自治县、安顺市、🅰️开阳县）
九江市（莲溪、🕊浔阳）
牡丹江市：东安区（部分区域未列出）、🕔西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
东莞市（莞城、🖐南城、🌲万江、东城,石碣、🤙石龙、🍧茶山、🦙石排、🥂企石、横沥、桥头、谢岗、🔆东坑、🐪常平、👿寮步、🥦大朗、黄江、清溪、塘厦、凤岗、😧长安、🥭惠东、🦄厚街、❣️沙田、道窖、洪梅、🛡麻涌、🥍中堂、🍳高步、🥯樟木头、🚷大岭山、🐏望牛墩）
通辽市（科尔沁区、☺️扎鲁特旗、😢开鲁县、霍林郭勒市、市辖区、🧓科尔沁左翼中旗、✍️库伦旗、科尔沁左翼后旗、☸️奈曼旗）
桂林市（秀峰区、🍂️象山区、七星区、雁山区、🦉临桂区、🌈阳朔县、资源县、平乐县、灌阳县、🤙荔浦市、灵川县、全州县、💹永福县、🐖龙胜各族自治县、🙂恭城瑶族自治县）：🥢
嘉兴市（海宁市、🍯市辖区、🦈秀洲区、⚰️平湖市、🧒桐乡市、南湖区、🌧嘉善县、海盐县）
常熟市（方塔管理区、🎍虹桥管理区、琴湖管理区、❣️兴福管理区、谢桥管理区、大义管理区、莫城管理区。）宿迁(宿豫区、🍣宿城区、㊗️湖滨新区、洋河新区。)
台州市（椒江、♉️黄岩、⛸️路桥）
泰州市（海陵区、🤥高港区、姜堰区、兴化市、✌️泰兴市、😸靖江市、🌸扬中市、丹阳市、泰州市区、姜堰区、❔️海安镇、周庄镇、🌯东进镇、世伦镇、🐂青龙镇、杨湾镇、🐓️马桥镇）
牡丹江市：东安区（部分区域未列出）、😅️西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
雅安市（汉源县、市辖区、💗名山区、🦚石棉县、🍦荥经县、宝兴县、天全县、🍁芦山县、♌️雨城区）
南充市（顺庆区、🛐高坪区、🕞嘉陵区、☣️南部县、🦇营山县、蓬安县、🗡仪陇县、😮西充县、♉️阆中市、抚顺县、阆中市、✡️南充高新区）
郴州市（宜章县、📴嘉禾县、🦆永兴县、🤕汝城县、市辖区、桂东县、北湖区、桂阳县、苏仙区、🍱临武县、安仁县、资兴市）
山南市（错那县、琼结县、😛洛扎县、💪贡嘎县、🐃️桑日县、😪曲松县、🐉浪卡子县、🏸市辖区、隆子县、🈹加查县、🆔扎囊县、乃东区、措美县）
南昌市（青山湖区、红谷滩新区、东湖区、🕜西湖区、青山湖区、南昌县、进贤县、安义县、♉️湾里区、🍀地藏寺镇、瑶湖镇、🥬铜鼓县、🍨昌北区、青云谱区、望城坡镇）
株洲市（荷塘、芦淞、石峰、🏉天元）
辽阳市（文圣区、😋宏伟区、🐇弓长岭区、太子河区、🐜灯塔市、👈️辽阳县、白塔区、广德镇、双台镇、桥头镇、长春镇、🤞合德镇、🎱兴隆镇、安平镇、辛寨镇、👉黄土岭镇）
舟山市（市辖区、🍿定海区、嵊泗县、普陀区、🍑️岱山县）
玉溪市（澄江县、😩江川县、易门县、华宁县、新平彝族傣族自治县、😺元江哈尼族彝族傣族自治县、❕通海县、抚仙湖镇、红塔区、☯️龙潭街道、南北街道、白石街道）
三明市（梅列、☦️三元）
柳州市（柳北区、柳南区、柳江县、柳城县、♈️️鹿寨县、融安县、🎾融水苗族自治县、三江侗族自治县、城中区、鱼峰区、柳东新区、柳市镇）
保定市（莲池、竞秀）
德州市（陵城区、乐陵市、宁津县、庆云县、🐒️临邑县、🦁平原县、👎武城县、夏津县、禹城市、德城区、🍷禹城市、🈺齐河县、♌️开封县、双汇镇、🙁东风镇、商丘市、阳谷县、🍧共青城市、城南新区）
昆山市（昆山开发、高新、🤚综合保税）
许昌市（魏都）
济南市（历下、市中、👍槐荫、🕔️天桥、🦉历城、长清）
安康市（宁陕县、🐵白河县、汉阴县、📴️岚皋县、石泉县、市辖区、紫阳县、〽️汉滨区、🥊️旬阳县、镇坪县、平利县）
常州市（天宁、♎️钟楼、新北、武进、日照坛）
郑州市（中原、二七、管城、日照水、🥫上街、惠济）
中卫市（沙坡头区、海原县、中宁县、☣️市辖区）
金华市（武义县、东阳市、磐安县、浦江县、☸️兰溪市、👽永康市、婺城区、义乌市、🐆市辖区、金东区）
长沙市（芙蓉、✌天心、岳麓、🦉开福、💔雨花、望城）
葫芦岛市：龙港区、🌰南票区、😒连山区。
沧州市（新华区、运河区、🎱沧县、青县、🦕东光县、海兴县、盐山县、肃宁县、南皮县、🍵吴桥县、献县、🔅孟村回族自治县、河北沧州高新技术产业开发区、沧州经济技术开发区、💪任丘市、黄骅市、🤐河间市、泊头市）
邢台市（邢台县、📴南和县、清河县、临城县、🍩广宗县、威县、宁晋县、😶柏乡县、❗️任县、👍内丘县、南宫市、沙河市、任县、邢东区、邢西区、🤟平乡县、😛️巨鹿县）
巴彦淖尔市（杭锦后旗、磴口县、🥗乌拉特中旗、乌拉特后旗、🍘乌拉特前旗、🤒市辖区、临河区、五原县）
连云港市（连云、海州、赣榆）
淮安市（淮阴区、清河区、淮安区、🌰涟水县、😦洪泽区、✝️️盱眙县、金湖县、楚州区、😞️淮安区、🍰海安县、😂亭湖区、🤜淮安开发区）
玉林市（玉州）
柳州市（城中、💞鱼峰、🌜柳南、柳北、⁉️柳江）
新竹县（新丰乡、🐊峨眉乡、✡️湖口乡、关西镇、新埔镇、🥙横山乡、尖石乡、☝️北埔乡、☸️竹东镇、宝山乡、🆔芎林乡、五峰乡、竹北市）
临沂市（兰山、😳罗庄、河东）
连云港市（连云、💝海州、🧓赣榆）
廊坊市（安次、广阳）
赣州市（南康区、🌺赣县区、于都县、兴国县、👹章贡区、龙南县、大余县、🌦信丰县、安远县、全南县、🐅宁都县、🥨定南县、上犹县、🌸崇义县、🕗南城县）
玉溪市（澄江县、江川县、通海县、🤯华宁县、🤗易门县、峨山彝族自治县、抚仙湖镇、新平县、元江哈尼族彝族傣族自治县、红塔区、🕛玉溪县、🤛敖东镇、🌈珠街镇）
宜昌市（宜都市、🛡长阳土家族自治县、当阳市、五峰土家族自治县、西陵区、兴山县、🐽夷陵区、远安县、点军区、🐈枝江市、📳猇亭区、秭归县、😈伍家岗区、😍市辖区）
绵阳市（江油市、😱北川羌族自治县、梓潼县、市辖区、盐亭县、涪城区、安州区、🐏三台县、🌗平武县、游仙区）
湘潭市（雨湖、🍱岳塘）
漳州市（芗城、🐄龙文）
嘉义县（朴子市、💓番路乡、民雄乡、竹崎乡、梅山乡、义竹乡、大林镇、🤗布袋镇、新港乡、太保市、六脚乡、😔大埔乡、🍣鹿草乡、🆘️溪口乡、水上乡、🚸中埔乡、阿里山乡、🔪东石乡）
中国软件国际(00354)涨3.88% 商务部9部门发文鼓励搭建便民生活圈智慧服务平台金吾财讯|中国软件国际(00354)震荡走强，截至发稿，涨3.88%，报6.43港元，成交额1.4亿港元。中信里昂发布研报称，中国软件国际上周参加中信里昂投资者论坛，并分享了更为乐观的前景。其中，集团管理层预计其AI业务今年将同比增109%，并将有助于毛利率的改善
746
