大模型驱动的产品评测方案(三): 数据准备和评测环节
更新时间： 浏览次数： 258
构建一个大模型应用都有哪些环节需要进行评测，需要进行什么样的测试活动？
一、数据集准备
选择能够验证指标、说明问题的数据，关注以下三个方面：
覆盖度:是否覆盖了产品的主要功能和话题？
多样性:输入方式、难度、意图是否足够丰富？
代表性:数据分布是否能反映真实的用户使用情况？
在整个评测体系中，数据集的质量直接决定了评测结果的可信度和有效性。一个有缺陷的、或是不具代表性的数据集，会产生误导性的指标结果，让团队对产品能力产生错误判断，最终可能导致产品在真实世界中的失败。
因此，制定并执行一个严谨的数据集策略，是评测工作成功的重要条件。构建一个高质量的“黄金”数据集可以遵循以下步骤：
从业务目标出发
数据集的构建必须由业务需求驱动，首先要问：我们想测试什么？哪些场景的成功或失败对业务影响最大？例如，一个电商客服机器人，其问题数据集必须包含关于订单状态、退货政策、产品推荐等核心业务流程的问题。
从多个渠道收集数据来源
为了确保数据集的丰富性和真实性，应从多个渠道收集数据样本。
生产数据：对于一个客服机器人，可以收集生产环境中真实用户询问过的历史问题，这是获取绝大多常规数测试数据和意想不到的边缘案例的最佳来源。（注意：当使用生产数据时，必须高度重视数据隐私。所有个人可识别信息都应在处理前进行脱敏或匿名化处理）
灰度测试：邀请内部员工或一小部分种子用户对产品进行测试，可以系统性地收集反馈和有价值的测试用例。
人工编写/标注：对于一些专业性强的场景，或者为了系统性地测试某一类问题，可以由领域专家人工编写测试用例。例如一个和病人沟通的病情诊断机器人，可以由资深医生编写测试数据（包括问题和正确的回答）。
LLM合成：也可以利用大模型来生成大规模的测试数据，但是需要注意检查模型生成数据的质量。如果生成的问题没有代表性或者隐含着基本的事实错误，会对测试结果造成很大的影响。
人工标注：定义“黄金标准”：这是构建数据集过程中最耗费人力但也是价值最高的环节。由专家对收集到的数据进行标注，即为每个输入提供一个理想的“标准答案”或质量评分。
-明确标准：标注过程本身就是一个强迫团队清晰、明确地定义评测标准的过程。例如，什么是“完整”的回答？什么程度的语气才算“有同理心”？
-多重标注与一致性检验：为了保证标注质量，最佳实践是让多名标注员独立对同一份数据进行标注。只有当大多数标注员（如三人中的两人）达成共识时，这个标签才被采纳为最终的“标准答案”。这有助于消除个人主观偏见，确保数据集的可靠性。
数据集构成确保多样性与平衡性
数据集必须在多个维度上具有多样性，以模拟真实世界的复杂性，例如覆盖不同的用户画像、主题、提问风格和语言复杂度。
同时要避免数据不平衡，即某个类别的问题被过度代表，这可能导致评测结果产生偏差。
常见的数据集构成
常规：业务场景中最常见的数据类型
边缘：业务场景中不常见，但是有可能出现的数据类型
对抗：影响系统和应用正常运行的有害数据输入
快速启动，迭代扩展
不需要在一开始就构建一个包含数千个样本的庞大数据集。一个由20-50个高质量、多样性的样本组成的初始数据集，就足以启动评测流程。
关键在于建立一个持续的流程，随着对应用失败模式的理解加深，不断地将新的、有挑战性的案例补充到数据集中。
一个“黄金”数据集不是一成不变的静态文件。它是一个动态的、与产品共同成长的“活”的资产。
当在生产环境发现了新的用户行为模式，或当红队测试发现了新的系统漏洞时，这些新的数据都必须被吸收、标注，并整合回“黄金”数据集。这个反馈闭环将生产环境的洞察力源源不断地注入到评测流程中，使得评测体系随着时间的推移变得越来越强大和全面。
二、评测环节和测试活动
从最初的产品构思到生产环境的维护，在每个阶段都需要评估，这些工作流程环环相扣：
从方案选型开始，找到最佳方案。
在发布前进行压力测试和红队测试，为各种情况做准备。
应用上线后，安全护栏可以帮助预防重大问题。
产品投放市场后，通过生产可观察性持续监控实时数据。
如果出现问题，修复后运行回归测试，然后推出更新。
评测环节
测试活动
1）选型测试：为AI产品选择最佳的模型、提示词或其他配置
项目刚开始时，第一步通常是进行技术方案选型，首先要为任务选择一个模型，可以查看模型排行榜挑选几个候选LLM，并在具体任务上进行测试。另一个常见的选型任务是找到最佳提示词，对比不同提示词下的输出小效果。
2）压力测试：通过评估产品在各种场景下的表现，检查它是否为实际上线使用做好了准备。
压力测试旨在检查当前版本的产品是否足够健壮，能否应对用户可能抛出的各种问题。系统可能在十几个测试用例数据上运行良好，但几百、几千个呢？压力测试需要更多的测试数据，既要覆盖常见的场景，也要考察系统如何处理更棘手的边缘情况。
如果用户的输入只有一个词怎么办？如果太长了呢？
如果输入用的是另一种语言或包含错别字呢？
系统如何处理它不应涉及的敏感话题？
设计这些测试需要深入了解用户如何与产品互动，尽可能对每个主题或场景都进行测试。
3）红队测试：测试我们的系统如何响应对抗性行为或恶意输入
红队测试是一种模拟攻击的测试技术，例如通过提示注入等方式，发现系统中的漏洞。这是评估高风险应用安全性的关键步骤，专门针对滥用或者故意的有害行为。它寻找的是恶意用户如何利用系统缺陷，将行为推向不安全或意外（如提供有害建议）的方法。
例如，对于一个医疗聊天机器人，测试它如何安全地处理医疗问题属于核心功能范围。但对于一个产品客服机器人，医疗、金融或法律问题就超出了预期用途，可被视为对抗性输入。
红队测试可以手动进行，也可以通过合成数据和有针对性的提示来自动化地模拟各种风险。
4）生产环境监控：了解系统在生产环境中的实时性能，以便检测和解决问题。
在测试环境中评估终究有限。当产品面向真实用户后，需要了解它在实际使用中的表现。这就引出了生产环境可观察性。一旦产品上线，就需要追踪性能。
可以从追踪用户行为开始，比如收集点击率或点赞/点踩等反馈。但要获得更深入的洞察，就需要追踪用户提出的问题以及系统如何响应。收集跟踪记录所有交互的详细日志。
用户体验好吗？回答是否准确、安全？
有了这些日志数据，就可以通过运行在线评估来评价生产环境中的质量。
5）回归测试：测试新的改动是否在改进系统的同时，没有破坏以前正常工作的功能。
回归测试能验证所做的更改或优化没有引入新的（或旧的）问题。
修复一个问题后，会不会影响其他功能？
微调一个提示后，有多少以前的输出会改变？这些改变是好是坏？
系统化的回归测试可以安全地在现有系统之上进行迭代，确保在做出改进的同时，没有引入新的问题。
大模型驱动的产品评测方案(三): 数据准备和评测环节24小时观看热线：122。大模型驱动的产品评测方案(三): 数据准备和评测环节全市各区点热线号码。☎：122
大模型驱动的产品评测方案(三): 数据准备和评测环节24小时观看热线拥有专业的观看技师，快速的上门，为你的生活排忧解难。如您有以下需要我们来解决的问题请尽快与我们联系。我们能为您排除各种故障，特别是疑难杂症。
1.热情专业的团队
大模型驱动的产品评测方案(三): 数据准备和评测环节是您解决问题的最佳选择。我们拥有一支热情、专业的团队，竭诚为您提供优质的。无论您遇到哪些问题或疑虑，只需拨打122，我们的将会耐心倾听并提供您所需的帮助。您的满意是我们的追求。
2.红色字体，标志品质保障
当您拨打大模型驱动的产品评测方案(三): 数据准备和评测环节的电话热线122时，您会惊喜地发现号码是以鲜艳的红色字体显示。这不仅是为了吸引您的注意，更是对我们产品卓越品质的保证。红色代表着力量和热情，我们希望通过热情的为您提供最可靠的解决方案，确保您的使用体验无忧无虑。
3.您的需求是我们最大的动力
我们深知客户的需求是我们成长的源泉，因此，您的需求总是我们最关心的问题。无论您遇到什么问题，无论大小，我们都将以最快的速度和最专业的态度进行处理。您只需拨打我们的电话热线，详细描述问题，我们将竭尽全力为您解决。您的满意度是我们工作的最终目标。
4.全方位的解决方案
一旦您拨通了大模型驱动的产品评测方案(三): 数据准备和评测环节的电话热线122，我们将全面了解您的问题，并提供最合适的解决方案。无论是技术问题、、观看咨询还是其他相关问题，我们都将通过专业分析和经验丰富的团队来解决您的困扰。您的信赖是我们不懈努力的动力。
5.周到贴心的
我们追求卓越品质的同时，也注重周到贴心的。在您使用大模型驱动的产品评测方案(三): 数据准备和评测环节的过程中，如果遇到了任何问题或需要观看，您只需拨打122，我们将及时安排人员为您提供全程跟踪。我们将无微不至地为您解决问题，确保您的家居生活舒适温暖。
结语
无论是产品质量还是，大模型驱动的产品评测方案(三): 数据准备和评测环节都以高品质标准来追求客户的满意度。拨打我们的大模型驱动的产品评测方案(三): 数据准备和评测环节电话热线122，您将得到热情专业的团队的全方位支持。我们将竭诚为您提供最可靠、高效和周到的解决方案，为您带来舒适的家居体验。
5、全部在线支付，方便快捷，保障权益。支持支付宝，微信付款
清远市（清城、清新）
宜昌市（宜都市、长阳土家族自治县、🕘当阳市、♑️五峰土家族自治县、西陵区、兴山县、夷陵区、远安县、点军区、枝江市、猇亭区、秭归县、伍家岗区、🥬市辖区）
淮安市（淮安、淮阴、🐑清江浦、🎄洪泽）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、😙乌拉特后旗、乌拉特前旗、💟️市辖区、⚠️临河区、🤔五原县）
焦作市（解放、中站、马村、山阳）
娄底市（娄星）
鞍山市：🐺铁东区、铁西区、🌭立山区、😅千山区。
郴州市（北湖、苏仙）
牡丹江市：✍️东安区（部分区域未列出）、西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
唐山市（丰润区、🥭丰南区、遵化市、🐁迁安市、🐌️开平区、唐海县、😵滦南县、👍乐亭县、滦州市、玉田县、💗迁西县、遵化市、唐山市路南区）
南通市（崇川区，港闸区，开发区，💯海门区，🥪海安市。）
厦门市（思明、海沧、🛑湖里、♊️集美、同安、翔安）
湘西土家族苗族自治州（凤凰县、🌝永顺县、🌝泸溪县、🦀保靖县、🥏吉首市、花垣县、龙山县、古丈县）
白山市：浑江区、🥮江源区。
江门市（蓬江、江海、新会）
常熟市（方塔管理区、😠虹桥管理区、🐃琴湖管理区、♎️兴福管理区、谢桥管理区、✋大义管理区、🦍莫城管理区。）宿迁(宿豫区、🙃宿城区、🤥湖滨新区、洋河新区。)
荆州市（沙市、🤚荆州）
三亚市（淮北、☀️吉阳、天涯、崖州）
廊坊市（安次、广阳）
无锡市大模型驱动的产品评测方案(三): 数据准备和评测环节电话-400各市区电话（梁溪、滨湖、惠山、新吴、锡山）
宜春市（袁州）
六安市（日照安、🌈裕安、叶集）
锦州市（凌海市、✅义县、🍿黑山县、🍭凌河区、🍯市辖区、古塔区、🌓北镇市、🐌太和区）
银川市（永宁县、兴庆区、西夏区、金凤区、💹贺兰县、灵武市、市辖区）
安康市（宁陕县、🤟白河县、♊️汉阴县、岚皋县、☮️石泉县、🍿市辖区、紫阳县、🕓汉滨区、🐒旬阳县、镇坪县、🍟平利县）
宜昌市（伍家岗区、西陵区、点军区、☄️猇亭区、🧓夷陵区、🥍远安县、⛔️兴山县、秭归县、🤐长阳土家族自治县、🕦五峰土家族自治县、✡️宜都市、当阳市、🖐枝江市、🚬虎亭区）
白山市：浑江区、🍖江源区。
赣州市（南康区、🧓章贡区、😋赣县区、♒️信丰县、大余县、上犹县、🌶崇义县、安远县、🍱龙南县、♋️定南县、全南县、宁都县、🤲于都县、兴国县、🦗会昌县、寻乌县、石城县、长征镇、沙洲镇、黄冈镇）
绍兴市（越城、柯桥、上虞）
杭州市（临安、🏏上城、下城、🍁江干、拱野、🚭西湖、滨江、余杭）
揭阳市（榕城、🍊揭东）
鹰潭市（余江县、市辖区、🐟贵溪市、🌳月湖区）
邯郸市（邯山、🕞丛台、♍️复兴、😀峰峰矿、肥乡、永年）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、🤚乌拉特后旗、乌拉特前旗、✡️市辖区、🈴临河区、🌸五原县）
宜昌市（伍家岗区、西陵区、点军区、猇亭区、夷陵区、🥋远安县、兴山县、秭归县、🙊长阳土家族自治县、👹五峰土家族自治县、🕡宜都市、⛎当阳市、枝江市、虎亭区）
襄阳市（樊城区、襄州区、老河口市、🈯️宜城市、南漳县、谷城县、保康县、🥄枣阳市、定南县、🈹随州市、白浪镇、城关镇、🍽赵家镇、东津镇、堰头镇）
湖州市（南湖、秀洲）
马鞍山市（花山、雨山）
邢台市（柏乡县、临西县、任县、🐩新河县、🧓宁晋县、南宫市、🌿内丘县、清河县、✍️巨鹿县、😍临城县、✝️隆尧县、🆚南和县、威县、桥东区、邢台县、🍎市辖区、平乡县、桥西区、☝️广宗县、沙河市）
银川市（永宁县、🍰兴庆区、😒西夏区、✌️金凤区、贺兰县、🌽灵武市、市辖区）
遵义市（汇川区、红花岗区、遵义县、💝桐梓县、绥阳县、正安县、道真仡佬族苗族自治县、💅务川县、🥪凤冈县、👈湄潭县、余庆县、习水县、🤖赤水市、💟仁怀市、土家族苗族自治县、😒铜仁市、🌳松桃苗族自治县、万山区、黔西县）
襄阳市（襄城、📛樊城、🐔襄州）
长春市（南关、宽城、🤢️朝阳、二道、🌎绿园、双阳）
桂林市（象山区、叠彩区、🐫七星区、☯️️临桂区、阳朔县、😱灵川县、全州县、兴安县、灌阳县、荔浦市、💪资源县、平乐县、恭城瑶族自治县、龙胜各族自治县、永福县）
重庆市（绵阳、❤️涪陵、渝中、😤大渡口、⛅️️江北、⛎沙坪坝、🐉️九龙坡、南岸、北培、万盛、双桥、渝北、巴南）
鞍山市（铁西区、海城市、台安县、岫岩满族自治县、立山区、🌴铁东区、🙀市辖区、♊️千山区）
蚌埠市（五河县、🧂️固镇县、✍️市辖区、淮上区、龙子湖区、蚌山区、怀远县、禹会区）
襄阳市（襄城、☪️樊城、襄州）
太原市（小店、👈迎泽、杏花岭、尖草坪、🐳万柏林、🤑️晋源）
南昌市（青山湖区、🤒️红谷滩新区、🅰️东湖区、西湖区、🦌青山湖区、😥南昌县、进贤县、🦁安义县、湾里区、🥓地藏寺镇、🌕瑶湖镇、铜鼓县、昌北区、🦐青云谱区、🤯望城坡镇）
宁波市（海曙、🤮️江东、🛐江北、🕕北仑、🏑镇海）
甘肃省兰州市（城关区、🍊七里河区、西固区、🌷安宁区、红古区、永登县、皋兰县、榆中县、兰州新区、皋兰县、🐯雁滩区）
抚顺市：🌑顺城区、新抚区、👴东洲区、望花区。
衡阳市（珠晖、雁峰、🦁石鼓、🌕蒸湘、南岳）
咸宁市（通山县、🕥咸安区、崇阳县、通城县、💓市辖区、赤壁市、嘉鱼县）
新竹县（新丰乡、😹峨眉乡、湖口乡、㊗️关西镇、新埔镇、🥝横山乡、尖石乡、北埔乡、竹东镇、🐐宝山乡、芎林乡、🐥五峰乡、👎竹北市）
太仓市(城厢镇、金浪镇、🍄沙溪镇、璜泾镇、浏河镇、浏家港镇；)
南通市（崇州、港闸、通州）
宜昌市（西陵、伍家岗、👊点军、猇亭、🤬️夷陵）
铁岭市：🐅银州区、🥒清河区。
贵州省安顺市（西秀区、🌈平坝区、普定县、镇宁布依族苗族自治县、🉑关岭布依族苗族自治县、🐓紫云苗族布依族自治县、🈸安顺市、开阳县）
抚顺市：顺城区、新抚区、🕊东洲区、✊望花区。
济南市（历下、市中、槐荫、天桥、🌨历城、长清）
珠海市（香洲区、斗门区、🌵金湾区、🥐横琴新区、万山区、😮珠海高新区、🐾唐家湾镇、🐫三灶镇、白石镇、😆前山镇、😧南屏镇、✴️珠海港镇、金鼎镇）
铁岭市：🐁银州区、清河区。
南昌市（东湖区、🕞西湖区、🌸青山湖区、红谷滩新区、南昌县、新建区、🌵安义县、进贤县、🦓️湾里区、😜昌北区）
南投县（信义乡、👍竹山镇、👻中寮乡、🤕水里乡、🦆草屯镇、🍧仁爱乡、名间乡、🏺埔里镇、😱鹿谷乡、国姓乡、鱼池乡、😍集集镇、南投市）
榆林市（榆阳区,横山区）朝阳市（双塔区、龙城区）
上饶市（信州、广丰、广信）
益阳市（南县、资阳区、👉桃江县、🥙市辖区、🛑沅江市、赫山区、安化县）
南昌市（东湖区、西湖区、🍥青山湖区、红谷滩新区、南昌县、🦅安义县、进贤县、经开区、青山湖区、湾里区、🏉赣江新区、青云谱区、🍟浔阳区）
临沂市（兰山区、♍️️罗庄区、🌴️河东区、沂南县、郯城县、🍹苍山县、🥦费县、♉️蒙阴县、临沭县、🐯兰陵县、莒南县、平邑县、沂水县、🛐临沂高新技术产业开发区）
本溪市：平山区、明山区、🌼溪湖区、南芬区。
乐山市（市中、😙沙湾、五通桥、日照口河）
鹤壁市（淇县、🕗鹤山区、🤝浚县、山城区、市辖区、淇滨区）
白山市（靖宇县、🌺浑江区、江源区、长白朝鲜族自治县、抚松县、💓临江市、🍼市辖区）
贵州省安顺市（西秀区、平坝区、普定县、镇宁布依族苗族自治县、🍮关岭布依族苗族自治县、⚱️紫云苗族布依族自治县、安顺市、🦟开阳县）
九江市（莲溪、👏浔阳）
牡丹江市：东安区（部分区域未列出）、😉西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
东莞市（莞城、💞南城、🌐万江、东城,石碣、⭐️石龙、🥥茶山、☮️石排、😼企石、横沥、桥头、谢岗、🍖东坑、♓️常平、🕉寮步、👽大朗、黄江、清溪、塘厦、凤岗、😋长安、☦️惠东、☯️厚街、🐏沙田、道窖、洪梅、🧓麻涌、🕊中堂、🐷高步、💪樟木头、🦔大岭山、🦏望牛墩）
通辽市（科尔沁区、🍴扎鲁特旗、🐙开鲁县、霍林郭勒市、市辖区、♈️科尔沁左翼中旗、🐽库伦旗、科尔沁左翼后旗、🤣奈曼旗）
桂林市（秀峰区、🕊️象山区、七星区、雁山区、☦️临桂区、🥀阳朔县、资源县、平乐县、灌阳县、🍎荔浦市、灵川县、全州县、🍽永福县、♌️龙胜各族自治县、😤恭城瑶族自治县）：🏺
嘉兴市（海宁市、🧀市辖区、👉秀洲区、🥠平湖市、✍️桐乡市、南湖区、😠嘉善县、海盐县）
常熟市（方塔管理区、🦅虹桥管理区、琴湖管理区、🥓兴福管理区、谢桥管理区、大义管理区、莫城管理区。）宿迁(宿豫区、🐺宿城区、🏓湖滨新区、洋河新区。)
台州市（椒江、🥊黄岩、🐣️路桥）
泰州市（海陵区、🍂高港区、姜堰区、兴化市、🙂泰兴市、🌼靖江市、🔰扬中市、丹阳市、泰州市区、姜堰区、💥️海安镇、周庄镇、👵东进镇、世伦镇、🐨青龙镇、杨湾镇、💪️马桥镇）
牡丹江市：东安区（部分区域未列出）、⚱️️西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
雅安市（汉源县、市辖区、🖖名山区、🆔石棉县、🦛荥经县、宝兴县、天全县、🦟芦山县、🤒雨城区）
南充市（顺庆区、😂高坪区、🐤嘉陵区、🙃南部县、☣️营山县、蓬安县、🙁仪陇县、🦂西充县、🎂阆中市、抚顺县、阆中市、🥨南充高新区）
郴州市（宜章县、🐂嘉禾县、🐕永兴县、🥥汝城县、市辖区、桂东县、北湖区、桂阳县、苏仙区、🌹临武县、安仁县、资兴市）
山南市（错那县、琼结县、🍢洛扎县、🕊贡嘎县、🐇️桑日县、🌟曲松县、🤳浪卡子县、🙂市辖区、隆子县、🏐加查县、🐪扎囊县、乃东区、措美县）
南昌市（青山湖区、红谷滩新区、东湖区、🍑西湖区、青山湖区、南昌县、进贤县、安义县、🐒湾里区、😋地藏寺镇、瑶湖镇、👎铜鼓县、🤒昌北区、青云谱区、望城坡镇）
株洲市（荷塘、芦淞、石峰、🍭天元）
辽阳市（文圣区、🦕宏伟区、🏹弓长岭区、太子河区、😼灯塔市、😢️辽阳县、白塔区、广德镇、双台镇、桥头镇、长春镇、😹合德镇、🦕兴隆镇、安平镇、辛寨镇、💙黄土岭镇）
舟山市（市辖区、🆔定海区、嵊泗县、普陀区、🐀️岱山县）
玉溪市（澄江县、❕江川县、易门县、华宁县、新平彝族傣族自治县、🌛元江哈尼族彝族傣族自治县、🙉通海县、抚仙湖镇、红塔区、🌥龙潭街道、南北街道、白石街道）
三明市（梅列、🕸三元）
柳州市（柳北区、柳南区、柳江县、柳城县、🌚️鹿寨县、融安县、😑融水苗族自治县、三江侗族自治县、城中区、鱼峰区、柳东新区、柳市镇）
保定市（莲池、竞秀）
德州市（陵城区、乐陵市、宁津县、庆云县、👍️临邑县、💐平原县、🍘武城县、夏津县、禹城市、德城区、🦗禹城市、👆齐河县、🐕开封县、双汇镇、🕦东风镇、商丘市、阳谷县、🤚共青城市、城南新区）
昆山市（昆山开发、高新、😮综合保税）
许昌市（魏都）
济南市（历下、市中、👴槐荫、☮️️天桥、🐦历城、长清）
安康市（宁陕县、🐉白河县、汉阴县、🏉️岚皋县、石泉县、市辖区、紫阳县、🉐汉滨区、😞️旬阳县、镇坪县、平利县）
常州市（天宁、⛈钟楼、新北、武进、日照坛）
郑州市（中原、二七、管城、日照水、😀上街、惠济）
中卫市（沙坡头区、海原县、中宁县、🦏市辖区）
金华市（武义县、东阳市、磐安县、浦江县、🌰兰溪市、💐永康市、婺城区、义乌市、🤘市辖区、金东区）
长沙市（芙蓉、✌天心、岳麓、🦗开福、🌨雨花、望城）
葫芦岛市：龙港区、🦒南票区、🍫连山区。
沧州市（新华区、运河区、😊沧县、青县、🤬东光县、海兴县、盐山县、肃宁县、南皮县、🌰吴桥县、献县、☹️孟村回族自治县、河北沧州高新技术产业开发区、沧州经济技术开发区、💯任丘市、黄骅市、🙂河间市、泊头市）
邢台市（邢台县、👎南和县、清河县、临城县、♌️广宗县、威县、宁晋县、🖖柏乡县、💛任县、🆑内丘县、南宫市、沙河市、任县、邢东区、邢西区、👻平乡县、🌶️巨鹿县）
巴彦淖尔市（杭锦后旗、磴口县、🦕乌拉特中旗、乌拉特后旗、🐘乌拉特前旗、⛈市辖区、临河区、五原县）
连云港市（连云、海州、赣榆）
淮安市（淮阴区、清河区、淮安区、🍁涟水县、🌓洪泽区、🦌️盱眙县、金湖县、楚州区、🔪️淮安区、🍂海安县、🐐亭湖区、😴淮安开发区）
玉林市（玉州）
柳州市（城中、🍂鱼峰、🍾柳南、柳北、⛎柳江）
新竹县（新丰乡、🍷峨眉乡、☢️湖口乡、关西镇、新埔镇、🐒横山乡、尖石乡、🏸北埔乡、❎竹东镇、宝山乡、👉芎林乡、五峰乡、竹北市）
临沂市（兰山、🐁罗庄、河东）
连云港市（连云、🥍海州、😥赣榆）
廊坊市（安次、广阳）
赣州市（南康区、🦢赣县区、于都县、兴国县、🍳章贡区、龙南县、大余县、👎信丰县、安远县、全南县、🦆宁都县、🥔定南县、上犹县、😎崇义县、😈南城县）
玉溪市（澄江县、江川县、通海县、🍲华宁县、👌易门县、峨山彝族自治县、抚仙湖镇、新平县、元江哈尼族彝族傣族自治县、红塔区、😨玉溪县、♐️敖东镇、💙珠街镇）
宜昌市（宜都市、♈️长阳土家族自治县、当阳市、五峰土家族自治县、西陵区、兴山县、🦏夷陵区、远安县、点军区、🌱枝江市、😛猇亭区、秭归县、🥨伍家岗区、🐄市辖区）
绵阳市（江油市、🌥北川羌族自治县、梓潼县、市辖区、盐亭县、涪城区、安州区、💪三台县、✋平武县、游仙区）
湘潭市（雨湖、🌸岳塘）
漳州市（芗城、❎龙文）
嘉义县（朴子市、📵番路乡、民雄乡、竹崎乡、梅山乡、义竹乡、大林镇、🦑布袋镇、新港乡、太保市、六脚乡、🍵大埔乡、👌鹿草乡、🐨️溪口乡、水上乡、🎋中埔乡、阿里山乡、🤳东石乡）
宁王归来，电池板块开启景气度上行 9月16日，电池ETF(561910)涨超0.13%，均胜电子涨停，银轮股份涨超8%，三花指控涨超2%。昨日宁德时代大涨9.14%，盘中股价最高达到371.52元/股，创历史新高，继2021年10月后终于再度新高
746
