上周对接本地零售门店数字化项目，整组人对着需求表反复拉扯，所有人都在纠结大数据的采集方法有哪些，线上埋点、爬虫、政务开放数据轮番提，却没人愿意沉下心梳理门店线下客流数据，最后方案直接卡在落地环节，跑了三家实体门店调研才捋清实际能用的路子。
门店收银系统后台自带基础交易数据，扫码枪每一次结算都会自动留存商品编号、实收金额、会员手机号，这套属于业务系统自动采集，原本以为拿来就能直接导入数据平台，实际操作时才发现门店老旧收银机的数据格式完全不统一，部分老店存储文件还是十年前的csv旧版本，批量导出的时候频繁出现乱码，光适配数据格式就耗掉整整两天。
商圈门口的红外客流摄像头，原本规划依靠物联网设备采集进店人数，施工师傅上门调试才暴露问题，商场扶梯口遮挡物太多，摄像头识别误差能达到三成，夜间关灯之后设备还会自动断连，采集到的人流数据存在大量空白片段。当时想着直接调取线上平台的消费数据补足缺口，随手写了简易爬虫抓取本地团购平台的核销记录，刚运行半天就收到平台风控提醒，接口直接封禁，采集链路当场中断。
后来才反应过来，市面上流传的各类大数据采集方法，大多适配互联网线上场景，线下实体生意很少能直接照搬。同行朋友接手过连锁餐饮项目，全程只用用户自主填报采集，线上小程序设置消费评价表单，到店顾客自愿填写口味、就餐时长信息，前期数据样本看着充足，后期分析时才发现愿意填写表单的大多是用餐体验极好的客人，数据存在严重的用户偏好倾斜，推算出的客群画像和门店真实客流完全脱节。
政务公开数据集也试过对接，当地市场监管局开放的区域商户经营台账，数据覆盖全城上千家门店，下载下来的文件里大量商户信息处于空白状态，经营范围、日均营收这类核心字段缺失过半，想要补齐数据只能重新对接线下门店，等于白白浪费一周的下载整理时间。
线下问卷走访反倒成了当时项目里最稳定的采集渠道，安排两名工作人员驻守门店出入口，主动邀请到店顾客填写纸质简易问卷，同步搭配手机小程序实时录入信息，全程不强制顾客填写隐私信息，只记录消费品类、到店频次这类基础信息。这份采集方式没有平台风控限制，数据完整度能稳住九成，唯一的短板就是人工成本偏高，门店高峰期工作人员分身乏术，单日采集数量会出现明显下滑。
折腾好久才搞明白，不用盯着网上罗列的全套采集方法死记硬背，不同行业适配的采集路径天差地别，线上爬虫适合纯电商平台，业务系统采集适配连锁商超，政务开放数据仅能当作辅助参考，线下人工采集反倒能填补线上数据的空白漏洞。
那天收尾整理门店采集台账，看着屏幕里混杂着系统导出文件、摄像头原始录像、纸质问卷扫描件的文件夹，指尖按着鼠标反复翻找适配规则，窗外商场的广播循环播放促销活动，手里的保温杯早就凉透，只想着下次再接同类项目，先跑实地门店确认线下采集可行性，不再盲目堆砌线上采集方案。