公司需要全自动采集
公司要全自动采集各个部门的销售数据,并且需要汇总自动生成每个人的销售数据报表(详细到各个 sku ),使用 python 是否可行?现在是否有工具可以直接使用?数据遍布各个电商平台,淘宝、京东、小红书、抖音、得物等等。
找个能接这些的第三方的 erp 平台就完事了呗
要全自动,起码得各个电商后台可以提供接口,如果没有接口,大概率只能通过前端页面采集形式了。
关键不是用什么语言,大多数语言都能做这件事。关键看你如何抓取数据,商家平台有没有开放统计用的 API ,展示数据是用网页还是生成图片推送飞书。
八爪鱼,后羿采集之类,影刀 RPA 之类
第三方 erp 采集不了主播的销售数据吧,主播都是轮班的,一个人直播一小时。
前端采集如果找外包团队做,这个项目大概是什么级别的
python 肯定行,这个是爬虫主流的语言,但是能否可行不在于语言的问题,在于是否有处理反爬的能力,这个是关键。
前端采集没有意义,比如抖音做了反爬虫,速率限制 ,访问过于频繁直接没数据 ,其 api 还有算法带加密 header, 算法隔断时间就变,你破解起来麻烦又不持久还可能犯法。每次换算法破解这段空档你的数据都没有,统计就没有意义
飞书多维表格就行,可以看今年的宣传视频
强烈推荐影刀 RPA ,我在影刀上班,摸着良心说我们产品还是不错的。
使用门槛低,一般减单的网页数据获取业务人员自己就能完成。
比较通用的场景我们还有官方应用可以直接使用。
这些数据是电商后台的数据还是商品页的?
这些电商后台通常都提供接口,看看文档访问接口就行
商品页的话就比较困难了,这些电商都做了反爬虫,不是专业做这种数据采集的公司很难弄的,特别是有些只有 APP 端就更难弄了,这部分就建议直接找专门做这种数据采集的公司
我上一家公司就是做互联网数据采集的,可惜今年刚倒,不然就推荐你了
爬很简单,主要是风控,我还是建议找专业的数据采集公司
能不能让我白嫖一下专业版哈哈哈哈
得有开放接口吧
一天一次 或者两天一次通过页面解析,应该没问题吧
从哪里采集?如果现有有系统里采集那就开接口/脚本抓取统一汇总,用 python 可以的。如果是没有现有系统记录这些数据,那直接用飞书即可。
这不就是我正在做的事情~目前是每天自己的电脑 automa 做的。后面打算上影刀 rpa
这种所谓采集,其中采集的技术部分是最简单的,最麻烦的是数据本身
这个相对来讲确实简单不少,没啥门槛。
RPA+1
可以用 RPA 先把每个平台的数据脚本都做一遍 然后每个人电脑上自己点一下运行
数据收集的话 可以把 RPA 脚本的最后数据写入的那一步写到内部服务器的公共盘上
然后服务器从公共盘把每天数据读取,汇总
现在 RPA 大多个人使用免费 这种策略也能 0 成本试错
如果后期需要远程下发脚本 统一控制之类的功能可以考虑买 RPA 厂商的商业版
走爬虫那可就遭老罪了,主要是风控人机验证,然后无尽的 debug 。去找找官方 API 吧,淘宝京东都是又开放 API 的
我们总是在于“现实生活”和“电脑的数字生活”中的差异,这两个世界难道不可以合并吗?美国MIT Media Lab(麻省理工学院媒体实验室)的天才学生普拉纳夫- (Prarnav…
浏览器只暴露了 http 层给用户,ip 是 tcp 层的东西,不太清楚有没有 hack 可以拿到一个请求的服务器 ip 地址,不管是通过插件、普通的网页 js 甚至 wasm…
很多开发者一提到 SQL 就“谈此色变”,觉得难以调试、难以定位 bug 最后就是一句话,就是这个东西碰不得,是邪教。 存储过程这个东西存在这么久,不可能一无是处吧 有没有可…