TikTok Scraper:无需登录,批量抓取 TikTok 数据的命令行工具

文章目录

  • TikTok Scraper:无需登录,批量抓取 TikTok 数据的命令行工具

TikTok Scraper:无需登录,批量抓取 TikTok 数据的命令行工具

TikTok Scraper 是一个开源的 Node.js 工具,在 GitHub 上获得了 5000 多个 Star。它的功能很明确:从 TikTok 抓取视频、用户信息、话题数据等内容,支持批量下载,而且不需要登录账号。

这个工具通过 TikTok 的 Web API 来获取数据,不是官方接口,但覆盖了日常数据采集的大部分场景。

它能做什么

抓取单个用户的全部视频、某个话题下的视频、当前热门趋势、指定音乐 ID 关联的视频。除了视频本身,还能提取作者信息、音乐信息、点赞数、播放量、评论数等元数据。

数据导出方面,支持保存为 JSON 或 CSV 文件。视频下载支持带水印和无水印两种模式,无水印模式下还提供 HD 画质选项。

一个实用的功能是下载历史记录:开启后,工具会记住之前下载过哪些视频,再次运行时只抓取新内容,避免重复下载。

命令行用法

安装只需要 Node.js v10 以上版本,通过 npm 全局安装:

npm i -g tiktok-scraper

基本命令格式:

tiktok-scraper <command> [options]

几个常见用法:

下载某个用户的最新 100 个视频:

tiktok-scraper user USERNAME -d -n 100

抓取某个话题下的视频:

tiktok-scraper hashtag HASHTAG_NAME -d -n 100

下载当前热门视频:

tiktok-scraper trend -d -n 100

下载单个视频(无水印):

tiktok-scraper video VIDEO_URL -d

查看之前的下载历史:

tiktok-scraper history

还可以通过--proxy参数设置代理,通过--session传入会话 Cookie,应对 IP 被限制的情况。批量模式下,把多个目标写进文件,用from-file命令一次性处理。

作为模块调用

除了命令行,TikTok Scraper 也可以作为 Node.js 模块在代码中使用。它同时提供 Promise 和 Event 两种调用方式。

Promise 方式:

constTikTokScraper=require('tiktok-scraper');(async()=>{constposts=awaitTikTokScraper.user('USERNAME',{number:100,sessionList:['sid_tt=your_session_value;']});console.log(posts);})();

Event 方式适合处理大量数据,边抓取边处理:

constusers=TikTokScraper.userEvent("tiktok",{number:30});users.on('data',json=>{// 每条数据到达时触发});users.on('done',()=>{// 抓取完成});users.scrape();

还有一个独立方法getVideoMeta,传入视频链接就能获取包括无水印地址在内的完整元数据。

Docker 支持

不想本地安装 Node.js 环境的话,可以用 Docker 运行:

docker build . -t tiktok-scraper docker run -v $(pwd):/usr/app/files tiktok-scraper user tiktok -d -n 5

通过-v指定宿主机目录,下载的文件和历史记录都会保存在那里。

需要注意的几点

目前无法下载无水印视频(指的是通过 CLI 批量下载 Hashtag Feed 时的默认行为,单个视频和用户 Feed 可以获取无水印链接)。抓取频率过高可能导致 IP 被 TikTok 限制,建议配合代理和 session 使用。这个工具依赖 TikTok 的 Web API,如果 TikTok 调整接口,可能需要等待项目更新适配。

Feed 可以获取无水印链接)。抓取频率过高可能导致 IP 被 TikTok 限制,建议配合代理和 session 使用。这个工具依赖 TikTok 的 Web API,如果 TikTok 调整接口,可能需要等待项目更新适配。