RuTracker.org的唱片导出至Excel

yanglqq

我在逛帖时看到了这个帖子，帖主用如下方法收藏RuTracker.org上面的唱片数据，我非常佩服帖主的细致，意志和耐心
http://bbs.erji.net/forum.php?mod=viewthread&tid=2168129





我觉得有必要编写一个工具直接把上面的数据从RuTracker.org爬取下来，经初步处理后，导出到Excel文件中，总比上面依赖safari的浏览记录好太多．
下图为导出的Excel文件，至少可以在Excel软件中进行基本的搜索和排序（我这里用的是Ubuntu22.04操作系统的WPS软件）：


我爬取了下面两个主题的帖子：

https://rutracker.org/forum/viewforum.php?f=1884
https://rutracker.org/forum/viewforum.php?f=1164

我把2022-11-25日爬取的数据共享到了度娘网盘：
/s/1agzXpi8Kh2FM4gCXJad55Q?pwd=faes


如果大家觉得这件事情有意义，需要定期更新，请回复告诉我．

yanglqq

不要超越地平线 发表于 2022-11-25 16:45
我现在没度盘账号了，没法看你的压缩包。请教下你这两个数据包，是连带有种子文件的吗？

你看到的是我两 ...

有磁力链接的，如果没有链接，那么做这件事情就没有任何意义了．我爬取的是所有数据，没有搜索结果限制．

yanglqq

应坛友: xy010 提出的需求，我使用俄语在线翻译工具 https://app.xunjiepdf.com/fanyiru2chs/ 对 https://rutracker.org 中的音乐主题进行了梳理:
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
https://rutracker.org/forum/index.php?c=8，对应下图：


Музыка
音乐
https://rutracker.org/forum/index.php?c=8

Предложения по улучшению музыкальных разделов
  关于改进音乐部分的建议

Помощь по музыкальным разделам
  音乐帮助部分

•Инструкции, руководства, обзоры
    说明、手册、评论
  
•Вопросы и ответы по музыкальным разделам
    音乐部分的问题和答案
  
•Поиск музыки
    搜索音乐

Классическая и современная академическая музыка
  古典和现代学术音乐

•Каталоги раздач классической и академической музыки   Классическая музыка (обсуждение)
    分发的古典和学术音乐目录  古典音乐（讨论）
  
•Полные собрания сочинений и многодисковые издания (lossless)
    论文和多光盘版的完整集（无损）
  
•Опера (lossless)
    歌剧（无损）
  https://rutracker.org/forum/viewforum.php?f=794

•Вокальная музыка (lossless)
    声乐（无损）
  https://rutracker.org/forum/viewforum.php?f=556
  
•Хоровая музыка (lossless)
    合唱音乐（无损）
  https://rutracker.org/forum/viewforum.php?f=2307
  
•Оркестровая музыка (lossless)
    管弦乐（无损）
  https://rutracker.org/forum/viewforum.php?f=557
  
•Концерт для инструмента с оркестром (lossless)
    乐器和管弦乐队音乐会（无损）
  https://rutracker.org/forum/viewforum.php?f=2308

•Камерная инструментальная музыка (lossless)
    室内乐器音乐（无损）
  https://rutracker.org/forum/viewforum.php?f=558
  
•Сольная инструментальная музыка (lossless)
    独奏器乐（无损）
  https://rutracker.org/forum/viewforum.php?f=793
  
•Духовные песнопения и музыка (lossless)
    精神圣歌和音乐（无损）
  https://rutracker.org/forum/viewforum.php?f=1395
  
•Духовные песнопения и музыка (lossy)
    精神圣歌和音乐（有损）
  
•Полные собрания сочинений и многодисковые издания (lossy)
    论文和多光盘版的完整合集（有损）
  
•Вокальная и хоровая музыка (lossy)
    声乐和合唱音乐（有损）
  
•Оркестровая музыка (lossy)
    管弦乐（有损）
  
•Камерная и сольная инструментальная музыка (lossy)
    室内和独奏器乐（有损）
  
•Классика в современной обработке, Classical Crossover (lossy и lossless)
    现代加工中的经典，经典交叉（有损和无损）


－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
https://rutracker.org/forum/index.php?c=37，对应下图：


Hi-Res форматы, оцифровки
Hi-Res格式、数字化
https://rutracker.org/forum/index.php?c=37

Архив (Hi-Res форматы, оцифровки)
  存档（Hi  Res格式、数字化）

Для общения (Hi-Res, оцифровки)
  用于通信（Hi  Res、数字化）

•Инструкции по оцифровкам, Hi-Res и многоканальному аудио
    关于数字化、高分辨率和多通道音频的说明

Hi-Res stereo и многоканальная музыка
  高分辨率立体声和多通道音乐

•Классика и классика в современной обработке (Hi-Res stereo)
    现代处理中的古典和古典（Hi  Res立体声）
  https://rutracker.org/forum/viewforum.php?f=1884
  
•Классика и классика в современной обработке (многоканальная музыка)
    现代处理中的古典和古典（多渠道音乐）
  https://rutracker.org/forum/viewforum.php?f=1164
  
•New Age, Relax, Meditative & Flamenco (Hi-Res stereo и многоканальная музыка)
    新时代，放松，Meditative&Flamenco（Hi  Res立体声和多渠道音乐）
  https://rutracker.org/forum/viewforum.php?f=2513
  
•Саундтреки (Hi-Res stereo и многоканальная музыка)
    配乐（Hi  Res立体声和多渠道音乐）
  https://rutracker.org/forum/viewforum.php?f=1397
  
•Музыка разных жанров (Hi-Res stereo и многоканальная музыка)
    不同流派（Hi  Res立体声和多渠道音乐）
  https://rutracker.org/forum/viewforum.php?f=2512
  
•Поп-музыка (Hi-Res stereo)
    流行音乐（Hi  Res立体声）
  https://rutracker.org/forum/viewforum.php?f=1885
  
•Поп-музыка (многоканальная музыка)
    流行音乐（多渠道音乐）
  https://rutracker.org/forum/viewforum.php?f=1163
  
•Джаз и Блюз (Hi-Res stereo)
    爵士和布鲁斯（高分辨率立体声）
  https://rutracker.org/forum/viewforum.php?f=2302
   
•Джаз и Блюз (многоканальная музыка)
    爵士和布鲁斯（多频道音乐)
  https://rutracker.org/forum/viewforum.php?f=2303
   
•Рок-музыка (Hi-Res stereo)
    摇滚音乐（高分辨率立体声)
  https://rutracker.org/forum/viewforum.php?f=1755
   
•Рок-музыка (многоканальная музыка)
    摇滚音乐（多频道音乐）
  https://rutracker.org/forum/viewforum.php?f=1757
      
•Электронная музыка (Hi-Res stereo)
    电子音乐（高分辨率立体声）
  https://rutracker.org/forum/viewforum.php?f=1893
   
•Электронная музыка (многоканальная музыка)
    电子音乐（多频道音乐）
  https://rutracker.org/forum/viewforum.php?f=1890


Оцифровки с аналоговых носителей
  来自模拟媒体的数字化

•Классика и классика в современной обработке (оцифровки)
    现代加工中的经典和经典（数字化）
  https://rutracker.org/forum/viewforum.php?f=1660
   
•Фольклор, народная и этническая музыка (оцифровки)
    民俗、民俗和民族音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=506
   
•Rap, Hip-Hop, R'n'B, Reggae, Ska, Dub (оцифровки)
    说唱、嘻哈、R'n'B、雷鬼、斯卡、配音（数字化）
  https://rutracker.org/forum/viewforum.php?f=1835
   
•Саундтреки и мюзиклы (оцифровки)
    音轨和音乐剧（数字化）
  https://rutracker.org/forum/viewforum.php?f=1625
   
•Шансон, авторские, военные песни и марши (оцифровки)
  Chanson，作者，军事歌曲和游行（数字化）
  https://rutracker.org/forum/viewforum.php?f=1217
  
•Музыка других жанров (оцифровки)
    其他流派的音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=974
   
•Зарубежная поп-музыка (оцифровки)
    外国流行音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=1444
   
•Советская эстрада, ретро, романсы (оцифровки)
    苏联舞台，复古，浪漫（数字化）
  https://rutracker.org/forum/viewforum.php?f=2401
   
•Отечественная поп-музыка (оцифровки)
    国内流行音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=239
   
•Инструментальная поп-музыка (оцифровки)
    乐器流行音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=450
   
•Джаз и блюз (оцифровки)
    爵士乐和布鲁斯（数字化）
  https://rutracker.org/forum/viewforum.php?f=2301
   
•Alternative, Punk, Independent (оцифровки)
    替代，朋克，独立（数字化）
  https://rutracker.org/forum/viewforum.php?f=123
   
•Зарубежная рок-музыка (оцифровки)
    外国摇滚音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=1756
   
•Отечественная рок-музыка (оцифровки)
    国内摇滚音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=1758
   
•Зарубежный и Отечественный Metal (оцифровки)
    外国和国内金属（数字化）
  https://rutracker.org/forum/viewforum.php?f=1766
   
•Электронная музыка (оцифровки)
    电子音乐（数字化）
  https://rutracker.org/forum/viewforum.php?f=1754

Неофициальные конверсии цифровых форматов
  数字格式的非官方转换

•Конверсии Quadraphonic
    二次转换
  https://rutracker.org/forum/viewforum.php?f=453
   
•Конверсии SACD
  SACD转换
  https://rutracker.org/forum/viewforum.php?f=1170
  
•Конверсии Blu-Ray, ADVD и DVD-Audio
     蓝光、ADVD和DVD音频转换
  https://rutracker.org/forum/viewforum.php?f=1759
   
•Апмиксы-Upmixes/Даунмиксы-Downmix
  Upmixes-Upmixes/Downmixes
  https://rutracker.org/forum/viewforum.php?f=1852
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

近期，我将爬取（更新）上面标灰的主题（794 556 2307 557 2308 558 793 1395 1884 1164 1660），敬请期待．

yanglqq

接本帖第11楼


百度网盘:  https://pan.baidu.com/s/1E4DzEalNTOXIBlpHUG_O9g?pwd=2577
迅雷网盘:  https://pan.xunlei.com/s/VNI1xiP_GAL7_FCrXWqZ9qzpA1?pwd=g3xv

我把所有数据放在了一张excel表格中，打包进了rutracker.zip



表格中，蓝色加下划线的文字是链接，点击会调用操作系统默认的浏览器打开．
＂编号＂列中，数字越大帖子越新，数字越小帖子越旧
＂数据＂列中，链接指向＂htmls＂文件夹中爬取的网页．我对部分俄语单词做了翻译．这些网页用utf8字符集保存，用IE浏览器打开看，会出现乱码，其它浏览器没有这个问题．
＂来源＂列中，有些链接指向发行这张唱片的官网（部分可以在线试听）．
＂源帖＂列中，链接指向爬取目标地址．

计划每月底更新一次数据，有需要的坛友请关注和收藏本帖．

yanglqq

dgtool 发表于 2022-11-29 21:51
楼主若能把光盘编号提取出来，就更完美一步啦

可以加光盘编号，但这个光盘编号长什么样呢？是什么样的编码格式?

yanglqq

leitong 发表于 2022-11-30 04:08
这个不可能做到的 俄网发布的帖子里都没有这个信息

我研究了一下数据，还是有部分帖子里面提供了这个＂光盘编号＂，我将在本月末的数据更新里加上这一列．

yanglqq

链接: https://pan.baidu.com/s/1hHtZyzK2064dC8vTmxvv3w?pwd=csau

应坛友dgtool提出的需求：抽取＂光盘编号＂，我把这个＂光盘编号＂放进了＂出版商＂列，并用逗号分开．

并非所有发贴人都提供了＂光盘编号＂，这个编号也没有统一编码规则．因此，我只抽取"Номер по каталогу"，"Лейбл"这两个位置的内容．

yanglqq

leitong 发表于 2022-12-31 04:55
我能提个建议吗
唱片编号是否可以单列一列，不要和唱片发行厂家混在一起，这样excel做筛选时会方便些。
...

如果这样更方便，那么当然可以分开单独搞一列．

有其他需求的坛友都可以在这个贴子里讨论和提意见，改进后的功能会在下一次数据更新中出现．

yanglqq

链接: https://pan.baidu.com/s/13VSDACWvU1Z-tKagKV5A7w?pwd=icgh 提取码: icgh

yanglqq

reep999 发表于 2023-1-27 19:09
恳请大神搜集完整R网里所有音乐分类

将会在本月底的数据更新中加入这些内容

yanglqq

reep999 发表于 2023-2-26 19:19
rutracker.xlsx 里数量42287个 总共36T，
不知是否全包括了其他的几个表

理解正确！rutracker.xlsx是汇总其它几个表，放一起方便检索．

yanglqq

链接: https://pan.baidu.com/s/1suGStOsdv3unxNNp_dZ-Hw?pwd=u6av 提取码: u6av

yanglqq

liugc340322 发表于 2023-3-4 01:00
感谢感谢

感谢技术大神出手！

560 完整作品和多光盘版本（无损）

这个确实搞漏了，本月底的数据更新中将补上这个内容

yanglqq

链接: https://pan.baidu.com/s/1FHLZMf3P9qqhIQ6UKYdE0g?pwd=ekxh 提取码: ekxh

yanglqq

链接:  https://pan.baidu.com/s/1_TP2FYcCeOzdZpIsrLpJZg?pwd=ke9n 提取码: ke9n

yanglqq

这个俄网似乎被屏蔽了， 我这儿打不开。找了个lantern绕道才能连上。

yanglqq

zeppelin 发表于 2023-12-18 22:40
请教一下，最大的rutracker.zip，和其他压缩文件是什么关系？是总和吗

是的

yanglqq

链接: https://pan.baidu.com/s/1Zf1hoABO8uMJHwObBbqyEw?pwd=pktu 提取码: pktu