yt_dlp/extractor/ccma.py

   1 from .common import InfoExtractor
   2 from ..utils import (
   3     clean_html,
   4     determine_ext,
   5     int_or_none,
   6     parse_duration,
   7     parse_resolution,
   8     try_get,
   9     unified_timestamp,
  10     url_or_none,
  11 )
  12
  13
  14 class CCMAIE(InfoExtractor):
  15     IE_DESC = '3Cat, TV3 and Catalunya Ràdio'
  16     _VALID_URL = r'https?://(?:www\.)?3cat\.cat/(?:3cat|tv3/sx3)/[^/?#]+/(?P<type>video|audio)/(?P<id>\d+)'
  17     _TESTS = [{
  18         # ccma.cat/tv3/alacarta/ URLs redirect to 3cat.cat/3cat/
  19         'url': 'https://www.3cat.cat/3cat/lespot-de-la-marato-de-tv3/video/5630208/',
  20         'md5': '7296ca43977c8ea4469e719c609b0871',
  21         'info_dict': {
  22             'id': '5630208',
  23             'ext': 'mp4',
  24             'title': 'L\'espot de La Marató 2016: Ictus i les lesions medul·lars i cerebrals traumàtiques',
  25             'description': 'md5:f12987f320e2f6e988e9908e4fe97765',
  26             'timestamp': 1478608140,
  27             'upload_date': '20161108',
  28             'age_limit': 0,
  29             'alt_title': 'EsportMarató2016WEB_PerPublicar',
  30             'duration': 79,
  31             'thumbnail': 'https://img.3cat.cat/multimedia/jpg/4/6/1478536106664.jpg',
  32             'series': 'Dedicada a l\'ictus i les lesions medul·lars i cerebrals traumàtiques',
  33             'categories': ['Divulgació'],
  34         },
  35     }, {
  36         # ccma.cat/catradio/alacarta/ URLs redirect to 3cat.cat/3cat/
  37         'url': 'https://www.3cat.cat/3cat/el-consell-de-savis-analitza-el-derbi/audio/943685/',
  38         'md5': 'fa3e38f269329a278271276330261425',
  39         'info_dict': {
  40             'id': '943685',
  41             'ext': 'mp3',
  42             'title': 'El Consell de Savis analitza el derbi',
  43             'description': 'md5:e2a3648145f3241cb9c6b4b624033e53',
  44             'upload_date': '20161217',
  45             'timestamp': 1482011700,
  46             'vcodec': 'none',
  47             'categories': ['Esports'],
  48             'series': 'Tot gira',
  49             'duration': 821,
  50             'thumbnail': 'https://img.3cat.cat/multimedia/jpg/8/9/1482002602598.jpg',
  51         },
  52     }, {
  53         'url': 'https://www.3cat.cat/3cat/crims-josep-tallada-lespereu-me-part-1/video/6031387/',
  54         'md5': '27493513d08a3e5605814aee9bb778d2',
  55         'info_dict': {
  56             'id': '6031387',
  57             'ext': 'mp4',
  58             'title': 'T1xC5 - Josep Talleda, l\'"Espereu-me" (part 1)',
  59             'description': 'md5:7cbdafb640da9d0d2c0f62bad1e74e60',
  60             'timestamp': 1582577919,
  61             'upload_date': '20200224',
  62             'subtitles': 'mincount:1',
  63             'age_limit': 13,
  64             'series': 'Crims',
  65             'thumbnail': 'https://img.3cat.cat/multimedia/jpg/1/9/1582564376991.jpg',
  66             'duration': 3203,
  67             'categories': ['Divulgació'],
  68             'alt_title': 'Crims - 5 - Josep Talleda, l\'"Espereu-me" (1a part) - Josep Talleda, l\'"Espereu-me" (part 1)',
  69             'episode_number': 5,
  70             'episode': 'Episode 5',
  71         },
  72     }, {
  73         'url': 'https://www.3cat.cat/tv3/sx3/una-mosca-volava-per-la-llum/video/5759227/',
  74         'info_dict': {
  75             'id': '5759227',
  76             'ext': 'mp4',
  77             'title': 'Una mosca volava per la llum',
  78             'alt_title': '17Z004Ç UNA MOSCA VOLAVA PER LA LLUM',
  79             'description': 'md5:9ab64276944b0825336f4147f13f7854',
  80             'series': 'Mic',
  81             'upload_date': '20180411',
  82             'timestamp': 1523440105,
  83             'duration': 160,
  84             'age_limit': 0,
  85             'thumbnail': 'https://img.3cat.cat/multimedia/jpg/6/1/1524071667216.jpg',
  86             'categories': ['Música'],
  87         },
  88     }]
  89
  90     def _real_extract(self, url):
  91         media_type, media_id = self._match_valid_url(url).group('type', 'id')
  92
  93         media = self._download_json(
  94             'http://api-media.3cat.cat/pvideo/media.jsp', media_id, query={
  95                 'media': media_type,
  96                 'idint': media_id,
  97                 'format': 'dm',
  98             })
  99
 100         formats = []
 101         media_url = media['media']['url']
 102         if isinstance(media_url, list):
 103             for format_ in media_url:
 104                 format_url = url_or_none(format_.get('file'))
 105                 if not format_url:
 106                     continue
 107                 if determine_ext(format_url) == 'mpd':
 108                     formats.extend(self._extract_mpd_formats(
 109                         format_url, media_id, mpd_id='dash', fatal=False))
 110                     continue
 111                 label = format_.get('label')
 112                 f = parse_resolution(label)
 113                 f.update({
 114                     'url': format_url,
 115                     'format_id': label,
 116                 })
 117                 formats.append(f)
 118         else:
 119             formats.append({
 120                 'url': media_url,
 121                 'vcodec': 'none' if media_type == 'audio' else None,
 122             })
 123
 124         informacio = media['informacio']
 125         title = informacio['titol']
 126         durada = informacio.get('durada') or {}
 127         duration = int_or_none(durada.get('milisegons'), 1000) or parse_duration(durada.get('text'))
 128         tematica = try_get(informacio, lambda x: x['tematica']['text'])
 129
 130         data_utc = try_get(informacio, lambda x: x['data_emissio']['utc'])
 131         timestamp = unified_timestamp(data_utc)
 132
 133         subtitles = {}
 134         subtitols = media.get('subtitols') or []
 135         if isinstance(subtitols, dict):
 136             subtitols = [subtitols]
 137         for st in subtitols:
 138             sub_url = st.get('url')
 139             if sub_url:
 140                 subtitles.setdefault(
 141                     st.get('iso') or st.get('text') or 'ca', []).append({
 142                         'url': sub_url,
 143                     })
 144
 145         thumbnails = []
 146         imatges = media.get('imatges', {})
 147         if imatges:
 148             thumbnail_url = imatges.get('url')
 149             if thumbnail_url:
 150                 thumbnails = [{
 151                     'url': thumbnail_url,
 152                     'width': int_or_none(imatges.get('amplada')),
 153                     'height': int_or_none(imatges.get('alcada')),
 154                 }]
 155
 156         age_limit = None
 157         codi_etic = try_get(informacio, lambda x: x['codi_etic']['id'])
 158         if codi_etic:
 159             codi_etic_s = codi_etic.split('_')
 160             if len(codi_etic_s) == 2:
 161                 if codi_etic_s[1] == 'TP':
 162                     age_limit = 0
 163                 else:
 164                     age_limit = int_or_none(codi_etic_s[1])
 165
 166         return {
 167             'id': media_id,
 168             'title': title,
 169             'description': clean_html(informacio.get('descripcio')),
 170             'duration': duration,
 171             'timestamp': timestamp,
 172             'thumbnails': thumbnails,
 173             'subtitles': subtitles,
 174             'formats': formats,
 175             'age_limit': age_limit,
 176             'alt_title': informacio.get('titol_complet'),
 177             'episode_number': int_or_none(informacio.get('capitol')),
 178             'categories': [tematica] if tematica else None,
 179             'series': informacio.get('programa'),
 180         }