ファイルに複数行書かれた処理はprallelで並列処理できる

download_curl.list

curl -C - -o "attach/2007021500122/スクレイピングの結果のファイル名.txt" "http://localhost/2007021500122"
curl -C - -o "attach/2008021600122/スクレイピングの結果のファイル名.txt" "http://localhost/2008021600122"
...
curl -C - -o "attach/2020021800122/スクレイピングの（結果）のファイル名.txt" "http://localhost/2020021800122"

cat download_curl.list | parallel --eta -P10

xargs だとかなり面倒なエスケープが必要になる。ダブルクォート、bash scriptとして反応してしまう文字()[]等が含まれている場合は、 parallelを使用した方が良い。

一つのデータから、複数の抽出を一行にまとめる場合、ワンライナーでは難しいという考えになり、結局このようにした。 sedやawkを使えばワンライナーでも処理できるだろうが、かなり複雑になるのでこちらの手法に至った。