C++11にも対応させるなら[以下のように](https://wandbox.org/permlink/7iSQoQ6cPwHtY6lY)型特性によるオーバーロードと戻り値の型によるオーバーロードを使えばできなくもないですが、C++17以降への対応で良いなら`if constexpr`文を使った方がはるかに楽ですね。

    #include <type_traits>
    #include <string>
    #include <iostream>
    
    
    template <class T>
    void string_to_number_impl(const std::string &str, T &number,
      typename std::enable_if<
                          std::is_integral<T>::value && std::is_signed<T>::value
                          >::type * = nullptr)
    {
        number = std::stoll(str);
    }
    
    template <class T>
    void string_to_number_impl(const std::string &str, T &number,
      typename std::enable_if<
                          std::is_integral<T>::value && std::is_unsigned<T>::value
                          >::type * = nullptr)
    {
        number = std::stoull(str);
    }
    
    template <class T>
    void string_to_number_impl(const std::string &str, T &number,
      typename std::enable_if<std::is_floating_point<T>::value>::type * = nullptr)
    {
        number = std::stold(str);
    }
    
    template <class T>
    void string_to_number_impl(const std::string &str, T &number,
      typename std::enable_if<
                          !std::is_integral<T>::value && !std::is_floating_point<T>::value
                          >::type * = nullptr)
    {
        number = str;
    }
    
    
    class StringToNumberType
    {
        std::string m_str;
      public:
        StringToNumberType(const std::string &str)
            : m_str(str)
        {}
    
        template <class T>
        operator T() const
        {
            T number;
            string_to_number_impl(m_str, number);
            return number;
        }
    };
    
    
    StringToNumberType get(const std::string &str)
    {
        return StringToNumberType(str);
    }
    
    
    int main()
    {
        int si = get("-123");
        std::cout << "si = " << si << "\n";
    
        unsigned int ui = get("123");
        std::cout << "ui = " << ui << "\n";
    
        double df = get("123.4");
        std::cout << "df = " << df << "\n";
    
        std::string str = get("xyz");
        std::cout << "str = " << str << "\n";
    }